기술 요약: 예시를 활용한 심볼릭 및 프롬프트 프로그램 성능 예측

문제 정의

대형 언어 모델 (LLM) 프롬프팅은 자연어로 표현된 작업에 널리 채택되고 있지만, 신뢰성 부족으로 고통받고 있습니다. 프롬프트는 몇 가지 테스트 케이스를 통과할 수 있지만, 배포 시에는 예측 불가능하게 실패할 수 있습니다. 반면, 심볼릭 프로그램 (예: Python, 정규식) 은 몇 가지 대표적인 테스트 케이스를 통과하면 종종 신뢰할 수 있는 것으로 간주됩니다. 본 논문은 다음과 같은 근본적인 질문을 다룹니다: 왜 몇 가지 통과 테스트가 심볼릭 프로그램은 인증하지만 프롬프트 프로그램은 인증하지 않는가?

저자들은 이를 성능 예측 문제로 규정합니다: 프로그램 (심볼릭 프로그램 또는 LLM 에 의해 실행된 프롬프트) 과 소수의 도메인 내 실행 결과 (통과/실패) 가 주어졌을 때, 동일한 도메인의 보지 못한 작업에서 해당 프로그램의 실제 성능 ($\theta$) 을 예측하는 것입니다. 목표는 배포 가능성과 신뢰 수준을 결정하기 위해 프로그램의 성공률에 대한 사후 분포를 추론하는 것입니다.

방법론

1. 이론적 프레임워크: 동전 던지기 모델

저자들은 베이지안 접근법을 채택하여, 테스트 케이스에 대한 각 프로그램 실행을 독립적인 베르누이 확률 변수 (동전 던지기) 로 모델링합니다.

• 관측치 ($O$): $a$개의 통과와 $b$개의 실패로 구성된 집합.
• 가능도 (Likelihood): $P(O|\theta) \propto \theta^a (1-\theta)^b$.
• 사후 확률 (Posterior): $P(\theta|O) \propto P(\theta) \cdot \theta^a (1-\theta)^b$.

핵심 통찰은 가능도는 쉽게 계산되지만, 성능 사전 확률 $P(\theta)$는 알려져 있지 않으며 사후 분포를 결정한다는 점입니다. 본 논문은 심볼릭 프로그램과 프롬프트 프로그램 간의 예측 가능성 차이는 전적으로 각기 다른 사전 확률의 형태에서 비롯된다고 주장합니다.

2. 실증적 성능 사전 확률

사전 확률을 이해하기 위해 저자들은 다양한 도메인 (예: 정규식, HumanEval, ARC, 리스트 규칙) 에 걸쳐 700 개의 심볼릭 프로그램 (sp) 과 700 개의 프롬프트 프로그램 (pp) 으로 구성된 말코르를 수집했습니다. 그들은 각 프로그램을 100 개의 샘플링된 인스턴스에 대해 평가하여 실제 성능을 추정했습니다.

• 심볼릭 프로그램 (sp): "전부 아니면 전무 (all-or-nothing)" 사전 확률을 보입니다. 분포는 $\theta=0.0$(완전히 부정확) 과 $\theta=1.0$(완벽) 근처에 집중된 날카로운 이분모형 (bimodal) 형태를 띱니다.
• 프롬프트 프로그램 (pp): 확산된 (diffuse) 사전 확률을 보입니다. 중간 성능 값에 상당한 질량이 존재하며, 이는 운 좋게 몇 가지 테스트는 통과하지만 다른 테스트에서는 실패할 수 있는 "거의 정확한" 프로그램을 나타냅니다.

함의: 심볼릭 프로그램의 경우, 몇 가지 성공은 사후 확률 질량을 1.0 으로 빠르게 이동시켜 높은 신뢰도를 제공합니다. 반면 프롬프트 프로그램의 경우, 동일한 성공은 확산된 사전 확률을 약간만 이동시켜 실제 성능을 불확실하게 남깁니다.

3. RAP (검색 기반 근사 사전 확률)

프롬프트 프로그램 성능 예측의 어려움을 해결하기 위해 저자들은 RAP를 제안합니다. 이는 작업별 사전 확률을 구축하기 위한 검색 기반 방법입니다.

• 입력: 대상 프롬프트 프로그램 ($p_{target}$), 관측된 도메인 내 예시 집합 ($D$), 그리고 작업 및 프롬프트 말코르 ($M$).
• 검색:
  1. 유사 작업: 텍스트 임베딩을 사용하여 관측된 예시와 유사한 말코르에서 상위-$n$개 작업을 검색합니다.
  2. 유사 프롬프트: 검색된 작업에서 $p_{target}$과 유사한 행동 (정확성에 대한 일치) 을 보이는 말코르에서 상위-$K$개 프롬프트 프로그램을 검색합니다.
• 사전 확률 구축: 검색된 프롬프트의 검색된 작업에 대한 성능을 사용하여 베타 분포의 혼합물을 근사 사전 확률로 구축합니다.
• 갱신: 관측된 결과 ($O$) 는 켤레성 (conjugacy) 을 통해 이 혼합 사전 확률을 갱신합니다.
• 정제: RAP 는 구성 요소별 사전 확률 강도 조정을 포함합니다. 이는 검색된 구성 요소와 도메인 내 관측치만으로 유도된 사전 확률 간의 지구 이동 거리 (EMD) 를 기반으로 각 베타 구성 요소의 매개변수를 스케일링합니다. 이는 도메인 내 데이터가 부족할 때 관련 없는 말코르 데이터가 사후 확률을 왜곡하는 것을 방지합니다.

주요 기여

1. 형식화: 본 논문은 단순한 동전 던지기 모델 하에서 베이지안 추론으로서의 성능 예측을 형식화하여, 관측 데이터 (가능도) 와 사전 확률 (프로그램 유형 특성) 을 명시적으로 분리합니다.
2. 실증적 발견: 심볼릭 프로그램은 "전부 아니면 전무" 성능 사전 확률을 가지고 있는 반면, 프롬프트 프로그램은 중간 성능에 상당한 질량을 가진 확산된 사전 확률을 가진다는 최초의 실증적 증거를 제공합니다. 이는 두 프로그램 유형 간의 인증 격차를 설명합니다.
3. 알고리즘적 해결책: 말코르에서 근사 도메인별 사전 확률을 구축하는 검색 기반 방법인 RAP를 도입했습니다. RAP 는 말코르를 사용하지 않거나 말코르 전체를 순진하게 사용하는 베이스라인보다 우수한 성능을 발휘합니다.

결과

저자들은 **실제 정답에서의 확률 밀도 (SC)**와 절대 오차 (AE) 지표를 사용하여 다양한 설정 (도메인 내 및 도메인 외) 에서 60 개의 프롬프트 프로그램에 대해 RAP 를 평가했습니다.

• 우월성: RAP 는 도메인 내 및 도메인 외 설정 모두에서 베이스라인 (말코르 없음 및 전체 말코르) 보다 일관되게 우수한 성능을 발휘했습니다.
• 도메인 내 이점: 말코르에서 도메인 내 예시를 사용하는 것은 특히 관측된 테스트 케이스 수가 적을 때 예측 정확도를 크게 향상시킵니다.
• 수렴: 도메인 내 관측치 수가 증가함에 따라 RAP 는 실증적 사후 확률로 우아하게 수렴하여, 결국 가능도 항이 사전 확률을 지배하도록 보장합니다.
• 강건성: 이 방법은 다양한 하이퍼파라미터 선택, 말코르 크기, LLM 백본 전반에 걸쳐 강건하게 유지됩니다.

중요성과 주장

본 논문은 통합 베이지안 프레임워크를 사용하여 심볼릭 및 프롬프트 프로그램 모두에 대한 성능 예측을 연구한 최초의 작업이라고 주장합니다. 그 주요 중요성은 다음과 같습니다:

• 직관 정량화: 몇몇 테스트 케이스가 심볼릭 코드는 인증하지만 프롬프트는 인증하지 않는 이유에 대한 수학적 설명을 제공하며, 이를 성능 사전 확률의 구조적 차이에서 기인한 것으로 귀결시킵니다.
• 실용적 배포: 제한된 테스트 데이터만 사용할 때 프롬프트 프로그램 배포의 신뢰도를 추정하는 방법 (RAP) 을 제공합니다. 이는 80% 성능이 가치 있지만 불확실성을 관리해야 하는 비중요 설정에서 중요한 필요 사항입니다.
• 한계: 저자들은 RAP 를 "첫 번째 공격선"으로 겸손하게 언급합니다. 말코르가 커질수록 상위-$K$개 관련 쌍을 검색하는 것이 계산적으로 비용이 많이 든다고 인정하며, 향후 작업으로 활성 쿼리 및 작업 - 프롬프트 말코르의 저랭크 근사화를 제안합니다.