1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 의 성능은 프롬프트의 품질에 크게 의존합니다. 기존 자동 프롬프트 최적화 (APO) 방법론들은 대부분 Ground-truth(정답 레이블) 이 있는 검증 데이터를 사용하여 후보 프롬프트를 평가합니다. 그러나 실제 산업 환경에서는 대규모로 레이블을 획득하는 것이 비용이 많이 들고 느립니다.

이러한 상황에서 Ground-truth 레이블 없이 (Label-free) 프롬프트를 최적화하는 것은 중요한 과제입니다. 기존 레이블 없는 방법들은 LLM 을 '판심자 (Judge)'로 활용하여 출력물을 평가하지만, 다음과 같은 한계가 존재합니다:

• 노이즈: LLM 판심자의 판단은 비결정적이며, 위치 편향 (position bias) 이나 verbosity 편향이 존재할 수 있습니다.
• 비효율성: 후보 프롬프트의 수가 증가할 때, 모든 쌍을 비교하는 것은 비용이 기하급수적으로 증가하여 비현실적입니다.
• 탐색 전략의 부재: 많은 기존 방법론이 단순한 그리디 (greedy) 방식에 의존하여 전역 최적점을 찾기 어렵습니다.

2. 제안 방법론: PDO (Prompt Duel Optimizer)

저자들은 레이블 없는 프롬프트 최적화 문제를 듀얼링 밴디트 (Dueling Bandit) 문제로 공식화하고, 이를 해결하기 위해 PDO를 제안합니다. PDO 는 두 가지 핵심 구성 요소를 결합합니다.

A. 듀얼링 밴디트 공식화

• 각 라운드에서 두 개의 프롬프트 (Arm) 를 선택하여 LLM 판심자에게 비교하게 합니다.
• 판심자는 두 출력 중 더 나은 것을 선택하는 이진 선호 (Pairwise Preference) 피드백을 제공합니다.
• 목표는 Condorcet Winner(모든 다른 프롬프트보다 더 자주 이기는 프롬프트) 또는 Copeland Winner(상대방을 이기는 확률이 0.5 이상인 상대의 수를 최대화하는 프롬프트) 를 찾는 것입니다.

B. 핵심 알고리즘 구성 요소

1. Double Thompson Sampling (D-TS):

   • 효율적인 쌍별 비교를 위한 베이지안 전략입니다.
   • 각 라운드에서 두 개의 독립적인 샘플링을 수행하여, 불확실성이 높고 정보량이 많은 프롬프트 쌍 (Informative Duels) 에 집중하도록 유도합니다.
   • 이는 탐색 (Exploration) 과 활용 (Exploitation) 의 균형을 맞추며, Copeland 최적 해를 찾는 데 수렴성을 보장합니다.

2. Top-Performer Guided Mutation (최고 성능자 유도 변이):

   • 고정된 프롬프트 풀 (Pool) 에서만 탐색하는 것을 넘어, 전역 최적점을 찾기 위해 풀을 확장합니다.
   • 현재 Copeland 점수가 가장 높은 프롬프트 (Top-performer) 를 선택하여, 템플릿 편집, 텍스트 그라디언트, 또는 LLM 보조 재작성 등을 통해 변이 (Mutation) 를 생성합니다.
   • 생성된 새로운 프롬프트는 풀에 추가되고, 성능이 낮은 프롬프트는 제거됩니다. 이는 탐색 공간을 효율적으로 확장하면서도 고성능 영역을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 공식화: LLM 판심자를 통한 쌍별 비교 기반의 레이블 없는 프롬프트 최적화를 듀얼링 밴디트 문제로 체계적으로 정의했습니다.
2. 알고리즘 제안 (PDO): D-TS 를 통한 샘플 효율적인 프롬프트 선택과 Top-performer 기반 변이 전략을 통합하여, 제한된 판심자 예산 내에서 최적 프롬프트를 찾는 프레임워크를 제시했습니다.
3. 실험적 검증: BIG-bench Hard (BBH) 와 MS MARCO 데이터셋에서 PDO 가 기존 레이블 없는 베이스라인 (SPO 등) 보다 일관되게 우수한 성능을 보임을 입증했습니다.
4. 신뢰성 분석: 판심자 노이즈와 순환성 (Circularity, 즉 판심자와 최적화 모델이 동일할 때 발생하는 편향) 에 대한 분석을 수행하고, 다른 모델 계열 (Cross-family) 을 사용한 재평가에서도 PDO 의 성능 향상이 유지됨을 보였습니다.

4. 실험 결과 (Results)

• BBH (다중 선택형 추론 태스크): 16 개 태스크 중 13 개에서 PDO 가 가장 높은 정확도를 기록했습니다. 특히 Tracking-7 (+9.8%p) 과 Web of Lies (+8.1%p) 에서 기존 베이스라인 대비 큰 개선을 보였습니다.
• MS MARCO (개방형 QA): 4 개 태스크 (Description, Entity, Numeric, Location) 에서 D-TS 기반 PDO 는 RUCB, 무작위 샘플링, 그리고 SPO(기존 레이블 없는 방법) 보다 빠르게 수렴하고 더 높은 점수를 달성했습니다.
• 비용 효율성: 제한된 LLM API 호출 예산 하에서 PDO 는 더 적은 비용으로 더 나은 프롬프트를 찾았습니다.
• 판심자 분석:
  • 노이즈 감소: 복잡한 태스크 (예: Geometric) 에서는 Llama-3.3 판심자의 노이즈가 컸으나, 더 강력한 모델 (Claude 4.5) 로 교체 시 성능이 크게 향상되었습니다.
  • 쌍별 비교의 우위: 점수 매기기 (Pointwise Scoring) 보다 쌍별 비교 (Pairwise Preference) 가 판별력과 안정성 면에서 우월함이 확인되었습니다.

5. 의의 및 결론 (Significance)

이 연구는 Ground-truth 레이블이 없는 환경에서도 LLM 의 자체 판심 능력을 활용하여 고품질 프롬프트를 자동 최적화할 수 있는 실용적인 프레임워크를 제시합니다.

• 산업적 적용성: 대규모 레이블링 비용 없이도 LLM 기반 텍스트 분류나 QA 시스템의 배포 초기 단계에서 고품질 프롬프트를 확보할 수 있게 합니다.
• 방법론적 확장: 듀얼링 밴디트 이론을 LLM 프롬프트 최적화에 적용함으로써, 노이즈가 있는 피드백 환경에서의 효율적인 탐색 전략을 제시했습니다.
• 향후 방향: 단일 턱 (Single-turn) 설정을 넘어 멀티턴 상호작용이나 에이전트 시스템의 프롬프트 세트 최적화로 확장 가능한 기반을 마련했습니다.

결론적으로, PDO 는 레이블 데이터의 부재라는 현실적인 제약을 극복하고, LLM 의 상호 비교 능력을 통해 비용 효율적이고 강력한 프롬프트를 발견하는 새로운 패러다임을 제시합니다.