Optimization before Evaluation: Evaluation with Unoptimised Prompts Can be Misleading

Sadjoli 외의 논문 "평가 전 최적화: 최적화되지 않은 프롬프트를 사용한 평가는 오해의 소지가 있을 수 있음"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

현재 대규모 언어 모델 (LLM) 평가 프레임워크 (예: BigBench, LM Eval Harness, HELM) 는 주로 정적 프롬프트 템플릿에 의존합니다. 이러한 프레임워크에서는 평가 대상 모든 모델에 단일 최적화되지 않은 프롬프트가 균일하게 적용됩니다.

저자들은 이 접근 방식이 애플리케이션 중심 개발에 근본적으로 결함이 있다고 주장합니다. 그 이유는 다음과 같습니다.

• 프롬프트 품질은 변수입니다: 프롬프트의 품질과 스타일은 모델의 지시 따르기 능력과 전반적인 성능에 큰 영향을 미칩니다.
• 오해의 소지가 있는 순위: 프롬프트를 고정된 상수로 취급함으로써, 벤치마크는 최적화된 프롬프트와 결합되었을 때 모델이 발휘할 수 있는 최대 잠재 성능을 포착하지 못합니다.
• 산업계와의 괴리: 학술적 벤치마크는 정적 프롬프트를 사용하는 반면, 산업계 실무자들은 특정 모델과 작업에 맞춰 성능을 극대화하기 위해 프롬프트 최적화 (PO) 기법을 routinely 사용합니다.

핵심 가설은 최적화되지 않은 프롬프트로 모델을 평가하면 잘못된 모델 순위가 산출되고, 실제 업무용 작업에 대한 모델 선정이 비최적화될 수 있다는 것입니다.

2. 방법론

저자들은 표준 정적 프롬프트 평가와 각 특정 모델에 맞춰 프롬프트가 최적화된 평가를 비교하는 실험을 수행했습니다.

실험 설정

• 모델: 다섯 개의 주요 LLM(세 개의 폐쇄형 멀티모달, 두 개의 오픈 가중치 텍스트 전용) 이 평가되었습니다. 모델 이름은 익명화되었습니다 (모델 A~E).
• 데이터셋: 공개 학술 벤치마크와 내부 산업 데이터셋의 혼합:
  • 오픈 소스: GSM8K(수학), OpenbookQA, MMLU(다중 작업).
  • 내부: 디지털 어시스턴트 라우팅, Copilot 도움말 문서, Copilot 컨설팅, 텍스트 -SQL, EDDE(문서 추출).
• 최적화 기법: GPT-4o 를 '비평가' 또는 최적화기로 사용하여 두 가지 유형의 프롬프트 최적화 (PO) 가 구현되었습니다.
  1. 지시문 전용 최적화: TextGrad 프레임워크를 사용하여 시스템 및 작업 지시문 ($I$) 을 최적화합니다.
  2. 지시문 및 예시 포함 최적화: MIPRO(DSPy 를 통해) 프레임워크를 사용하여 지시문과 퓨샷 예시 ($I + E$) 모두를 최적화합니다.
• 평가 지표: 정적 프롬프트와 최적화된 프롬프트에서 도출된 모델 순위 간의 상관관계를 측정하기 위해 켄달의 타우 ($\tau$) 가 사용되었습니다.

3. 주요 기여

1. 순위 불안정성에 대한 경험적 증거: 이 논문은 프롬프트 최적화가 모델 순위를 근본적으로 바꾼다는 최초의 대규모 증거를 제시합니다. 정적 프롬프트 하에서 '최고'로 보이는 모델들은 최적화된 프롬프트가 사용될 때 순위가 하락하는 경우가 많고, 그 반대도 마찬가지입니다.
2. 민감도 정량화: 이 연구는 다양한 모델이 작업 복잡도에 따라 프롬프트 최적화에 대해 서로 다른 수준의 민감도를 보임을 입증합니다.
3. 방법론적 제안: 저자들은 프롬프트 최적화가 애플리케이션 중심 모델 평가 파이프라인에서 선택 가능한 후처리 단계가 아닌, 표준적이고 필수적인 단계가 되어야 한다고 제안합니다.

4. 주요 결과

A. 유의미한 순위 변화

• 약한 상관관계: 정적 프롬프트와 최적화된 프롬프트를 사용한 순위 간의 상관관계는 매우 약합니다.
  • 지시문 전용 PO: 평균 켄달의 $\tau \approx 0.23$.
  • 지시문 및 예시 포함 PO: 평균 켄달의 $\tau \approx 0.36$.
  • $\tau$ 값이 0 에 가까우면 순위가 거의 상관관계가 없음을 의미하며, 이는 '최고' 모델이 빈번하게 변경됨을 나타냅니다.
• 구체적 예시:
  • GSM8K에서 정적 프롬프트는 모델 B 가 최고라고 제안했으나, 지시문 전용 최적화 후에는 모델 D 가 최상위 성능을 보였습니다.
  • MMLU에서 모델 B 는 정적 프롬프트로 최상위였으나, 최적화 후에는 모델 D 가 선두를 차지했습니다.

B. 성능 향상

• 일반적 이득: PO 는 모든 데이터셋에서 모델의 절대 성능 점수를 전반적으로 향상시켰습니다.
• 최대 성능: 애플리케이션 중심 목표의 경우, PO 는 실무자가 모델 - 프롬프트 조합의 진짜 최대 성능 한계를 발견할 수 있게 합니다. 예를 들어, 모델 A 는 'Copilot 도움말 문서' 데이터셋에서 지시문 전용 최적화 후 최대 점수가 6.9% 증가했습니다.

C. 작업 민감도

• 복잡한 대 단순 작업: PO 는 복잡하고 개방형 작업 (예: GSM8K, Copilot 컨설팅) 에서 가장 큰 이점을 제공했습니다.
• 한계 효용 체감: 모델이 이미 거의 완벽하게 수행하는 작업 (예: OpenbookQA, 디지털 어시스턴트 라우팅) 의 경우, PO 는 미미한 이득을 제공하거나 경우에 따라 과도한 최적화나 불필요한 지시문으로 인해 성능이 저하되기도 했습니다.

D. 부정적 사례 (실패 모드)

이 논문은 PO 가 성능을 저하시킨 사례도 강조합니다.

• 형식 혼란: OpenbookQA 에서 최적화는 방대한 추론 지시문을 추가하여 메트릭 파서를 혼란스럽게 했고, 이로 인해 정답이 오답으로 표시되었습니다.
• 예시 오해석: MMLU 에서 최적화된 프롬프트는 모델이 퓨샷 예시를 실제 테스트 질문으로 취급하게 만들어 일련의 오류를 초래했습니다. 이는 최적화기 ('비평가') 와 대상 모델 간의 호환성 검사가 필요함을 시사합니다.

5. 중요성 및 결론

이 논문은 LLM 벤치마킹의 현 상태를 근본적으로 도전합니다. 저자들은 특정 애플리케이션에 가장 적합한 모델을 선정하기 위해서는 정적 프롬프트만으로는 부족하다고 주장합니다.

• 실무자를 위해: 정적 프롬프트를 사용하는 공개 리더보드에 의존하면 비최적화된 모델을 선정하게 될 수 있습니다. 최고의 투자 수익률 (ROI) 과 성능을 보장하기 위해 조직은 최종 평가 전에 모델별 프롬프트 최적화를 수행해야 합니다.
• 연구자를 위해: 향후 벤치마킹 프레임워크는 실제 업무용 시나리오를 정확하게 반영하기 위해 자동화된 PO 를 평가 파이프라인의 핵심 구성 요소로 통합해야 합니다.

결론: 저자들은 "평가 전 최적화"가 단순히 모범 사례가 아니라 필수 사항이라고 결론지었습니다. 프롬프트 최적화를 무시하면 오해의 소지가 있는 벤치마크를 초래하고, 생산 시스템의 모델 선정에 있어 비용이 큰 오류로 이어질 수 있습니다.