기술 요약: MO-CAPO: 다목적 비용 인지 프롬프트 최적화

1. 문제 정의

대규모 언어 모델 (LLM) 은 다양한 작업에서 뛰어난 성능을 발휘하지만, 프롬프트 설계에 매우 민감하여 자동 프롬프트 최적화가 필요합니다. 기존 방법들은 주로 성능 극대화에 초점을 맞추지만, 추론 비용과 지연 시간과 같은 경쟁 목표들을 종종 무시합니다. furthermore, 최적화 과정 자체가 비용이 많이 들어 수많은 LLM 호출이 필요합니다.

현재 접근 방식은 두 가지 주요 한계에 직면해 있습니다:

1. 단일 목적 초점: 대부분의 최적화기 (예: CAPO, GEPA) 는 성능만을 최적화하거나 프롬프트 길이를 패널티로 부과하기 위해 고정된 사전 선택된 트레이드오프 가중치를 사용한 스칼라화를 적용합니다. 이 접근 방식은 성능 - 비용 트레이드오프의 전체 스펙트럼을 포착하지 못하며, 사용자가 비자명하게 가중치를 수동으로 조정해야 합니다.
2. 비효율적인 다목적 방법: 기존 다목적 프롬프트 최적화기들은 대개 NSGA-II 와 같은 오프더셸 알고리즘에 의존합니다. 이러한 방법들은 최적화 절차에서 비용 효율성이 부족한 경우가 많아, 유망하지 않은 해를 조기에 폐기하는 메커니즘 없이 전체 데이터셋에서 후보를 평가합니다. 또한, 현대 LLM 의 입력 토큰과 출력 토큰의 고유한 계산 프로필을 무시하고 비용의 대리 변수로 프롬프트 길이를 사용하는 경우가 많습니다 (여기서 출력 생성이 훨씬 더 비용이 많이 듭니다).

핵심 문제는 성능과 추론 비용을 동시에 최적화하고, 다양한 파레토 최적 해 집합 (파레토 프론트) 을 발견하며, 제한된 평가 예산 하에서 이를 효율적으로 수행하는 프롬프트 최적화 알고리즘을 개발하는 것입니다.

2. 방법론: MO-CAPO

저자들은 CAPO 의 진화 전략을 확장하여 여러 목표를 명시적으로 처리하고 예산 할당 메커니즘을 통합하는 MO-CAPO(Multi-Objective Cost-Aware Prompt Optimization) 알고리즘을 제안합니다.

2.1 비용 목표

MO-CAPO 는 LLM 추론의 전체 계산 프로필을 고려하는 배포 지향적 비용 목표를 도입합니다. 이전 방법들이 프롬프트 길이만 패널티로 부과한 것과 달리, MO-CAPO 는 비용을 입력 및 출력 토큰의 가중 합으로 정의합니다:
$$c_\Phi(p, x) = w_{in} \cdot tok_{in}(p; x) + w_{out} \cdot tok_{out}(p; x)$$
여기서 $w_{in}$과 $w_{out}$은 API 가격 또는 지연 시간 지표에서 도출된 모델별 가중치입니다. 이 수식은 순차적 자기회귀 디코딩으로 인해 출력 토큰이 일반적으로 더 비용이 많이 든다는 현실을 반영합니다.

2.2 알고리즘 프레임워크

MO-CAPO 는 지시사항과 퓨샷 예제로 구성된 프롬프트 군집을 가진 유전 알고리즘으로 작동합니다. 이는 NSGA-II 와 다목적 자동 알고리즘 구성 방법인 MO-SMAC 의 개념을 통합합니다.

• 현행 집합 및 군집: 알고리즘은 군집 ($P_\mu$) 과 현재 파레토 프론트 근사치를 나타내는 전용 현행 집합 ($P_{inc}$) 을 유지합니다.
• 부모 선택: CAPO 의 무작위 선택과 달리, MO-CAPO 는 이질적 평가 수준에 적응된 이진 토너먼트 선택을 사용합니다. 이는 현행 해 (파레토 프론트 상의 해) 를 선호하며 다양성을 유지하기 위해 혼잡 거리 (CD) 를 사용합니다. 다른 평가 수준을 가진 비현행 해의 경우, 공정한 비교를 보장하기 위해 약한 우세 기준을 적용합니다.
• 집중화 (예산 할당): 이는 핵심 효율성 메커니즘입니다. 모든 후보를 전체 개발 세트로 평가하는 대신, 도전자들은 데이터 블록에서 점진적으로 평가됩니다.
  • 도전자는 목표 공간에서 가장 가까운 현행 해와 비교됩니다.
  • 도전자가 지금까지 평가된 데이터 하위 집합에서 현행 해에 의해 우세하다면, 평가가 조기 종료되어 ("거부됨") 예산이 절약됩니다.
  • 생존하면, 현행 해를 우세하거나 모든 공유 블록에 대한 평가가 완료될 때까지 더 많은 블록에서 평가됩니다.
  • 생존한 도전자들은 군집에 추가되고 잠재적으로 현행 집합에도 추가됩니다.
• 환경 선택: 군집 크기를 유지하기 위해 우세한 후보는 제거됩니다. 후보가 이질적 평가 수준을 가진 경우, 편향을 방지하기 위해 평가 횟수가 적은 후보가 먼저 폐기됩니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 제시합니다:

1. MO-CAPO 알고리즘: 집중화 메커니즘을 통해 비용 효율성을 유지하면서 성능과 추론 비용을 균형 있게 조정하는 완전한 파레토 프론트 근사치를 발견하는 새로운 다목적 프롬프트 최적화 알고리즘.
2. 현실적인 비용 목표: 현대 LLM 의 배포 비용을 단순 프롬프트 길이 대리 변수를 넘어 현실적으로 측정할 수 있도록 입력 및 출력 토큰을 별도로 가중치하는 새로운 목적 함수.
3. 엄격한 평가 프로토콜: 일반화와 견고성을 고려한 다목적 프롬프트 최적화의 첫 대규모 평가:
   • 노이즈 R2 (nR2): 개발 세트를 기반으로 사용자 선호 선택을 시뮬레이션하고 테스트 세트에서 평가하여 선택 견고성을 측정합니다.
   • 근사치 갭: 테스트 세트에서 비우세한 낙관적 파레토 프론트와 개발 세트에서 비우세한 비관적 파레토 프론트 간의 차이를 정량화합니다.
   • 실증 도달 표면 (EAS): 여러 실행에 걸친 성능 안정성을 시각화합니다.
4. 종합 벤치마킹: 세 가지 LLM 과 네 가지 작업에 걸쳐 최첨단 단일 목적 최적화기 (CAPO, GEPA, EvoPromptGA) 와 NSGA-II 기반 베이스라인에 대한 비교로, 다목적 지표와 효율성에서 우월성을 입증합니다.

4. 실험 결과

저자들은 750 만 토큰 예산으로 세 가지 LLM(GPT-OSS-120B, Qwen3-30B, Mistral-3.2-24B) 과 네 가지 작업 (AG News, GSM8K, Subj, MBPP) 에서 MO-CAPO 를 평가했습니다.

• 다목적 성능: MO-CAPO 는 12 개의 모델 - 데이터셋 조합 중 8 개에서 노이즈 R2 지표 측면에서 NSGA-II 기반 베이스라인을 능가했습니다. 이는 강력하고 견고하며 다양한 파레토 프론트 근사치를 일관되게 식별했습니다.
• 효율성: MO-CAPO 는 훨씬 더 낮은 예산에서 경쟁력 있는 해 집합을 발견하여 효율성이 현저히 높았습니다 (종종 최종 성능의 80% 에 도달하는 데 NSGA-II-PO 보다 1/3 미만의 예산만 필요함). 집중화 메커니즘을 통해 MO-CAPO 는 베이스라인보다 최대 5.7 배 더 많은 후보를 평가할 수 있었습니다.
• 해의 다양성: 발견된 해 집합은 단일 목적 최적화기가 누락한 저비용 해와 고성능 해를 포함한 다양한 성능 - 비용 트레이드오프를 아우릅니다. 프롬프트는 지시사항 세부 사항, 퓨샷 예제 수, 입력/출력 토큰 비율에서 다양했습니다.
• 단일 목적 방법과의 경쟁력: 비용을 최적화했음에도 불구하고, MO-CAPO 가 찾은 최상위 성능 후보는 최첨단 단일 목적 최적화기와 여전히 경쟁력이 있었습니다. 정확도 순위 측면에서 MO-CAPO 는 많은 설정에서 CAPO 및 GEPA 와 통계적으로 구별되지 않았으며 EvoPrompt 및 초기 지시사항을 현저히 능가했습니다.
• 절차 제거 연구:
  • 집중화: 이 메커니즘을 제거하고 (NSGA-II-PO 로 복귀) 수렴 속도가 느려지고 토큰 소비가 증가했습니다.
  • 비용 가중치: 입력 토큰 가중치 ($w_{in}$) 가 프롬프트 비용을 통제하는 주된 동인으로 밝혀졌습니다. 이를 제거하면 입력 토큰 사용량이 급격히 증가하고 최적화 품질 (nR2) 이 저하되었습니다.

5. 중요성과 주장

본 논문은 MO-CAPO 가 단일 해나 수동 조정된 스칼라화에 강제로 묶이는 대신, 성능과 비용 간의 다양한 트레이드오프를 제공하는 효율적으로 발견된 여러 프롬프트 집합에서 실무자가 선택할 수 있게 한다고 주장합니다.

중요성과 관련된 주요 주장은 다음과 같습니다:

• 효율성: 진화적 프롬프트 최적화에 다목적 예산 할당 (집중화) 을 통합함으로써 엄격한 계산 예산 하에서 견고한 파레토 프론트를 발견할 수 있게 합니다.
• 현실성: 입력 및 출력 토큰 비용을 명시적으로 모델링함으로써 길이 기반 대리 변수보다 실제 배포 비용을 더 정확하게 반영합니다.
• 견고성: 근사치 갭과 노이즈 R2 지표를 사용하면 하이퍼볼륨과 같은 표준 지표로 종종 가려지는 일반화 오류와 확률적 변이를 고려하여 해의 품질을 더 현실적으로 평가할 수 있습니다.
• 실용적 유용성: 이 방법은 성능만 고려하는 방법들이 무시하는 다양한 실행 가능한 저비용 대안을 제공하여, 경미한 정확도 향상이 종종 추론 비용의 상당한 증가를 정당화하지 못한다는 실용적 현실을 해결합니다.

저자들은 이 작업을 기계 학습을 위한 다목적 최적화의 첫 번째 철저한 평가로 위치시키며, 프롬프트 최적화로 예비 방법론을 확장하고 이 분야에서 견고하고 일반화 인식 지표를 필요로 함을 강조합니다.