기술 요약: CAPO – LLM 에이전트를 위한 제약 조건 인식 프롬프트 최적화

1. 문제 정의

대규모 언어 모델(LLM)은 외부 도구를 사용하여 작업을 수행하기 위해 시스템 프롬프트에 의존하는 에이전트로 점점 더 많이 배치되고 있습니다. 이러한 에이전트들은 작업을 성공적으로 완료할 수는 있지만, 과도한 도구 사용, 불필요한 인간 개입, 지나치게 긴 프롬프트, 또는 안전 및 포맷팅 정책 위반과 같은 운영상의 제약 조건으로 인해 배포 요구 사항을 충족하지 못하는 경우가 빈번합니다.

기존의 자동 프롬프트 최적화 방법들은 다음과 같은 이유로 이러한 제약 조건을 효과적으로 다루는 데 실패합니다:

• 정적 가중치 점수(Static Weighted Scores): 탐색을 시작하기 전에 제약 조건에 고정된 계수를 할당하며, 이는 도메인이나 최적화 라운드에 따라 "결합 제약 조건(binding constraint, 가장 많이 위반되는 요구 사항)"이 변할 때 적응할 수 없습니다.
• 파레토 순위(Pareto Ranking): 파레토 최적의 프롬프트를 식별하지만, 특정 배포 임계값을 충족하는지 보장하지 않으므로 모든 후보가 실행 가능한 영역 밖에 남겨질 가능성이 있습니다.
• 사후 학습(Post-Training): 모델 가중치와 지도 학습 데이터에 대한 접근을 요구하며, 이는 고정되거나 API 전용 모델의 경우 불가능한 경우가 많습니다.

본 논문은 이 문제를 **임계값 제약 최적화(threshold-constrained optimization)**로 정식화합니다:
$$\max_{p \in \mathcal{P}_{text}} R(p) \quad \text{s.t.} \quad C_i(p) \leq \tau_i, \quad i = 1, \dots, m$$
여기서 $R(p)$는 작업 보상(task reward), $C_i(p)$는 제약 조건 $i$의 비용, $\tau_i$는 명시적인 예산입니다. 목표는 모든 제약 조건을 동시에 만족하면서 작업 성능을 극대화하는 프롬프를 찾는 것입니다.

2. 방법론

본 논문은 **CAPO (Constraint-Aware Prompt Optimization)**를 소개하며, 이는 적응형 라그랑주 승수(Lagrangian multipliers)를 사용하여 프롬프트 최적화를 제약 조건이 있는 탐색 문제로 취급하는 프라이멀-듀얼(primal–dual) 방식입니다.

2.1 CAPO: 고정된 리라이터(Rewriter)를 이용한 프라이멀-듀얼 탐색

CAPO는 프라이멀 단계(프롬프트 재작성)와 듀얼 단계(제약 조건 가중치 업데이트)를 교대로 수행하며 라운드를 운영합니다.

• 라그랑주 순위(Lagrangian Ranking): 승수 $\lambda_i \geq 0$에 대하여, 이 방법은 다음과 같은 라그랑주 목적 함수를 정의합니다:
  $$J(p, \lambda) = R(p) - \sum_{i=1}^m \lambda_i (C_i(p) - \tau_i)$$
  프롬프트는 $J(p, \lambda)$에 의해 순위가 매겨집니다. 이 순위는 부모 선택을 위한 재작성을 유도하고 어떤 프롬프트를 풀(pool)에 유지할지를 결정합니다.
• 근사적 프라이멀 재작성(Approximate Primal Rewrites): 고정된 "비평가(critic)" LLM은 작업 실패와 제약 위반을 요약합니다. 그 후 고정된 "리라이터(rewriter)" LLM은 이 증거와 현재의 듀얼 상태(승수)를 기반으로 새로운 프롬프트를 생성합니다. 재작성 지침에는 더 큰 승수를 가진 제약 조건에 우선순위를 두도록 가중치 $(1, \lambda_1, \dots, \lambda_m)$가 명시적으로 포함됩니다.
• 잔차 기반 듀얼 업데이트(Residual-Driven Dual Updates): 확장된 풀을 평가한 후, 상위 후보들의 경험적 잔차(empirical residual)를 기반으로 투영된 서브그레이디언트(projected subgradient) 단계를 사용하여 승수를 업데이트합니다:
  $$\lambda_i \leftarrow \Pi_{[0, \lambda_{max}]} \left[ \lambda_i + \beta \left( \frac{1}{|P_{best}|} \sum_{p_j \in P_{best}} \hat{\rho}_{i,j} - \tau_i \right) \right]$$
  만약 제약 조건이 위반되면($\hat{\rho} > \tau$), 해당 승수가 증가하여 미래의 순위 지정 및 재작성에서의 가중치를 높입니다. 여유가 있다면 승수는 감소합니다.
• 프롬프트 풀(Prompt Pool): 유지되는 프로프트 풀은 강력한 후보들을 보존하여, 성공적인 재작성이 향후 라운드의 시드가 될 수 있도록 합니다.

2.2 DCAPO: 동적으로 학습되는 CAPO

효율성과 적응성을 개선하기 위해, 저자들은 고정된 LLM에 의존하는 대신 피드백 및 듀얼 조건부 리라이터 정책($\pi_\theta$)을 학습하는 DCAPO를 도입합니다.

• 학습: DCAPO는 **풀 기반 GRPO (Group Relative Policy Optimization)**를 사용합니다. 진화하는 프롬프트 풀에서 부모를 샘살링하고, 자식 프롬프트 그룹을 생성하며, 고정된 작업 에이전트로 이를 평가한 뒤, 적응형 라그랑주 점수에 따라 리라이터 정책을 업데이트합니다.
• 조건화(Conditioning): 리라이터는 부모 프롬프트, 깊이 시퀀스 내의 이전 재작성, 행동 궤적(도구 호출, 실패), 그리고 현재 듀얼 상태 $\lambda_t$에 따라 조건화됩니다.
• 관심사의 분리: 배치된 작업 에이전트는 고정된 상태를 유지하며, 오직 리라이터만 학습됩니다.

2.3 이론적 분석

본 논문은 방법론의 수렴을 특징짓는 대리 분석(surrogate analysis)을 제공합니다. 연속적인 대리 공간에서의 불완전한 상승 단계(inexact ascent step)로서 이산적인 텍스트 재작성을 모델링합니다. 분석은 다음을 고려하는 프라이멀-듀얼 경계(primal–dual bound)를 확립합니다:

1. 유한 풀 근사 오류(Finite-pool approximation errors).
2. 이산적 재작사 잔차(Discrete-rewrite residuals, 이산 텍나 재작사와 이상적인 연속 상승 사이의 간극).
3. 표준 듀얼 최적화 오류.
   이 경계는 단계 크기가 소멸함에 따라 방법이 실행 가능한 솔루션으로 수렴함을 보여줍니다.

3. 주요 기여

1. 제약 조건 인식 프롬프트 최적화: 정적 스칼라화(static scalarization)나 파레토 순위를 넘어, 부호가 있는 잔차를 사용하여 제약 조건의 가중치를 적응적으로 조절하는 풀 기반 프라이멀-듀얼 절차를 개발했습니다.
2. 일관된 경험적 실행 가능성: 다양한 도메인(Airline, Retail, Telecom)과 모델 크기에 대해 모든 운영 예산을 충족하는 지점에 CAPO가 안정적으로 도달함을 입증했습니다. 반면 정적 베이스라인(APO, GEPA, MOPO)은 대부분의 설정에서 실패했습니다.
3. 학습된 리라이터 (DCAPO): 풀 기반 GRPO를 사용하여 재작성 정책을 학습하는 방법을 도입했습니다. DCAPO는 작업 에이전트를 고정된 상태로 유지하면서도 다양한 도메인에서 실행 가능한 프롬프트를 생성하며, 베이스라인의 정확도와 대등하거나 이를 능가합니다.
4. 대리 분석: 유한 풀 및 이산 재작사 오류가 불완전한 프라이멀-듀얼 절차를 통해 어떻게 전파되는지에 대한 이론적 특성을 제공합니다.

4. 실험 결과

평가는 세 가지 주요 영역인 TAU2-BENCH (도구 사용 에이전트), Chatbot/Privacy 벤치마크, 그리고 코딩 에이전트를 포괄합니다.

4.1 에이전트 도구 사용 (TAU2-BENCH)

• 실행 가능성: 세 가지 도메인(Airline, Retail, Telecom)과 두 가지 작업 모델(GPT-5-mini, GPT-5.1)의 6가지 조합 전반에 걸쳐, CAPO는 모든 설정에서 모든 제약 조건을 충족한 유일한 방법이었습니다.
  • 베이스라인(Initial, APO, GEPA, MOMO)은 최대 한 개의 조합에서만 실행 가능성을 달성했습니다.
  • CAPO는 초기 프롬프트와 비교하여 작업 정확도를 유지하거나 개선하면서 6개 조합 모두에서 실행 가능성을 달성했습니다.
  • 참고: CAPO(EA)(부모에게 동등한 자격을 부여하는 변형)는 6개 중 5개 설정에서 실행 가능성을 달성했지만, 표준 CAPO 변형만이 6개 설정 모두에서 실행 가능성을 달성한 유일한 방법이었습니다.
• 오픈 웨이트 모델: Ministral-8B에 적용했을 때, CAPO는 평가된 방법 중 모든 도메인에서 모든 제약 조건을 충족한 유일한 방법이었으며, 이는 낮은 수준의 지시 이행 능력을 가진 모델에서도 견고함을 입증합니다.
  • 참고: APO는 Ministral-8B의 Airline 및 Retail 도메인에서는 실행 가능성을 달성했으나 Telecom 도메인에서는 실패한 반면, CAPO는 세 도메인 모두에서 성공했습니다.

4.2 어시스턴트 및 프라이버시 제약 조건

• Chatbot Suite: CAPO 변형들은 네 가지 예산(GSM8K 정확도, 응답 길이, 안전성, 과잉 거부)을 모두 충족했으며, 실행 불가능한 베이스라인들과 대등한 정확도를 보였습니다.
• 프라이버시 위임 (PUPA–IFBench): CAPO는 실행 가능한 모든 방법 중 가장 높은 목적 함수를 달ar성하여, 프레임워크가 도구 사용 비용을 넘어 안전, 포맷팅, 지시 이행 제약까지 확장됨을 보여주었습니다.

4.3 DCAPO 성능

• 실행 가능성: DCAPO는 평가된 모든 도메인과 작업 에이전트 크기(Qwen3-8B 및 Qwen3-32B)에서 실행 가능한 프롬프트를 생성했습니다.
• RL과의 비교: 고정된 페널티를 사용하여 작업 에이전트를 업데이트하는 Agent-GRPO 또는 StablePrompt과 달리, DCAPO는 모든 도메인에서 일관되게 제약 조건을 충족했습니다.
• 어블레이션 연구 (Ablations):
  • 피드백 소스: 온라인 행동 피드백(전체 궤적 사용)이 요약 기반 피드백보다 실행 가능성 측면에서 매우 중요하다는 것이 밝혀졌습니다.
  • 재작사 깊이 (Rewrite Depth): 두 번째 재작사 단계(D=2)를 사용하는 것이 일반적으로 실행 가능성을 유지하고 정확도를 향상시켰습니다.

4.4 견고성 및 전이

• 노이즈 민감도: CAPO는 Retail 도메인에서 듀얼 피드백의 미세한 노이즈 하에서도 실행 가능성을 유지했으나, 더 엄격한 도메인(Airline, Telecom)은 민감도를 보여 정확한 비용 추정의 중요성을 강조했습니다.
• 태스크 클러스터 이동 (Task Cluster Shift): CAPO는 임베딩으로 정의된 이동된 태스크 클러스터에서도 실행 가능성을 유지하여 도메인 내 일반화 능력을 입증했습니다.
• 제로샷 전이 (Zero-Shot Transfer): 한 도메인(Telecom)에서 학습된 리라이터는 다른 도로메인(Retail, Airline)에서 도구 사용을 줄일 수는 있었지만, 타겟 도메인 적응 없이는 완전한 실행 가능성을 달성하지 못했습니다. 이는 엄격한 제약 조건에 대해 도메인별 미세 조정이 필요함을 나타냅니다.

5. 의의 및 주장

본 논문은 CAPO가 배포된 에이전트를 위한 프롬프트 최적화 접근 방식에 있어 중요한 변화를 제공한다고 주장합니다:

• 정적에서 적응형으로: 고정된 제약 조건 가중치를 대신하여, 측정된 제약 잔차가 탐색 과정 중 어떤 실패에 집중할지를 동적으로 결정하는 피드백 루프를 도입했습니다.
• 실행 가능성을 주요 목표로: 가중 합(weighted sum)을 최적화하여 중요한 제약 조건을 위반할 수 있는 방식이 아니라, 모든 배포 임계값을 충족하는 프롬프트를 찾는 것을 우선시합니다.
• 고정된 모델에 대한 적용 가능성: 모델 가중치가 아닌 시스템 프롬프트를 최적화함으로써, CAPO는 API 전용 및 고정된 모델에 적용 가능하며, 이는 많은 실제 배포 환경에서 필수적인 요구 사항입니다.
• 학습 가능한 재작사: DCAPO는 행동 피드백을 통해 재작사 과정 자체를 학습할 수 있음을 보여주며, 작업 에이전트를 재학습하지 않고도 효율적인 적응을 가능하게 합니다.

저자들은 배포 요구 사항이 단순한 최종 평가 기준이 아니라, 탐색 과정을 가이드하는 능동적인 피드백 신호 역할을 해야 한다고 결론짓습니다. 이 접근 방식은 역량 있고 운영 제약 조건을 준수하는 LLM 에이전트를 배포하는 데 더 신뢰할 수 있는 경로를 제공합니다.