기술 요약: LLM 게임 에이전트를 위한 환경 접지형 자동 프롬프트 최적화

문제 정의

상호작용형 환경 내의 대규모 언어 모델(LLM) 에이전트는 프롬프트에 매우 민감하지만, 프롬프트 엔지니어링은 여전히 수동적이고 작업별로 특화된 과정으로 남아 있습니다. LLM은 강력한 추론 엔진 역할을 하지만, 공간적 해석, 장기 계획, 그리고 정보가 불완칙한 설정(예: 인터랙티브 게임)에서의 적응력 측면에서는 어려움을 겪는 경우가 많습니다. 기존 솔루션들은 새로운 도메인에 대한 수동 적응이 필요한 수작업 기반의 도메인 특화 아키텍처에 의존하거나, 비용이 많이 드는 모델 미세 조정(fine-tuning)을 포함합니다. 또한, 현재의 프롬프트 최적화 방법들은 정적인 데이터셋에 의존하는 경우가 많아, 이는 과적합을 초대로 할 수 있으며 상호작용형 환경의 비정상성(non-stationary)을 포착하지 못할 수 있습니다. 핵심 과제는 모델의 가중치를 업데이트하거나 광범위한 인간의 감독 없이도 에이전트의 성능을 극대화할 수 있는 작업 특화 프롬프트를 자동으로 도출하는 것입니다.

방법론: RAPOA

저자들은 분해된 에이전트 아키텍처와 환경 리턴(environment returns)에 의해 유도되는 진화적 프롬프트 최적화 루프를 결합한 RAPOA(Reward-driven Automatic Prompt Optimisation for Agentic systems)를 제안합니다.

1. 에이전트 아키텍처: SPA 에이전트

상태 파싱, 전략, 행동 선택을 동시에 처리하는 단일 구조(monolithic) 에이전트 대신, RAPOA는 이러한 과업들을 두 개의 하위 에이전트로 분산시킵니다:

• 기술 에이전트 ($A_{des}$): 원시 환경 관측값을 목표 관련 요약본으로 조건화하는 인지 모듈입니다. 이 모듈은 계획의 부담 없이 작업 관련 정보를 추출합니다.
• 행동 선택 에이전트 ($A_{act}$): 미션, 기술 에이전트의 요약본, 그리고 에이전트의 현재 상태를 입력받아 다음 행동을 선택하는 계획 모듈입니다.
  이 "분리된 인지-행동(Split Perception Action, SPA)" 아키텍처는 강화 학습(RL)에서 발견되는 액터-크리틱(actor-critic) 분리를 모방하며, 이를 통해 더욱 정밀한 타겟 프롬프트 최적화를 가능하게 합니다.

2. 최적화 루프

RAPOA는 다음과 같은 반복적인 진화 과정을 통해 작동합니다:

• 롤아웃(Rollout): 에이전트는 환경(BabyAI 작업)과 상호작용하여 관측, 행동, 보상의 궤적(에피소드)을 생성합니다.
• 행동 분석기(Behavior Analyzer, BA): 이 모듈은 실패 및 성공한 궤적을 분석하여 결과의 원인을 특정 프롬프트 구성 요소에 귀속시킵니다. 이는 실패 모드(예: "행동이 충돌을 고려하지 않음")와 성공적인 행동을 식별하고, 이를 심각도 순으로 순위를 매깁니다.
• 변이 생성기(Mutator): BA의 분석을 바탕으로, 변이 생성기는 하위 에이전트 프롬프트에 대한 타겟팅된 수정을 제안합니다. 이는 변경 사항이 최소한이며 일관성을 유지하고, 아키텍처 경계(예: 기술 에이전트는 작업 완료를 추론하지 않음)를 준수하도록 보장합니다.
• 2단계 평가: 제안된 변이들은 엄격한 수락 테스트를 거칩니다:
  1. 루프 내 최적화(In-loop Optimization): 후보 프롬프트는 현재 프롬프트보다 최적화 시드 세트($S_{opt}$)에서 임계값 $\delta$만큼 성능이 향상되어야 합니다.
  2. 홀드아웃 선택(Held-out Selection): 일반화 성능을 확보하고 과적합을 방지하기 위해, 후보 프롬프트는 별도의 고정된 선택 시드 세트($S_{select}$)에서도 성능이 향상되어야 합니다.

3. 주요 구성 요소

• 환경 접지(Environment Grounding): LLM-as-a-judge 방식과 달리, RAPOA는 실제 환경 보상을 최적화 신호로 사용하므로, 신호가 비정상적(non-stationary)이며 과적합이 더 어렵다는 특징이 있습니다.
• 심각도 순 적응(Severity-Ordered Adaptation): 시스템은 가장 심각한 실패 모드를 먼저 해결하는 것을 우선시하며, BA의 순위 목록에 따라 하위 에이전트를 순차적으로 적응시킵니다.

주요 기여

1. 자동 프롬프트 최적화 프레임워크: 단일 구조 및 다중 에이전트(분해형) LLM 에이전트를 모두 자동으로 최적화하여 수동 프롬프트 엔지니어링의 필요성을 제거하는 시스템입니다.
2. 결합된 프롬프트 최적화 절차: 상태 전이의 에피소드 리턴과 행동 분석을 활용하여 여러 하위 에이전트의 프롬프트를 동시에 정교화하는 방법입니다.
3. 분해 및 최적화의 시너지: 에이전트를 인지와 행동 모듈로 분리하고 자동 프롬프트 튜닝을 결합하는 것이, 가중치 업데이트나 미세 조정 없이도 단일 구조 베이스라인보다 성능이 월등히 높음을 입증했습니다.

실험 결과

본 프레임워크는 BALROG 벤치마크의 다섯 가지 BabyAI 작업군(GOTO, PICKUP, OPEN, PUTNEXT, PICKUPSEQGOTO)에서 평가되었습니다. 실험에서는 "Plain"(최소한의) 및 "Guided"(작업 특화) 프롬프트 초기화 조건 모두에서 RAPOA로 최적화된 SPA 에이전트를 RobustCoTAgent 베이스라인과 비교했습니다.

• 성능 향상: 최적화는 모든 작업과 조건에서 일관되게 성능을 개선했습니다.
  • PUTNEXT 작업(복잡한 다단계 협업 작업)에서 베이스라인인 RobustCoTAgent는 0%의 성공률을 기록했습니다. 반면, 동일한 기초 LLM(GPT-OSS-20B)을 사용하는 RAPOA 프레임워크는 최적화된 프롬프트를 통해 최대 72.5%의 성공률을 달お성했습니다.
  • 가이드된 초기화가 적용된 SPA 에이전트의 경우, 5개 작업 전체의 평균 성공률이 65.5%에서 79.2%로 증가했습니다.
  • 최소한의 프롬프트(plain prompts)를 사용하더라도 SPA 에이전트는 가이드된 BALROG 베이스라인과 대등하거나 이를 능가하는 성능을 보여주며 분해의 견고함을 증명했습니다.
• 일반화: 복잡한 작업(예: PUTNEXT)에 대해 최적화된 프롬프트는 더 단순한 작업(예: PICKUP)으로의 강한 전이성을 보였으나, 고립된 작업(예: OPEN)에 최적화된 프롬프트는 잘 일반화되지 않았습니다. 이는 최적화기가 복잡한 협업을 위한 보편적인 하위 기술을 학습함을 시사합니다.
• 절제 연구(Ablation Studies):
  • 수락 기준(Acceptance Criteria): 성능 향상을 요구하는 엄격한 수락 게이트가 매우 중요했습니다. 이 기준이 없으면(항상 수락 시), 특히 보상이 희소한(sparse-reward) 작업에서 최적화기가 최적 상태에서 벗어나는 경향을 보였습니다.
  • 선택 압력(Selection Pressure): 낮은 선택 압력은 보상이 희소한 환경에서 더 많은 탐색을 허용하여, PUTNEXT와 같이 어려운 작업에서 종종 더 나은 결과를 냈습니다.
  • 모듈 제약(Module Constraints): 최적화기가 행동 선택 에이전트만 수정하도록 제한했을 때도 단일 구조 베이스라인보다 높은 성능을 보였으나, 전체 분해 시스템이 가장 우수한 성능을 나타냈습니다.

의의 및 주장

본 논문은 RAPOA가 미세 조정의 계산 비용이나 수동 재설계의 노동 없이도 LLM 에이전트를 새로운 작업에 적응시키는 혁신적이고 자동화된 방법을 제공한다고 주장합니다. 결과는 다음을 시사합니다:

• 분해의 효과성: 상태 해석과 계획을 분리하는 것이 최적화 과정을 더 다루기 쉽고 효과적으로 만듭니다.
• 환경 접지형 최적화의 우수성: 정적 데이터셋이나 LLM 판사 대신 환경 보상을 사용하는 것이 더 견고하고 일반화 가능한 전략을 발견하게 해줍니다.
• 프롬프트 최적화는 미세 조정의 유효한 대안임: 프롬프트만을 정교화함으로써(모델 가중치는 고정한 채) 상당한 성능 향상(예: PUTNEXT에서 0%에서 72.5%로)을 달성할 수 있습니다.

저자들은 실험이 단일 도메인(BabyAI)과 하나의 LLM에 국한되어 있음을 언급하며 결과의 범위를 겸허하게 제한하였습니다. 향에 연구 과제로 다양한 환경 및 작업 분포에 대한 일반화 테스트, 그리고 조기 수렴을 방지하기 위한 인구 기반 최적화 변형 탐색 등을 제시했습니다. 또한, 프롬프트 최적화 연구에서 테스트 세트 오염을 피하기 위한 유망한 테스트베드로 절차적 생성 게임 환경을 강조했습니다.