기술 요약: CURATEEVO

문제 정의

대규모 언어 모델(LLM) 에이전트는 환경 피드백을 사용하여 장기 의사결정 능력을 향상시킬 수 있는 사후 학습(post-training) 방법을 필요로 합니다. 데이터 품질은 에이전트 사후 학습의 성능을 결정하는 알려진 요소이지만, 기존의 데이터 큐레이션 파이프라인은 두 가지 주요 한계점을 가집니다:

1. 큐레이션 소홀(Curation Neglect): 대부분의 방법론은 데이터 증강(실패한 궤적을 더 많이 수집하는 것)에 주로 집중하며, 데이터의 필터링 및 정제라는 핵심적인 작업은 간과합니다. 이는 종종 저품질 또는 중복된 데이터가 포함되는 결과를 초래하여, 비례적인 성능 향상 없이 훈련 비용만을 증가시킵니다.
2. 적응의 경직성(Adaptation Rigidity): 기존 파이프라인은 고정된 데이터 처리 규칙에 의존합니다. 이러한 정적인 전략은 현재 에이전트 정책의 특정 약점에 맞춰 동적으로 조정할 수 없기 때문에, 분포 외(out-of-distribution) 다운스트림 애플리케이션이나 진화하는 실패 모드에 적응하기 어렵습니다.

방법론: CURATEEVO

저자들은 에이전트 사후 학습 데이터 큐레이션을 위한 실패 기반의 동적 진화 프레임워크인 CURATEEVO를 제안합니다. 큐레이션을 정적인 전처리 단계로 취급하는 전통적인 접근 방식과 달리, CURATEEVO는 큐레이션 전략을 환경 피드백에 따라 반복적으로 재작성되는 실행 가능한 코드로 취급합니다.

핵심 프레임워크

이 프레임워크는 다중 에포크(multi-epoch) 진화 사이클로 작동합니다:

1. 표현(Representation): 큐레이션 전략 $\rho$는 고정된 원시 코퍼스($D_{raw}$)를 세 가지 리소스로 변환하는 실행 가능한 코드로 표현됩니다:
   • 지도 미세 조정(SFT) 데이터 ($D_{SFT}$).
   • 강화 학습(RL) 데이터 ($D_{RL}$).
   • 추론 시 메모리 뱅크 ($M_{mem}$).
2. 훈련 및 평가(Training & Evaluation): 에이전트 정책은 큐레이션된 데이터를 사용하여 고정된 레시피(SFT + GRPO)를 바탕으로 고정된 베이스 모델로부터 훈련됩니다. 이후 정책은 홀드아웃(held-out) 개발 세트($Q_{dev}$)에서 평가됩니다.
3. 피드백 수집(Feedback Collection): 개발 세트에서의 실패한 궤적들이 현재 큐레이션된 데이터의 통계(규모, 턴 분포, 중복성 등)와 함께 수집됩니다.
4. 코드 진화(Code Evolution): LLM 기반의 코드 진화 에이전트가 실패한 궤적들을 분석하여 반복되는 실패 모드(예: 잘못된 도구 선택, 약한 계획 능력, 메모리 불일치)를 진단합니다. 그 후, 이러한 문제를 해결하기 위해 큐레이션 코드($\rho$)를 재작성합니다.

최적화 목적 함수

진화 과정은 비용 인식 목적 함수 $J(\rho) = P(\rho) - \lambda C(\rho)$를 최적화합니다:

• 효과성($P(\rho)$): 큐레이션된 리소스로 훈련된 에이전트의 다운스트림 성능으로 측정됩니다. 진화 에이전트는 누락된 능력을 보완하기 위한 데이터 증강, 오도하는 예시 필터링, 약한 궤적 정제를 통해 이를 우선적으로 목표로 합니다.
• 효율성($C(\rho)$): 정규화된 훈련 턴 비용으로 측정됩니다. 효과성을 다룬 후, 에이전트는 중복된 턴을 제거하고, 효용이 낮은 샘플을 삭제하며, 과도하게 긴 궤적을 절단하여 핵심적인 감독 신호는 유지하면서 훈련 규모를 줄입니다.

만약 진화된 전략이 목적 함수를 개선하지 못할 경우, 에러 연쇄(error cascading)를 방지하기 위해 프로세스가 롤백됩니다.

주요 기여

1. 동적 진화 프레임워크: 큐레이션을 정적인 파이프라인에서 실패에 의해 구동되는 동적인 코드 기반 진화 프로세스로 전환하는 CURATEEVO를 제안했습니다.
2. 결합 최적화: 데이터 증강, 필터링, 정제를 결합하여 고려함으로써 성능 향상을 도모하는 동시에 훈련 비용을 줄일 수 있습니다.
3. 적응성: 평가 피드백을 바탕으로 큐레이션 코드를 동적으로 수정함으로써, 고정된 파이프라인과 달리 분포 외 애플리케이션 및 특정 실패 모드에 적응합니다.
4. 리소스 구축: 단순히 훈련 데이터(SFT/RL)뿐만 아니라 추론 시 메모리 뱅크까지 명시적으로 구축하여, 에이전트 훈련을 위한 총체적인 리소스 세트를 생성합니다.

실험 결과

저자들은 ACEBench-Agent, BFCL-V4, 그리고 $\tau^2$-Bench 환경에서 Labeled Data(인간이 주석을 단 궤적)와 Wild Data(실제 사용자 상호작용 로그)라는 두 가지 설정하에 CURATEEVO를 평가했습니다.

• 성능 향상:
  • Labeled Data 설정에서, CURATEEVO는 가장 강력한 기존 베이스라인 대비 평균 점수를 3.2 포인트 향상시켰습니다.
  • Wild Data 설정에서는 평균 점수를 2.7 포인트 향상시켰습니다.
  • 특히, 4B 파라미터 모델(QWEN3-4B)을 사용한 CURATEEVO가 여러 기존 8B 모델 기반 방법론들을 능가했는데, 이는 적응형 큐레이션이 모델 크기를 키우는 것만큼이나 영향력이 클 수 있음을 시사합니다.
• 효율성: CURATEEVO는 기존 베이스라인과 비교했을 때, 유지된 1,000 훈련 턴당 토큰 오버헤드를 약 48%, 실제 실행 시간(wall-clock) 오버헤드를 50% 감소시켰습니다. 이러한 효율성은 값비싼 환경 상호작용이나 시뮬레이션된 사용자에 의존하는 대신, 고정된 코퍼스 위에서 코드를 진화시키기 때문에 발생합니다.
• 호환성: CURATEEVO가 생성한 큐레이션 리소스는 다양한 사후 학습 레시피(예: AgentGym-RL, ProRL-Agent)와 호환되며, 이 방법들과 결합했을 때 평균 21.3 포인트의 추가적인 향상을 가져왔습니다.
• 절제 연구(Ablation Studies):
  • 효과성 지향적 수정을 제거했을 때 가장 큰 성능 저하(~7 포인트)가 발생하여, 실패 모드를 진단하는 것이 성공의 주요 동력임을 확인했습니다.
  • 효율성 지향적 수정을 제거했을 때도 일관된 하락이 관찰되었으며, 이는 중복성을 제거하는 것이 규모를 줄일 뿐만 아니라 데이터 품질을 개선함을 나타냅니다.
  • 세 가지 리소스(SFT, RL, Memory) 모두 상호 보완적인 것으로 나타났습니다.

의의 및 주장

본 논문은 적응형, 피드백 기반 데이터 큐레이션이 LLM 에이전트를 개선하는 실질적이고 효과적인 방향임을 주장합니다. CURATEEVO의 의의는 다음과 같습니다:

• 큐레이션 과정을 "고정된 전처리 단계"에서 반복적이고 실패를 인지하는 최적화 루프로 변화시켰습니다.
• 에이전트 사후 학습을 위해 필터링과 정제가 증강만큼 중요하다는 것을 입증했습니다.
• 비용 인식 큐레이션이 훈련 오버헤드를 줄이는 동시에 다운스트림 성능을 향상시킬 수 있음을 보여주었으며, 이는 데이터가 노이즈가 많거나 불완전할 수 있는 실제 에이전트 애플리케이션에 적합합니다.

저자들은 CURATEEVO를 특정 정책 최적화 알고리즘의 대체재가 아니라, 모든 에이전트 사후 학습 파이프라인에 공급되는 훈련 리소스($D_{SFT}$, $D_{RL}$, $M_{mem}$)의 품질과 효율성을 높이는 모듈형 데이터 측면의 강화 도구로 포지셔닝합니다.