기술 요약: 효과적인 계획 및 도구 사용을 위한 인-더-플로우(In-the-Flow) 에이전틱 시스템 최적화

문제 정의

결과 중심의 강화 학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 크게 발전시켰으나, 기존의 도구 증강 접근 방식은 결정적인 한계에 직면해 있습니다. 대부분의 기존 방법은 단일한 모놀리식(monolithic) 정책을 훈련하여 전체 컨텍스트 하에서 추론과 도구 호출을 인터리빙(interleave)합니다. 이러한 구조는 긴 추론 호라이즌(reasoning horizons)과 다양한 도구 세트와 함께 확장될 때 성능이 저하되며, 종종 훈련 불안정성과 미학습 시나리오에 대한 약한 일반화 문제를 야기합니다.

반대로, 에이전틱 시스템(agentic systems)은 작업을 전문화된 모듈(예: 플래너, 실행기, 검증기)로 분해함으로써 유망한 대안을 제시합니다. 그러나 현재 대부분의 에이전틱 시스템은 수작업으로 설계된 로직이나 정적인 프롬프트 휴리스틱에 의존하는 훈련되지 않은(training-free) 방식입니다. 훈련을 사용하는 경우에도 주로 정적인 데이터셋에 기반한 오프라인 지도 미세 조정(SFT)이나 선호도 최적화를 사용합니다. 이러한 오프-폴리시(off-policy) 접근 방식은 멀티 턴 상호작용의 실시간 역학으로부터 분리되어 있어, 모듈이 진화하는 도구 출력에 어떻게 적응하거나 초기 실수로부터 어떻게 회복해야 하는지를 포착하지 못합니다. 결과적으로, 에이전틱 시스템은 희소한 보상(sparse rewards), 취약한 적응력, 그리고 동적인 환경에서의 비효적인 오케스트레이션 문제로 어려움을 겪습니다.

방법론: AGENTFLOW 및 Flow-GRPO

저자들은 멀티 턴 상호작용 루프 내에서 직접 계획과 도구 사용을 최적화하도록 설계된 훈련 가능한 "인-더-플로우(in-the-flow)" 에이전틱 프레임워크인 AGENTFLOW를 소개합니다.

1. AGENTFLOW 아키텍처

AGENTFLOW는 공유되고 진화하는 메모리($M$)와 도구 세트($K$)를 통해 네 가지 전문화된 모듈을 조정합니다:

• 플래너 (Planner, $P$): 하위 목표를 수립하고, 도구를 선택하며, 메모리에서 컨텍스트를 검색하는 훈련 가능한 정책($\pi_\theta$)입니다.
• 실행기 (Executor, $E$): 선택된 도구를 호출하고 실행 결과($e_t$)를 반환합니다.
• 검증기 (Verifier, $V$): 실행의 유효성을 평가하고 누적된 메모리가 쿼리를 해결하기에 충분한지 판단하여 이진 신호($v_t$)를 생성합니다.
• 생성기 (Generator, $G$): 종료 시 최종 솔루션을 생성합니다.

모놀리식 모델의 잠재적 사고 과정(latent thought processes)과 달리, AGENTFLOW는 추론 과정을 기록하는 명시적이고 결정적이며 구조화된 메모리를 유지합니다. 이는 투명성, 제어 가능한 동작, 그리고 제한된 컨텍스트 성장을 보장합니다. 이 시스템은 플래너가 라이브 루프 내부에서 온-폴리시(on-policy)로 최적화되는 멀티 턴 마르코프 결정 과정(MDP)으로 작동합니다.

2. Flow 기반 그룹 정제 정책 최적화 (Flow-GRPO)

희소한 궤적 수준 보상(trajectory-level rewards)에서 발생하는 긴 호라이즌의 신용 할당(credit assignment) 문제를 해결하기 위해, 저자들은 Flow-GRPO를 제안합니다. 이 온-폴리시 알고리즘은 복잡한 멀티 턴 RL 과제를 일련의 다루기 쉬운 싱글 턴 업데이트로 변환합니다:

• 궤적 수준 보상 브로드캐스팅 (Trajectory-Level Reward Broadcasting): 취약한 중간 보상을 할당하는 대신, 시스템은 전체 궤적에 대해 하나의 검증 가능한 최종 결과 보상($R(\tau)$)을 할당합니다. 이 보상은 롤아웃 내의 모든 턴($t$)에 브로드캐스트됩니다.
• 싱글 턴 분해 (Single-Turn Decomposition): 전역 성공 신호를 모든 턴에 브로드캐스트함으로써, 멀티 턴 최적화는 효과적으로 독립적인 싱글 턴 정책 업데이트로 분해됩니다. 각 턴에서 플래너는 전체 역사적 컨텍스트(메모리를 통해)에 접근할 수 있으며, 글로벌 성공과 정렬된 일관된 보상 신호를 받습니다.
• 그룹 정규화 어드밴티지 (Group-Normalized Advantages): 훈련을 안정화하고 분산을 줄이기 위해, 알고리즘은 그룹 정규화된 어드밴티지를 사용합니다. $G$개의 병렬 롤아웃 그룹에 대해, 특정 궤적의 어드밴티지는 그룹 보상의 평균 및 표준 편차에 대해 정규화하여 계산됩니다.

목적 함수는 참조 정책에 대한 KL-다이버전스 페널티를 포함하는 클리핑된 서로게이트 목적 함수(PPO와 유사)를 활용하여 병렬 롤아웃에 대한 기대 수익을 최대화합니다.

주요 기여

1. AGENTFLOW 프레임워크: 멀티 턴 루프 내부에서 플래너를 직접 최적화하는 훈련 가능한 에이전틱 시스템입니다. 진화하는 메모리를 통해 전문화된 모듈을 조정함으로써, 적응형 롱-호라이즌 계획과 견고한 도구 오케스트레이션을 가능하게 하여 모놀리식 추론 모델과 정적 에이전틱 시스템 사이의 간극을 메웁니다.
2. Flow-GRPO 알고리즘: 멀티 턴 RL을 일련의 싱글 턴 업데이트로 변환하는 온-폴리시, 결과 중심 알고리즘입니다. 검증 가능한 궤적 수준의 결과를 모든 턴에 브로드캐스트하고 그룹 정규화된 어드밴티지로 학습을 안정화함으로써 신용 할당 문제를 해결합니다.
3. 포괄적인 경험적 검증: 지식 집약적 검색, 에이전틱 추론, 수학적 추론, 과학적 추론을 아우르는 10개의 다양한 벤치마크에 걸친 광범적인 실험을 수행했습니다.

실험 결과

저자들은 10개의 벤치마크(지식 집약적 검색, 에이전틱 추론, 수학적 추론, 과학적 추론 포함)에서 AGENTFLOW를 평가했습니다.

• 성능 향상: AGENTFLOW(7B 백본)는 최고 성능의 베이스라인 대비 검색 작업에서 평균 14.9%, 에이전틱 작업에서 14.0%, 수학적 작업에서 14.5%, 과학적 작업에서 **4.1%**의 정확도 향상을 달성했습니다.
• 프라이머리 모델과의 비교: 주목할 점은, 7B 규모의 AGENTFLOW 시스템이 모든 도메인에서 약 200B 파라미터 규모의 GPT-4o를 능가했으며, 그 향상 폭은 8.2%에서 18.0%에 달했습니다.
• 절제 연구 (Ablation Studies):
  • 훈련 전략: 동결된 플래너를 더 강력한 모델(GPT-4o)로 교체했을 때 완만한 성능 향상만을 보였습니다. 반면, GPT-4o 궤적에 대한 오프라인 SFT는 치명적인 성능 붕괴(19.0% 하락)를 일으킨 반면, 인-더-플로우 방식인 Flow-GRPO 훈련은 동결된 베이스라인 대비 17.2%의 이득을 가져왔습니다.
  • 스케일링: 성능 향상은 백본을 3B에서 7B 파라미터로 확장할 때 일관되게 나타났습니다. 또한, 최대 허용 턴 수($T_{max}$)를 3에서 10으로 늘리는 것이 결과 개선에 지속적으로 기여하여, 문제 복잡도에 따라 턴 할당을 적응시키는 시스템의 능력을 입증했습니다.
• 질적 분석: 사례 연구를 통해 Flow-GRPO가 플래너가 다음과 같은 능력을 갖추도록 함을 밝혔습니다:
  • 도구 선택 최적화 (예: 도메인 특화 작업을 위해 일반 검색에서 특정 웹 검색으로 전환).
  • 오류로부터의 회복 (예: 코드 실행 루프에서 변수 명명 오류 수정).
  • 새로운 솔루션 경로 발견 (예: 초기 실패 후 전략적으로 도구 교체).

의의 및 주장

본 논문은 인-더-플로우 최적화가 효과적인 에이전틱 시스템을 위해 필수적이라고 주장합니다. Flow-GRPO를 사용하여 라이브 멀티 턴 루프 내에서 직접 플래너를 훈련함으로써, 시스템은 롱-호라이즌 워크플로우를 처리하고, 동적인 도구 피드백에 적응하며, 누적되는 오류로부터 회복하는 법을 배웁니다. 이는 오프라인 훈련 방식이 포착하지 못하는 능력들입니다.

저자들은 본 방식이 상대적으로 작은 7B 파라미터 백본을 가진 에이전틱 시스템이라도 훨씬 더 큰 모놀리식 LLM보다 우수하고 효율적인 성능을 제공할 수 있음을 보여준다고 주장합니다. 이는 복잡한 추론의 성공에 있어 모델의 규모 자체보다 아키텍처와 훈련 방법론(특히 모듈형 분해와 온-폴리시 플로우 최적화의 결러합)이 더 결정적인 요소임을 시사합니다. 본 연구는 훈련 가능한 인-더-플로우 최적화가 향상된 계획, 강화된 도구 호출 신뢰성, 그리고 긍정적인 스케일링 트렌드를 이끈다는 것을 증명하며 에이전틱 시스템의 새로운 SOTA(State-of-the-Art)를 확립했습니다.