기술 요약: 재귀적 에이전트 최적화 (RAO)

문제 정의

대형 언어 모델 (LLM) 에이전트가 장기적 계획, 대규모 유효 작업 메모리, 그리고 상당한 탐색이 필요한 복잡하고 현실적인 작업에 점점 더 많이 배포되고 있습니다. 많은 이러한 작업이 자연스럽게 분할 정복 전략에 적합하지만, 기존 재귀적 및 다중 에이전트 시스템은 대부분 재귀를 사전 훈련된 모델을 감싸는 정적 추론 시간용 발판으로 취급합니다. 이러한 시스템에서 모델 자체는 언제 위임이 유리한지, 효과적인 하위 작업을 어떻게 구성할지, 실행 수준 간에 어떻게 소통할지, 또는 하위 에이전트 출력을 어떻게 결합할지 결정하도록 훈련되지 않습니다. 결과적으로, 재귀적 추론을 고정된 아키텍처 제약이 아닌 학습된 원시 연산으로 효과적으로 활용하도록 모델을 훈련하는 데에는 간극이 존재합니다.

방법론: 재귀적 에이전트 최적화 (RAO)

저자들은 재귀적 에이전트의 엔드 투 엔드 훈련을 위해 설계된 강화 학습 (RL) 접근법인 재귀적 에이전트 최적화 (RAO) 를 소개합니다. 이전 연구가 오케스트레이션 방식을 고정시킨 것과 달리, RAO 는 동적으로 생성된 실행 트리의 모든 노드에서 인스턴스화되는 단일 공유 정책 ($\pi_\theta$) 을 훈련합니다.

1. 에이전트 공식화 및 추론

에이전트는 자연어 추론과 Python REPL 내 코드 실행을 교차하여 수행하는 환경에서 작동합니다. 행동 공간에는 비동기 함수 launch_subagent(goal, ...)가 포함되도록 확장되었습니다.

• 동적 실행 트리: 작업 $X$를 해결할 때, 정책은 위임된 하위 작업 $X_1, \dots, X_n$에 대해 0 개 이상의 자식 에이전트를 생성할 수 있습니다. 이러한 하위 작업의 수와 내용은 정책 자체가 선택합니다.
• 동시성: 부모 에이전트는 작업 의존성에 따라 순차적 또는 동시적 (asyncio.gather 사용) 으로 자식을 시작할 수 있습니다.
• 경계 설정: 재귀 깊이와 에이전트 인스턴스당 환경 단계 수에 명시적 제한을 두어 계산의 경계를 보장합니다.

2. 보상 설계 (로컬 노드 보상)

RAO 는 실행 트리에 걸쳐 신용 할당을 개선하기 위해 로컬 보상 구조를 사용합니다. 트래젝토리 $\tau_X$와 즉각적인 자식 $C(X)$를 가진 작업 $X$에 해당하는 노드의 보상은 다음과 같이 정의됩니다:
$$R(X, \tau_X) = \tilde{s}(X, \tau_X) + \lambda \cdot \frac{1}{|C(X)|} \sum_{c \in C(X)} \tilde{s}(c, \tau_c)$$

• $\tilde{s}(X, \tau_X)$: 현재 노드에 대한 성공 신호로, 정확한 검증, LLM 판정관, 또는 로컬 감독이 불가능한 경우 (예: 루트 작업 성공) 프록시에서 파생됩니다.
• 위임 보너스: 두 번째 항은 즉각적인 자식의 성공률에 기반하여 에이전트를 보상합니다. 매개변수 $\lambda$는 이 보너스의 강도를 조절합니다.
• 근거: 이 설계는 단순히 더 많은 자식을 생성하는 것이 아니라 생산적인 위임을 장려합니다. 이는 특히 루트 작업 성공이 드문 훈련 초기에 밀도 있는 감독 신호를 제공합니다.

3. 정책 최적화

목표는 루트 작업과 정책이 생성한 후손 모두에 걸쳐 공유 정책을 최적화하는 것입니다. 목적 함수 $J(\theta)$는 재귀적 롤아웃의 모든 깊이 $d$에 걸쳐 기대 보상을 합산합니다:
$$J(\theta) = \sum_{d=0}^{D} \mathbb{E}_{X \sim D_d(\theta)} \left[ \mathbb{E}_{\tau_X \sim \pi_\theta(\cdot|X)} [R(X, \tau_X)] \right]$$

• 커리큘럼 효과: 재귀적 구조는 다양한 난이도의 관련 작업을 자연스럽게 생성하여, 하위 작업이 종종 루트 작업보다 단순하거나 더 구조화된 암시적 커리큘럼을 만듭니다.
• 이점 추정: 서로 다른 깊이에서 트래젝토리 수의 변동을 처리하기 위해, 저자들은 루트 롤아웃 보상에서 계산된 leave-one-out 기준선을 사용합니다.
• 깊이 수준 가중치: 최적화가 더 깊은 수준 (지수적으로 더 많은 트래젝토리를 포함할 수 있음) 에 의해 지배되는 것을 방지하기 위해, 깊이 수준 역빈도 가중치가 적용됩니다. 과대표된 깊이에서의 트래젝토리는 전체 업데이트 규모를 보존하기 위해 하향 가중치가 적용됩니다.

주요 기여

1. 재귀적 에이전트의 엔드 투 엔드 훈련: RAO 는 동적으로 생성된 재귀 트리의 모든 노드에 걸쳐 단일 정책을 공동으로 훈련하여 모델에게 언제 그리고 어떻게 위임할지 가르치는 최초의 방법입니다.
2. 새로운 보상 메커니즘: 위임 보너스가 포함된 로컬 노드 보상의 도입은 깊은 재귀 구조에서 효과적인 신용 할당을 가능하게 하여, 정책이 위임의 양이 아닌 품질과 정렬되도록 합니다.
3. 확장 가능한 추론 원시 연산: 이 접근법은 재귀적 에이전트가 모델의 컨텍스트 창을 초과하는 작업으로 확장되고 훈련 중 보았던 것보다 훨씬 더 어려운 문제에 일반화될 수 있음을 보여줍니다.
4. 효율성 향상: 이 방법은 단일 에이전트 훈련에 비해 향상된 훈련 효율성을 보이며, 병렬화 가능한 작업의 경우 월클럭 시간을 줄일 수 있습니다.

실험 결과

저자들은 RAO 를 세 가지 벤치마크인 TEXTCRAFT-SYNTH(합성 제작 작업), OOLONG-REAL(긴 컨텍스트 문서 집계), DEEPDIVE(멀티 홉 웹 검색을 통한 심층 연구) 에서 평가했습니다.

• 컨텍스트 창 확장: TEXTCRAFT-SYNTH 에서 8K 컨텍스트 창으로 훈련된 재귀적 에이전트는 어려운 작업에서 95% 의 성공률을 달성하여 40K 컨텍스트로 훈련된 모델의 성능과 일치했습니다. 반면, 8K 컨텍스트를 가진 단일 에이전트 기준선은 어려운 작업에서 완전히 실패했습니다. 마찬가지로 OOLONG-REAL 에서 재귀적 에이전트는 32K 제한으로 훈련되었음에도 175K 토큰까지 입력을 처리한 반면, 단일 에이전트는 전체 입력을 읽을 수 없었습니다.
• 더 어려운 작업으로의 일반화: 중간 난이도의 TEXTCRAFT-SYNTH 작업만 훈련된 에이전트는 88% 의 성공률로 어려운 작업에 일반화되었으며, 이는 단일 에이전트 기준선의 20% 와 대조됩니다.
• 훈련 효율성: 재귀적 에이전트는 모든 벤치마크에서 단일 에이전트 기준선보다 훨씬 빠르게 학습했는데, 이는 밀도 있는 프로세스 보상 역할을 하는 구조화된 하위 에이전트 보상과 자기 유도 커리큘럼에 기인합니다.
• 월클럭 시간: 병렬화 가능한 작업 (TEXTCRAFT-SYNTH) 의 경우, 재귀적 에이전트는 어려운 작업에서 단일 에이전트 대비 최대 2.5 배까지 월클럭 시간을 단축했습니다. 순차적 작업 (DEEPDIVE) 의 경우, 하위 작업의 순차적 특성으로 인해 월클럭 시간은 증가했지만 성공률은 0.24 에서 0.40 으로 향상되었습니다.
• 적응형 위임: 에이전트는 작업 난이도에 따라 위임 깊이를 적응하도록 학습했으며, 추론 중 명시적 깊이 제약 없이 더 어려운 문제에 대해 더 깊은 트리 (최대 10 레벨) 로 확장했습니다.

중요성 및 주장

이 논문은 재귀적 에이전트 최적화 (RAO) 가 추론 시간 발판의 활용 방식에 변화를 가져왔다고 주장합니다. 고정된 모델을 중심으로 발판을 설계하는 대신, 모델을 효과적으로 사용할 수 있도록 훈련해야 합니다. RAO 는 재귀가 다음과 같은 강력한 추론 시간 확장 원시 연산임을 보여줍니다:

• 하위 에이전트를 위한 신선한 컨텍스트 창을 제공하여 작업 메모리를 효과적으로 확장합니다.
• 더 어려운 문제로 일반화되는 분할 정복 구조를 제공합니다.
• 테스트 시간 계산의 적응형 할당을 가능하게 합니다.
• 병렬 실행의 기회를 제공합니다.

저자들은 RAO 를 동적으로 자신의 문제 해결 과정을 구조화할 수 있는 "자기 조직화 에이전트"로의 한 걸음으로 위치시킵니다. 실험은 특정 도메인에 초점을 맞추고 있지만, 이 접근법은 복잡한 추론 시간 구조를 활용하도록 에이전트를 훈련하기 위한 더 넓은 원칙을 시사한다고 지적합니다. 향후 연구는 비용이 많이 드는 롤아웃을 위한 대리 샘플링 절차를 해결하고, 질적으로 다른 도메인 간에 위임 전략을 이전할 수 있는 범용 재귀적 에이전트를 훈련하는 데 필요하다고 명시되어 있습니다.