기술 요약: ECHO - 선택적 턴 메모리를 통한 에이전트 강화 학습에서의 가지치기 및 추적

1. 문제 정의

검색, 코딩, 심층 연구와 같은 도구 사용 환경에서 작동하는 장기 호라이즌(long-horizon) 언어 에이전트는 근본적인 병목 현상에 직면해 있다: 즉, 제한된 컨텍스트 창 내에서 유용한 과거 관찰 기록을 유지하는 동시에, 어떤 특정 과거 턴이 최종 결과에 기여했는지를 식별해야 한다는 점이다.

기존의 컨텍스트 관리 방식(절단, 요약, 검색)은 더 긴 롤아웃을 가능하게 하지만, 다음과 같이 결합된 두 가지 한계를 도입한다:

1. 세밀한 증거의 손실: 턴 수가 증가함에 따라, 먼 과거의 관찰값들은 제거되거나 압축된 상태(예: 순환 요약)로 붕괴된다. 이는 복잡한 추론에 필요한 구체적이고 세밀한 증거를 정책이 재사용하기 어렵게 만든다.
2. 신용 할당(Credit Assignment)을 위한 추적 가능성 상실: 원본 턴이 더 이상 소스 주소 지정이 불가능해지면(즉, 원본 토큰이 요약본으로 대체되면), 결과 기반 RL은 성공적인 답변을 뒷받침한 특정 증거와 정책 업데이트를 정렬할 수 있는 명시적인 경로를 잃게 된다. GRPO와 같은 방법론의 표준 궤적 수준 어드밴티지 할당은 생성된 모든 토큰에 신용을 밀집하게 분산시켜, 진정으로 유용한 정보 수집 단계뿐만 아니라 불필요한 탐색, 부수적인 추론, 또는 요약 생성 토큰까지도 강화하게 된다.

이러한 소스 수준의 주소 지정 능력 부족은 경험적인 실패 모드로 이어진다: 즉, 더 긴 롤아웃이 정확도 향상 없이 "턴의 급증(turn proliferation)", 더 큰 궤적 볼륨, 그리고 느려진 학습 속도를 초래하게 된다.

2. 방법론: ECHO

저자들은 ECHO(선택적 턴 메모리 프레임워크)를 제안한다. 이는 **소스 인덱싱된 재구성(source-indexed reconstruction)**을 통해 히스토리 붕괴와 추적 가능한 학습 문제를 공동으로 해결하도록 설계된 시스템이다. ECHO는 "행동을 위한 가지치기, 학습을 위한 추적(Prune to Act, Trace to Learn)"이라는 원칙에 따라 작동한다.

2.1 선택적 턴 메모리 재구성

히스토리를 단일 요약 상태로 붕림하는 대신, ECHO는 붕괴되지 않는 메모리 레코드 집합을 유지한다.

• 소스 인덱스 기반 턴 메모리: 각 완료된 도구 사용 턴 $u_i = (a_i, o_i)$ 이후, 에이전트는 압축된 로컬 발견 사항 $s_i$를 생성하고 이를 메모리 레코드 $e_i = (i, \alpha_i, m_i)$로 파싱한다. 여기서 $i$는 소스 턴 인덱스, $\alpha_i$는 액션/도구 호출의 압축된 렌더링, $m_i$는 파싱된 발견 사항이다. 이 집합 $M_j$는 원본 관찰값이 활성 컨텍스트 범위를 벗어나더라도 원래의 환경 턴과 연결된 상태를 유지한다.
• 자기 회귀적 메모리 선택: 압축 경계에서, 정책은 과업을 지속하는 데 유용한 역사적 메모리의 부분 집합을 선택하도록 유도된다. 선택 컨텍스트에는 현재의 제한된 상태와 렌더링된 소스 인덱스 메모리 목록이 포함된다. 정책은 재사용 가능한 증거, 제약 조건 또는 실패한 시도를 나타내는 소스 인덱스($bI^{sel}_j$)를 출력한다.
• 제한된 컨텍스트 재구성: 다음 세그먼트를 위한 정책 컨텍스트는 선택된 소스 메모리($M_j[bI^{sel}_j]$)를 렌더링하고 최근의 로컬 상호작용을 추가함으로써 재구성되며, 이를 통해 컨텍스트가 예산 $B$ 내에 머물도록 보장한다.

2.2 출처 가이드 신용 할당 (Provenance-Guided Credit Assignment)

ECHO는 컨텍스트 재구성을 위해 선택된 동일한 소스 인덱스를 사용하여 결과 신용을 라우팅함으로써 "출처 추적(provenance trace)"을 생성한다.

• 토큰 수준 하드 신용 마스크: 모든 토큰에 궤적 수준의 어드밴티지를 할당하는 표준 방식과 달리, ECHO는 특정 토큰을 "신용 토큰"으로 표시하는 마스크 $\mu^{(n)}_q$를 구축한다:
  1. 최종 응답 세그먼트에 포함된 토큰.
  2. 최종 재구성된 컨텍스트에 선택된 소스 턴의 액션 토큰.
  3. 선택된 소스 턴들의 "마지막 턴 발견 사항"에 해당하는 토크들.
  4. 메모리 선택 액션 구간 동안 생성된 모든 토큰.
• 양의 어드밴티지 라우팅: 이진 검증기 보상을 사용하는 경우, 궤적이 양의 그룹 상대적 어드밴티지($A^{(n)}_+ = \max(A^{(n)}, 0)$)를 가지면 어드밴티지는 오직 이 신용 토큰들을 통해서만 라우팅된다. 만약 롤아웃이 틀렸거나 베이스라인보다 낮으면, 오도될 수 있는 선택된 턴으로부터 노이즈 섞인 감독을 피하기 위해 추적 가능한 신용이 할당되지 않는다.

3. 주요 기여

본 논문은 다음의 기여를 공식화하고 구현한다:

1. 통합 재구성 인터페이스: 히스토리 상태 관리, 제한된 컨텍스트 재구성, 소스 수준 추적 가능성을 분리한 컨텍스트 관리형 멀티 턴 RL을 공식화하였다. 이 프레임워크는 붕괴된 히스토리 방식이 어떻게 출처(provenance)를 희생하여 결과 신용 할당을 어렵게 만드는지 명시적으로 보여준다.
2. ECHO 프레임워크: 완료된 턴을 소스 인덱스 기반 메모리로 저장하고, 전역 히스토리 붕괴가 아닌 학습된 선택을 통해 제한된 컨텍스트를 구축하는 선택적 턴 메모리 방법론을 제안한다.
3. 출처 가이드 신용 할당: 선택된 소스 인덱스를 재사용하여 양의 결과 어드밴티지를 최종 답변, 선택된 역사적 증거 턴, 그들의 메모리 발견 사항, 그리고 선택 액션 자체에 구체적으로 라우팅하는 메커니즘을 제공한다.
4. 경험적 검증: ECHO가 SUPO와 같은 순환 요약 베이스라인에 비해 정확도를 높이는 동시에 턴의 급증과 궤적 볼륨을 줄인다는 것을 입증하였으며, 밀집(dense) 모델과 MoE 백본 모두에서 일관된 성능 향상을 보여주었다.

4. 실험 결과

실험은 주로 BrowseComp-Plus(장기 호라이즌 도구 사용 QA 벤치마크)에서 Qwen3-32B-Instruct 및 Qwen3-30B-A3B-Instruct(MoE) 백본을 사용하여 수행되었다.

• BrowseComp-Plus 성능: ECHO는 **43.4%**의 홀드아웃 정확도를 달성하여, GRPO(28.9%)와 순환 요약 베이스라인인 SUPO(36.1%)를 크게 앞질렀다.
• 효율성: SUPO는 GRPO보다 정확도를 개선했지만, 급격한 턴의 급증(SUPO 62.5 턴 vs ECHO 45.3 턴)과 4.18배의 궤적 분할 비율 문제를 겪었다. ECHO는 더 적은 턴(45.3)과 더 낮은 궤적 볼륨(롤아웃당 3.13개의 궤적)으로 더 높은 정확도를 유지했다.
• 제로샷 일반화: ECHO는 다중 목적 QA, 코드 생성 및 심층 정보 탐색 벤치마크에서 우수한 일반화 능력을 보여주었다. 밀집 백본에서 ECHO는 평균 **40.2%**를 기록하며 SUPO(34.8%)와 GRPO(33.6%)를 능가했다. MoE 백본에서도 유사한 경향이 관찰되었다.
• 절제 연구 (Ablation Studies):
  • 학습된 선택을 정적 의미론적 top-k 검색으로 대체했을 때 정확도가 크게 감소하여, 정책 기반 선택의 필요성을 확인했다.
  • 추적 가능한 신용 마스크를 제거하고 (밀집 할당으로 회귀) 했을 때 정확도와 안정성이 모두 감소하여, 출처 가이드 업데이트의 중요성을 입증했다.

5. 의의 및 주장

본 논문은 컨텍스트 관리 과정에서 출처(provenance)를 보존하는 것이 단순히 롤아웃을 길게 만드는 것이 아니라, 장기 호라이즌 탐색을 실질적으로 유용하게 만드는 실용적인 메커니즘임을 주장한다.

• 행동과 학습의 정렬: 소스 인데스 기반 재구성을 통해, 미래의 결정을 위해 유지되는 증거와 성공적인 롤아웃 후 강화되는 증거를 일치시킨다. 이는 컨텍스트 효율성(행동)과 신용 할당(학습) 사이의 긴장을 해결한다.
• 요약 그 이상: 요약(SUPO와 같이)을 통해 롤아웃을 확장하는 것만으로는 불충분하며, 이는 비효적인 탐색 동작을 초래할 수 있음을 결과가 시사한다. 추적 가능한 재구성은 에이전트가 행동을 위해 히스토리를 가지치기하면서도, 효과적인 RL 업데이트에 필요한 특정 "빵부스러기(breadcrumbs)"를 유지할 수 있게 한다.
• 범용성: 이 프레임워크는 특정 백본 아키텍처에 국한되지 않으며, 밀집 및 MoE 모델 모두에서 견고한 성능을 보여주며, 다양한 제로샷 도메인으로 효과적으로 전이된다.

저자들은 ECHO가 신용 할당을 위해 "최종 추적 근사(final-trace approximation)"를 사용한다는 점(선택된 턴의 전체 의존 체인을 재귀적으로 따르지 않음)과 주로 텍스트 기반 도구 사용 에이전트에 집중하고 있다는 점을 언급하며, GUI 및 멀티 에이전트 설정은 향후 과제로 남겨두었다.