기술 요약: 에이전트형 컨텍스트 관리 (Agentic Context Management, ACM)

1. 문제 정의

대규모 언어 모델(LLM)이 수행하는 에이전트 작업은 본질적으로 장기적(long-horizon)이고 다회차(multi-turn)이며, 에이전트가 적응형 계획을 수립하고, 도구를 호출하며, 환경 피드백에 따라 행동을 조정할 것을 요구합니다. 그러나 이러한 작업 과정에서 발생하는 상호작용 트레이스는 매우 장황하고 노이즈가 많은 컨텍스트(실패한 시도, 중복된 관찰, 도구 출력 등)를 축적합니다. 수백만 토큰의 명목적 컨텍스트 창을 지원하는 모델이라 할지라도, 실제 유효 컨텍스트 용량은 이를 초과하여 성능 저하를 일으키는 경우가 빈번합니다.

기존 솔루션들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 장기 컨텍스트 사전 학습(Long-context pretraining) 및 하이브리드 어텐션(hybrid attention) 메커니즘은 컨텍스트 창을 확장하지만, 측정 가능한 성능 저하를 겪거나 근본적으로 컨텍스트 창의 제한에 묶여 있습니다.
• 컨텍스트 압축 파이프라인(예: ReSum, ACON)은 고정된 토큰 임계값과 같은 경직되고 수동으로 설계된 휴리스틱 규칙에 의존합니다. 이러한 외부 모니터는 에이전트의 진화하는 추론 초점과 일치하지 않아, 정보를 너무 일찍 압축하거나 필요한 시점에 압축하지 못하는 문제가 발생합니다. 또한, 많은 압축 방식은 나중에 필요할 수 있는 원본 데이터를 버리는 손실적인(lossy) 방식을 취합니다.

2. 방법론: 에이전트형 컨텍스트 관리 (ACM)

저자들은 에이전트가 자신의 컨텍스트를 자율적이고, 손실 없이, 그리고 자신의 추론 상태와 정렬하여 관리할 수 있도록 전용 도구를 갖춘 프레임워크인 **에이전트형 컨텍스트 관리(ACM)**를 제안합니다.

2.1 핵심 프레임워크

인간의 단기 기억과 장기 기억의 분리에서 영감을 얻은 ACM은 두 가지 특정 도구를 도입합니다:

1. manage_context: 현재의 작업 컨텍스트(마지막 요약 경계 이후의 모든 메시지)를 간결한 요약본으로 압축합니다. 결정적으로, 원본 메시지는 버려지지 않고 외부 지속 저장 시스템(예: 디스크)으로 오프로드(offload)됩니다. 각 요약에는 해당 원본 데이터와 매핑되는 고유 식별자가 할당됩니다.
2. query_memory: 에이전트가 요약 식별자를 사용하여 외부 저장소에 저장된 특정 정보를 검색할 수 있게 합니다.

외부 모니터가 강제로 압축을 수행하는 기존 연구와 달리, ACM은 에이전트 주도형입니다. 에이전트는 자신의 내부 추론 상태(예: 루프 감지, 중복 쿼리 또는 토큰 제한 접근 등)를 바탕으로 언제, 어떻게 압축할지를 스스로 결정하며, 이를 통해 유효 컨텍스트의 동적 확장 및 축소를 가능하게 합니다.

2.2 사후 학습(Post-Training) 파이프라인

프런티어 모델들이 컨텍스트 관리를 위한 최적의 타이밍을 결정하는 데 어려움을 겪는다는 점을 인식하여, 저자들은 이중 제약 교사-학생(dual-constraint teacher-student) 사후 학습 파이프라인을 개발했습니다.

• 단계 1: 학생 롤아웃(Student Rollouts): 학생 모델(Qwen3.5-9B)이 두 가지 조건 하에서 궤적(trajectory)을 생성합니다:
  • ACM 도구 미사용 시 ($H^-$): 일반적인 탐색 동작을 반영합니다.
  • ACM 도구 사용 시 ($H^+$): 학습되지 않은 상태에서의 도구 사용을 포착합니다.
• 단계 2: 교사 주석(Teacher Annotation): 더 강력한 교사 모델(Qwen3.5-397B-A17B)이 참조 정답과 대조하여 이 궤적들을 검토하고 두 가지 상호 보완적인 제약을 적용합니다:
  • 주입(Injection, $H^-$ 대상): 컨텍스트 관리가 호출되었어야 하는 지점(예: 학생이 막다른 루프에 빠지거나 중복된 컨텍스트가 쌓일 때)을 식별하고, 적절한 도구 호출과 추론 과정을 삽입합니다.
  • 정제(Refinement, $H^+$ 대상): 학생의 컨텍스트 관리 호출이 성급하거나 불필요했던 지점(예: 답변을 합성하기 전에 압축을 시도하는 경우)을 식별하고, 이를 더 생산적인 행동(예: 심층 검색 또는 답변 확정)으로 대체합니다.
• 학습 목표: 학생 모델은 교사의 소프트 넥스트 토큰 분포(soft next-token distributions)를 따르도록 온-폴리시 증류(on-policy distillation)를 통해 학습되며, 이를 통해 도구를 사용하는 방법뿐만 아니라 도구를 호출하거나 자제해야 하는 '타이밍'까지 학습합니다.

2.3 데이터 품질 관리

고품질 학습 데이터를 보장하기 위해 파이프라인은 다음을 채택합니다:

• 거부 샘플링(Rejection Sampling): 학생 모델이 처음에 실패한 궤적만을 유지하여, 진정으로 도전적인 문제에서 학습이 일어나도록 합니다.
• 콘텐츠 필터링(Content Filtering): 교사의 추론 과정이 참조 정답으로부터 정보를 유출하지 않으면서도, 왜 압축이 필요한지(예: "순환적 탐색")를 설명하는지 검증합니다.

3. 주요 기여

1. 에이전트형 컨텍스트 관리 패러다임: 외부의 휴리스틱 기반 압축에서, 에이전트가 압축의 시기와 방법을 결정하는 에이전트 자율형, 무손실 컨텍스트 관리 시스템으로의 전환을 제시합니다.
2. 이중 제약 사후 학습 파이프라인: 헤비한 강화 학습에 전적으로 의존하지 않고도, 모델 자체에 컨텍스트 관리 능력을 내재화하여 정확한 압축 및 검색 타이밍을 가르치는 효율적인 방법을 개발했습니다.
3. 경험적 검증: 효과적인 컨텍스트 관리가 피크 토큰 압박을 줄이고, 테스트 타임 탐색 횟수를 늘리며, 독립적인 시행 간의 솔루션 일관성을 개선함을 입증했습니다.

4. 실험 결과

저자들은 Qwen3.5-9B를 베이스 모델로 하여 세 가지 장기 과제 벤치마크인 BrowseComp-Plus, DeepSearchQA, SWE-Bench Verified에서 ACM을 평가했습니다.

• 성능 향상:
  • BrowseComp-Plus: ACM-Post-Trained는 72.7%의 Pass@1을 달성하여, ReAct 베이스라인(57.0%) 대비 27%의 상대적 개선을 보였으며, 397B 파라미터 규모의 프런티어 모델(65.3%)보다 높은 성능을 기록했습니다.
  • DeepSearchQA: 36.7%(ReAct)에서 **42.5%(ACM-Post-Trained)**로 향상되었습니다.
  • SWE-Bench Verified: 48.9%(ReAct)에서 **53.0%(ACM-Post-Trained)**로 향상되었습니다.
• 효율성 및 행동:
  • 토큰 감소: ACM은 베이스라인 대비 피크 토큰 사용량을 약 20% 줄여, 긴 궤적에서도 작업 컨텍스트를 한계치 아래로 유지했습니다.
  • 탐색: 이 프레임워크는 훨씬 더 많은 도구 호출과 탐색 횟수를 가능하게 했습니다. 예를 들어, ACM-Post-Trained 에이전트는 베이스라인보다 더 많은 검색 및 문서 추출 호출을 수행하여, 컨텍스트 제한으로 인해 실패했을 복잡한 추론 경로를 통과할 수 있었습니다.
  • 일관성: Pass@K 분석 결과, ACM은 Pass@1과 Pass@4 사이의 격차를 크게 좁혔으며, 이는 불안정한 ReAct 베이스라인에 비해 독립적인 시행 간에 더 일관된 솔루션을 제공함을 나타냅니다.
• 절제 연구(Ablation Studies):
  • 강력한 교사로부터의 증류만으로는(특정 ACM 데이터 없이) ACM 학습 모델을 능가하지 못했으며, 이는 전용 컨텍스트 관리 데모의 필요성을 강조합니다.
  • 일반적인 증류와 ACM 데이터를 결래히는 것이 가장 좋은 성능을 보였으며, 이는 두 소스가 상호 보완적임을 시사합니다.

5. 의의 및 주장

본 논문은 ACM이 에이전트가 장기 과제를 처리하는 방식에 있어 근본적인 변화를 가져온다고 주장합니다. 컨텍스트 관리를 외부적 제약이 아닌 에이전트가 직접 시작하는 명시적 행동으로 취급함으로써, 프레임워크는 에이전트가 다음과 같은 능력을 갖추게 합니다:

• 즉각적인 추론에 집중할 수 있는 깨끗하고 압축된 작업 메모리를 유지하는 동시에, 외부 저장소에 무손실 히스토리를 보존합니다.
• 유효 탐색 지평(exploration horizon)을 확장하여, 표준 에이전트가 컨텍스트 오버플로 또는 "중간 부분 유실(lost in the middle)" 현상으로 인해 실패할 수 있는 수백 번의 턴과 수십만 토큰이 필요한 문제를 해결합니다.
• 잘 관리된 컨텍스트는 노이즈를 줄이고 에이전트가 비생산적인 루프에 빠지는 것을 방지하므로, 더 높은 일관성을 달성합니다.

저자들은 이러한 성과가 기본 모델의 아키텍처를 수정하거나 대규모 강화 학습을 요구하지 않고, 모델이 자신의 인지 자원을 관리하도록 가르치는 타겟팅된 사후 학습 파이프라인을 통해 달성되었다는 점을 강조합니다.

한계점: 저자들은 ACM이 장기 추론 능력이 충분한 베이스 모델을 전제로 한다고 언급했습니다. 즉, 컨텍스트 압박이 아니라 추론 붕괴로 인해 조기에 종료되는 작은 모델(예: 4B 파라미터)은 이 도구들의 혜택을 받지 못합니다. 또한, 공정한 비교를 위해 노력했으나 평가가 재구현된 베이스라인에 의존하고 있다는 점을 명시했습니다.