기술 요약: 장기적 탐색(Long-horizon Search)에서의 컨텍스트 부패(Context Rot) 진단 및 완화

문제 정의

대규모 언어 모델(LLM)이 심층 웹 검색과 같은 장기적 에이전트 작업에 점점 더 많이 배치됨에 따라, 환경 피드백과 내부 추론을 모두 포함하는 방대한 컨텍스트가 축적되고 있습니다. 본 논문은 **컨텍스트 부패(context rot)**라고 불리는 치명적인 성능 저하 현상을 식별합니다. 구체적으로, 에이전트가 수십 또는 수백 번의 도구 호출을 실행하는 심층 탐색 시나리오에서, 방대한 컨텍스트는 모델이 직접 포기하게 하거나(문제를 해결할 수 없다고 명시함), 성급하게 불확실한 답변을 제공하게(추론 과정에서 미해결된 불확실성을 명시적으로 인정하면서도 명확한 답변을 제공함) 만듭니다.

단일 턴의 긴 입력(예: "needle-in-a-haystack" 테스트)이나 다회차 인간 대화에 집중했던 기존 연구와 달리, 본 연구는 다회차, 다중 소스, 점진적으로 축적되는 에이전트 탐색 작업에서의 컨텍스트 부패를 조사합니다. 저자들은 궤적(trajectory)의 길이가 길어짐에 따라 모델이 단순히 정확도를 잃는 것에 그치지 않고, 이 두 가지 특정 실패 모드로 행동이 변화하며, 종종 "고군분투 패턴"(반복된 실패 시도 또는 진전 없음)에 갇히게 된다는 것을 관찰했습니다.

방법론

1. 진단 및 분류 체계

저자들은 컨텍스트 부패를 진단하기 위해 종단 상태(terminal states)에 대한 세밀한 분류 체계를 개발하여 에이전트의 결과를 다음과 같이 범주화했습니다:

• 포기 (Give Up): 에이전트가 문제를 해결할 수 없음을 명시적으로 밝힘.
• 불확실한 답변 (Uncertain Answer): 에이전트가 명확한 답변을 제공하지만, 추론 과정에서는 미해결된 불확실성을 나타냄.
• 확신 있는 답변 (Confident Answer): 에이전트가 모든 기준을 충족했다는 추론과 함께 명확한 답변을 제공함.
• 답변 없음 (No Answer): 컨텍스트 제한 또는 턴 예산으로 인해 답변 출력을 실패함.

LLM-as-a-judge(인간 전문가와 98.7% 일치 확인됨)를 사용하여, 저자들은 세 가지 벤치마크(BrowseComp, BrowseComp-Plus (로컬 코퍼스), xbench-DeepSearch)에 대해 네 가지 주요 오픈 소스 모델(Qwen3.5-397B-A17B, GLM-4.7, GLM-5.0, MiniMax-M2.5)을 평가했습니다.

2. 프루닝 분석 (Pruning Analysis)

축적된 컨텍스트와 부패 사이의 관계를 이해하기 위해, 저자들은 컨텍스트 프루닝 실험을 수행했습니다. 이들은 최신 상호작용 윈도우를 유지하면서 축적된 히스토리(도구 응답, 추론 내용 또는 전체 컨텍스트)의 서로 다른 부분을 체계적으로 제거했습니다. 이를 통해 부패가 궤적 길이, 상호작용 턴, 또는 축적된 컨텍스트의 특정 내용 중 무엇에 의해 발생하는지를 격리하여 조사할 수 있었습니다.

3. 완화 전략

본 논문은 컨텍스트 부패를 완화하기 위한 두 가지 주요 접근 방식을 평가합니다:

A. 컨텍스트 관리 (In-Process)
저자들은 ReAct 프레임워크를 수정하여 세 가지 카테고리에 걸쳐 7가지 방법을 체계적으로 평가했습니다:

1. 컨텍스트 압축 (Context Compaction): 축적된 히스토리를 압축된 요약본으로 주기적으로 재작성합니다. 트리거로는 궤적 길이, 상호작용 턴, 그리고 "고군분투 점수"(실패의 의미론적 탐지)가 포함됩니다.
2. 컨텍스트 트리밍 (Context Trimming): 재작성 없이 이전 내용을 제거합니다. 변형으로는 마지막 도구 응답만 남기고 나머지는 버리기, 최신 상호작용 턴만 유지하기, 그리고 트리밍과 요약을 결합하는 방식 등이 있습니다.
3. 컨텍스트 격리 (Context Isolation): 서브 에이전트(예: FoldAgent)를 사용하여 작업을 실행하고 요약된 결과만을 반환하게 함으로써 메인 에이전트의 컨텍스트 윈도우를 깨끗하게 유지합니다.

B. 사후 거절 샘플링 (Post-Hoc Rejection Sampling)
저자들은 **부패 인지 필터링 전략(rot-aware filtering strategy)**을 개발했습니다. 표준 ReAct(컨텍스트 관리 없이)를 사용하여 단일 쿼리에 대해 여러 궤적을 생성합니다. 그 후 필터를 적용하여 "포기" 또는 "불정확한 답변" 상태로 종료되는 궤적을 제외하고, 집계(다수결 투표, 최소 길이 또는 최소 턴 사용)를 위해 "확신 있는 답변"만을 유지합니다.

주요 결과

1. 컨텍스트 부패의 특성

• 보편성: 방대한 컨텍스트는 모델이 포기하거나 불확실한 답변을 제공하게 만들며, 이는 컨텍스트가 커질수록 악화되는 현상입니다.
• 단순한 길이가 아님: 부패는 단순히 궤적의 길이나 턴 수에만 의존하지 않습니다. 프루닝 실험 결과, 축적된 컨텍스트를 제거하면 부패가 거의 사라졌으나, 추론만 제거하거나 도구 응답만 제거했을 때(다른 하나는 유지한 채)는 여전히 부패가 감소하는 것으로 나타나, 축적된 컨텍스트의 내용이 중요하다는 것을 보여주었습니다.
• 고군분투와의 상관관계: 부패 상태로 끝나는 궤적은 성공적인 궤적에 비해 유의미하게 높은 "고군분투 점수"(반복된 실패, 진전 없음)를 보였습니다.
• 윈도우 크기 vs 성능: 컨텍스트 윈도우 크기 자체가 주요 병목 구간은 아닙니다. 모델은 윈도우 내에서 문제를 해결할 수 있지만, 축적된 컨텍스트를 처리하는 방식 때문에 성능이 저하됩니다.

2. 컨텍스트 관리의 효과성

• 혼합 전략이 최적: 컨텍스트 트리밍(최신 턴 유지)과 컨텍스트 압축(이전 내용 요약)을 결합한 하이브리드 접근 방식이 비용(도구 호출)과 부패 완화 사이에서 가장 좋은 균형을 달성했습니다. 순수 압축 방식은 부패를 크게 줄였지만 높은 비용과 미완료 궤적 문제를 야기했고, 순수 트리밍 방식은 효율적이었으나 부패 감소 효과는 덜했습니다.
• 모델 의존성: 컨텍스트 격리(서브 에이전트)는 변동성이 컸습니다. 강력한 백본(예: Qwen3.5)에서는 매우 우수한 성능을 보였으나, 약한 모델(예: GLM-4.7)에서는 성능이 낮아, 효과를 보려면 견고한 LLM 백본이 필요함을 시사했습니다.
• 트리거 빈도: 수동적 관리(예: 짧은 길이 임계값에서 요약)의 빈도를 높이면 부패를 완화할 수 있었으나, 비용과 미완료 궤적 발생률을 높였습니다.

3. 거절 샘플링의 효과성

• 성능 향상: 여러 샘플링된 궤적에 부패 인지 필터링을 적용한 결과, 집계 방식에 따라 평균 **2.6%에서 4.9%**의 성능 향상을 보였습니다.
• 시너지 효과: 거절 샘플링을 컨텍스트 관리 방법과 결합하면 성능이 더욱 향상되었습니다. 부패가 심한 데이터셋(BrowseComp, BrowseComp-Plus)에서는 최적의 컨텍스트 관리 방법과 거절 샘플링을 결합한 것이 표준 ReAct보다 뛰어난 성능을 보였습니다. 부패가 덜 심한 데이터셋(xbench-DeepSearch)에서는 거절 샘플링을 적용한 표준 ReAct가 컨텍스트 관리 방법과 대등하거나 오히려 더 나은 성능을 보이기도 했습니다.

의의 및 기여

본 논문은 다음과 같은 기여를 주장합니다:

1. 진단: 장기적 에이전트 탐색에서 직접적인 포기와 성급한 불확실한 답변으로 특징지어지며, 컨텍스트 성장에 의해 악화되는 널리 퍼져 있으나 이전에 주목받지 못했던 부패 현상을 밝혀냈습니다.
2. 인과 분석: 프루닝 실험을 통해 부패가 단순히 길이 나 턴 수와 같은 궤적 통계가 아니라, 축적된 컨텍스트 내용에 의해 직접적으로 발생함을 입증했습니다.
3. 체계적 평가: 세 가지 카테고리에 걸쳐 7가지 컨텍스트 관리 방법을 종합적으로 평가하여, 성능, 비용, 부패 심각도 간의 트레이드오프에 기반한 명확한 전략 선택 가이드를 제공합니다.
4. 새로운 완화책: 거절 샘플링을 위한 부패 인지 필터링 전략을 도입하여, 기본 에이전트 프레임워크를 수정하지 않고도 에이전트의 신뢰성을 높일 수 있음을 입증했습니다.

저자들은 이러한 통찰이 컨텍스트 유지와 모델 저하 사이의 트레이드오프를 효과적으로 관리함으로써, 점점 더 복잡해지는 실제 세계의 장기적 과제를 처리할 수 있는 더 견고한 자율 에이전트를 구축하는 기초를 제공한다고 결론짓습니다.