기술 요약: 자기 압축형 언어 모델 에이전트 (Self-Compacting Language Model Agents)

문제점: 컨텍스트 부패(Context Rot)와 경직된 압축

언어 모델(LM) 에이전트가 수만 개의 토큰을 요구하는 경시 수학(competition math)부터 수백 번의 도구 호출을 조율하는 에이전틱 검색(agentic search)에 이르기까지 긴 호흡의 과제를 수행할 때, 생성된 궤적(trajectory)에는 "오래된 콘텐츠(stale content)"가 축적됩니다. **컨텍스트 부패(context rot)**라고 명명된 이 현상은 결함이 있는 초기 추론, 오래된 검색 결과, 또는 폐기된 후보 프로그램이 후속 생성을 붙잡아 두어 성능을 저하시키는 현상을 의미합니다.

기존의 솔루션들은 토큰 임계값(예: 컨텍스트 창의 30%)에 도달했을 때 요약을 트리거하는 **고정 간격 압축(fixed-interval compaction)**을 통해 이를 관리합니다. 본 논문은 이러한 접근 방식이 **궤적 구조(trajectory structure)**를 무시하기 때문에 근본적으로 결함이 있다고 주장합니다. 고정된 트리거는 하위 문제를 막 해결한 모델(요약하기에 안전한 시점)과 추론 도중이거나 정체된 모델(요약하기에 위험한 시점)을 구분할 수 없습니다. 논문의 그림 1에서 설명하듯, 타이밍이 맞지 않는 요약은 추론 도중 검증된 사실을 삭제하여, 모델이 정보를 다시 유도하거나 추측하게 만듦으로써 계산 예산을 낭비하고 정확도를 떨어뜨립니다.

방법론: SELFCOMPACT

저자들은 LM 에이전트가 스스로 자신의 컨텍스트를 언제, 어떻게 압축할지 결정할 수 있게 하는 학습 불필요(training-free) 스캐폴드인 SELFCOMPACT를 제안합니다. 이 시스템은 미세 조정(fine-tuning)이나 외부 감독 없이, 함께 결합된 두 가지 추론 시 요소에 의존하여 작동합니다:

1. 압축 도구(The Compaction Tool): 누적된 컨텍스트($x, y_{1:t}$)를 응축된 버전($\tilde{y}$)으로 요약하도록 모델이 호출할 수 있는 인라인 요약 도구($S$)입니다. 이후 생성은 새로운 컨텍스트 $(x, \tilde{y})$에서 재개됩니다.
2. 경량 루브릭(The Lightweight Rubric): 도구 호출을 제어하는 일련의 작업별 기준입니다. 주기적인 프로브 간격(매 $N$ 토큰 또는 도구 호출마다)에서, 모델은 루브릭에 따라 현재 상태를 평가하도록 요청받습니다.
   • 실행 시점 (COMPRESS): 하위 작업이 해결되었을 때(예: 수학 문제에서 최종 답안이 박스 처리됨, 또는 검증된 사실과 함께 검색 단위가 종료됨) 또는 궤적이 수렴하고 있을 때.
   • 억제 시점 (CONTINUE): 모델이 추론 도중이거나, 검색 도중이거나, 루프에 빠져 있을 때.

구현 세부 사항:

• KV 캐시 재사용: 비용을 최소화하기 위해, 루브릭 프로브와 요약 프롬프트는 기존 컨텍스트를 대체하는 대신 기존 컨텍스트에 *추가(append)*됩니다. 이는 궤적($y_{1:t}$)의 키-값(KV) 캐시를 보존하며, 모델이 전체 이력이 아닌 새로운 지침에 대한 프리필(prefill) 비용만 지불하게 합니다.
• 워크플로우: 스캐폴드는 모델이 생성하고, 간격마다 멈추고, 루브릭을 평가하며, 조건부로 요축을 트리거하는 루프로 실행됩니다. 만약 루브릭이 COMPRESS를 반환하면 요약기가 실행됩니다. 그렇지 않으면 프로브는 폐기되고 생성이 계속됩니다.

주요 기여

1. 새로운 스캐폴드: 요약을 호출 타이밍을 규정하는 루브릭과 결합된 인라인 도구로 노출하는 SELFCOMPACT를 도입했습니다. 이는 매개변수 업데이트를 필요로 하지 않습니다.
2. 실증적 검증: 7개의 모델(수학을 위한 4개의 Qwen 변체, 검색을 위한 3개의 배포된 에이전트)과 6개의 벤치마크(IMO-Answerbench, HMMT, BrowseComp 등)를 통해 입증되었습니다.
3. 절제 연구(Ablation) 통찰: 루브릭이 필수적임을 증명했습니다. 도구만 제공할 경우 모델이 잘못된 시점에 호출하거나 아예 호출하지 않는 등 불균형하고 도움이 되지 않는 사용 양상을 보입니다. 루브릭은 이러한 "메타 인지 격차"를 메워 신뢰할 수 있는 적응형 압축을 가능하게 합니다.

결과

논문은 SELFCOMPACT가 고정 간격 요약과 대등하거나 이를 능가하면서도 토큰 비용을 크게 줄인다고 보고합니다.

• 경시 수학: IMO-Answerbench 및 HMMHMMT와 같은 벤치마크에서, SELFCOMPACT는 압축 없는 베이스라인 대비 정확도를 최대 18.1 포인트 개선했습니다. 또한 12개의 벤치마크/모델 구성 중 11개에서 고정 간격 요약보다 우수한 성능을 보였습니다.
• 에이전틱 검색: BrowseComp 및 DeepSearch QA에서 SELFCOMPACT는 베이스라인 대비 5~9 포인트의 정확도를 높였습니다.
• 비용 효율성: 루브릭 프로브를 위한 추가 LLM 호출 오버헤드에도 불구하고, SELFCOMPACT는 압축 없는 베이스라인과 비교하여 질문당 토큰 비용을 30~70% 낮췄습니다. 이는 나중에 발생하는 오래되고 요약되지 않은 컨텍스트를 처리하는 막대한 비용을 방지하기 때문입니다.
• 타이밍 분석: 30% 임계점에서 엄격하게 압축하는 고정 간격 방식과 달리, SELFCOMPACT의 루브릭은 (종종 하위 목표가 해결될 때처럼) 더 일찍 압축을 트리거하여, 해로운 "부패"가 축적되기 전에 이를 방지합니다.

의의 및 주장

본 논문은 학습 불필요 환경에서 루브릭 기반의 적응형 압축 타이밍을 도입하고 평가한 첫 번째 사례라고 주장합니다. 주요 의의는 "언제 압축할 것인가"를 미세 조정이나 강화 학습을 통해 모델 가중치에 내재시켜야 하는 능력이 아니라, 경량 스캐폴드를 통해 제공될 수 있는 메타 인지 능력으로 재정의했다는 점에 있습니다.

저자들은 "메타 인지 격차"를 강조합니다. 즉, 스스로의 컨텍스트가 부패하고 있음을 감지하는 능력이 없는 모델이라 할지라도, 간단한 루브릭이 이 격차를 메울 수 있다는 것입니다. 이는 복잡한 컨텍스트 관리 전략이 학습을 통한 계산 비용 없이도 기성 모델으로부터 이끌어낼 수 있음을 시사하며, 현재의 하드웨어 제약 조건 하에서 장기 호흡의 에이전트를 배포하기 위한 실질적인 솔루션을 제공합니다.

본 연구는 학습 불필요 개입에 초점을 맞추고 있으며, 더 강력한 내재적 성찰 능력을 가진 프런티어 모델들은 결국 더 적은 스캐폴딩을 필요로 할 수 있음을 인정하며 범위를 겸손하게 설정하고 있습니다. 그러나 현재 세대의 오픈 웨이트 및 배포된 에이전트들에게 있어, SELFCOMPACT는 확장된 추론 지평에서 성능을 유지하기 위한 견고하고 비용 효율적인 메커니즘을 제공합니다.