🤖 AI

Buried in Textual Debt: Context Pruning with Visual Evidence Preservation for MLLM Agents

이 논문은 필수적인 시각적 증거를 보존하면서 멀티모달 거대 언어 모델 에이전트의 중복된 추론 텍스트를 효과적으로 제거하여, 장기적 멀티모달 도구 사용 시나리오에서 작업 정확도를 향상시키고 "텍스트 부채(textual debt)" 문제를 완화하는 KL 가이드 기반 프레임워크인 SPARE를 소개한다.

원저자: Yuchen Huang, Sijia Li, Jun Zhang, Yi R. Fung

게시일 2026-08-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuchen Huang, Sijia Li, Jun Zhang, Yi R. Fung

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

급속도로 발전하는 인공지능 분야에서, 보고 생각할 수 있는 디지털 비서 역할을 수행하는 특정 유형의 컴퓨터 프로그램이 등장했습니다. 멀티모달 거대 언어 모델(multimodal large language models)로 알려진 이 시스템들은 이미지를 보고, 그에 대한 질문을 이해하며, 답을 찾기 위해 외부 도구를 사용하도록 설계되었습니다. 복잡한 문제를 해결하기 위해 이들은 단순히 추측하는 것이 아니라, 과업을 일련의 단계로 나누고 진행 과정에서 자신의 생각과 계획을 글로 써 내려갑니다. 이러한 추론 과정을 기록하는 작업은 마치 사람이 퍼즐을 풀 때 메모를 적는 것처럼, 시스템이 체계적으로 조직을 유지하고 다양한 행동을 조율하는 데 도움을 줍니다. 그러나 이 디지털 비서들이 길고 어려운 과업을 수행함에 따라, 생성된 텍스트가 쌓이기 시작합니다. 이렇게 스스로 작성한 노트가 축적되면 결국 원래의 이미지와 도구가 제공하는 새로운 시각적 단서들을 밀어내게 되며, 이로 인해 시스템은 눈앞의 신선한 증거보다는 자신이 과거에 쓴 단어들에 지나치게 의존하게 됩니다.

홍콩 과학기술대학교의 연구진은 이러한 현상을 '텍스트 부채(textual debt)'라고 명명했습니다. 이는 대화의 이력이 에이전트가 분석해야 할 시각적 현실을 압도해 버리는 상태를 의미합니다. 에이전트가 초기의 잘못된 생각에 갇히게 되면, 그 생각을 강화하는 방대한 양의 텍isk가 새로운 정보에 대한 눈을 멀게 하여 실수를 유발할 수 있습니다. 이를 해결하기 위해 연구팀은 에이전트의 기억을 위한 선택적 편집기 역할을 하는 SPARE라는 방법론을 개발했습니다. SPARE는 단순히 오래된 텍스트를 삭제하거나 이미지를 압축하는 대신, 에이전트의 과거 추론을 신중하게 검토하여 무엇이 여전히 유용하고 무엇이 불필요해졌는지 결정합니다. 이 방식은 다음과 같은 간단한 질문을 던집/니다. "만약 에이전트가 현재 상황을 몇 문장으로 요약한다면, 다음 단계를 이해하기 위해 이전에 썼던 특정 추론 단락을 여전히 읽어야 할 필요가 있는가?"

이 과정은 시스템이 자신의 사고 과정을 두 가지 버전으로 비교하는 영리한 진단 검사를 포함합니다. 한 버전에서 에이전트는 자신의 생각과 행동의 전체 이력을 읽습니다. 다른 버전에서는 동일한 이력을 읽되, 현재 과업 상태에 대한 간결한 요약본을 함께 읽습니다. 그 후 시스템은 해당 요약의 존재가 다음 단어에 대한 에이전트의 예측을 얼마나 변화시키는지 측정합니다. 만약 요약본이 에이전트의 사고를 크게 변화시킨다면, 이는 기존 단락이 요약에서 놓친 독특하고 결정적인 세부 정보를 포함하고 있다는 뜻이므로 해당 단락을 유지합니다. 반면, 요약본이 거의 아무런 변화를 일으키지 않는다면, 이는 기존 단락이 이미 요약에 담긴 정보를 반복하고 있을 뿐이라는 의미이므로 삭제해도 안전하다고 판단합니다. 이를 통해 시스템은 과업에 필수적인 좌표나 이미지 내 텍스트와 같은 구체적인 시각적 세부 사항은 보존하면서도, 맥락을 어지럽히는 '오래된(stale)' 텍스트를 솎아낼 수 있습니다.

이러한 가지치기를 더욱 효과적으로 만들기 위해, 연구진은 시스템이 더 훌륭하고 포괄적인 요약을 작성하도록 훈련시켰습니다. 에이전트가 자신의 과업 상태를 더 효율적으로 응축하도록 가르침으로써, 프루닝(pruning) 도구가 중요한 정보를 잃지 않으면서도 중복된 텍스트를 훨씬 더 많이 제거할 수 있게 했습니다. 이미지 편집, 도구 사용, 시각적 탐색을 포함한 여러 도전적인 벤치마크에서 테스트했을 때, 이 접근 방식은 매우 성공적이었습니다. 시스템은 에이전트가 스스로에게 쓴 단어들인 '추론 토큰'을 37.89%에서 64.58% 사이로 제거하면서도 오히려 과업의 정확도를 향상시켰습니다. 많은 경우, 가지치기를 거친 에이전트가 전체 이력을 유지한 에이전트보다 더 나은 성능을 보였는데, 이는 텍스트 노이즈를 줄이는 것이 시각적 증거에 더 날카롭게 집중하는 데 도움이 되었음을 시사합니다.

이러한 결과는 에이전트가 성공하기 위해 자신의 모든 추론 단계를 기억해야 한다는 일반적인 가설에 도전합니다. 대신, 본 연구는 길고 복 복잡한 과업을 수행할 때는 관련 없는 부분을 잊는 능력이 추론하는 능력만큼이나 중요하다는 점을 시사합니다. 텍스트 부채를 청산함으로써, 시스템은 자신의 과거 가정에 갇히는 대신 이미지와 도구가 제공하는 새로운 데이터에 주의를 기울일 수 있는 능력을 회복합니다. 이 연구는 인공지능이 시각적 과업에서 진정으로 효과적인 장기적 파트너가 되기 위해서는, 어떻게 생각할 것인가뿐만 아니라, 목표에 더 이상 도움이 되지 않는 생각을 어떻게 놓아줄 것인가도 배워야 함을 보여줍니다.

기술 요약: 텍스트 부채에 파묻히다: 시각적 증거 보존을 통한 MLLM 에이전트의 컨텍스트 프루닝(Pruning)

문제 정의: 다단계 에이전트에서의 텍스트 부채(Textual Debt)

멀티모달 거대 언어 모델(MLLM)이 다단계 에이전트로 배포될 때, 작업 분해, 도구 조정, 관찰 해석을 위해 명시적인 추론에 의존합니다. 그러나 이 과정은 스스로 생성한 텍의 누적된 스트림을 발생시킵니다. 긴 상호작용 궤적(trajectory)에 걸쳐, 이 "텍스트 부채"는 컨텍스트 창을 점유하게 되며, 모델이 원래의 시각적 입력이나 새로운 도구 관찰 결과보다는 자신의 이전 계획, 설명, 가설에 점점 더 강하게 조건화되게 만듭니다.

저자들은 이 부채와 관련된 두 가지 구체적인 실패 모드를 식별했습니다:

중복성(Redundancy): 작업 관련 시각적 증거가 성공적으로 접지(grounding)되면, 이후의 추론 텍스트는 기능적으로 중복되는 경우가 많습니다.
오도(Misguidance): 초기 추론이 관련 시각 영역을 제대로 주목하지 못할 경우, 축적된 텍스트는 오래되거나 잘못된 가설을 상세히 설명하며 후속 추론 단계를 능동적으로 오도할 수 있습니다.

시각적 토큰 압축이나 일반적인 요약과 같은 기존 솔루션은 이를 적절히 해결하지 못합니다. 시각적 압축은 이미 주목도가 낮은 모달리티를 대상으로 하며, 일반적인 요약은 기능적으로 필요한 역사적 세그먼트와 중복된 세그먼트를 구분하지 못합니다.

방법론: SPARE

본 논문은 SPARE(Selective Pruning of Accumulated Reasoning with Visual Evidence Preservation)를 제안합니다. 이는 중복된 추론을 제거하면서도 중요한 시각적 증거를 보존하도록 설계된 사후(post-hoc) 컨텍스트 프루닝 프레임워크입니다. SPARE는 외부 검증기나 별도의 보상 모델 없이 테스트 타임에 작동합니다.

핵심 메커니즘: 요약 조건부 KL 발산(Summary-Conditioned KL Divergence)

SPARE는 컨텍스트 압축을 "선택적 망각" 문제로 재정의합니다. 이 시스템은 특권 있는 진단 컨텍스트로서 컴팩트한 태스크 상태 요약(task-state summary, $\sigma$ )을 활용합니다. 이 요약은 에이전트 스스로가 생성하며(내부 summarize_the_task 도구에 의해 트리거됨), 원래의 질문, 완료된 도구 호출, 축적된 시각적 증거, 그리고 남은 불확실성을 포함합니다.

프루닝 과정은 다음 단계로 진행됩니다:

재생 및 비교(Replay and Comparison): 각 후보 역사적 추론 세그먼트에 대해, 모델은 두 가지 컨텍스트 하에서 재생됩니다:
- 학생 컨텍스트( $\rho_{stu}$ ): 요약이 없는 원래의 히스토리.
- 교사 컨텍스트( $\rho_{tea}$ ): 컴팩트한 태스크 상태 요약( $\sigma$ )이 추가된 원래의 히스토리.
- 참고: 여기서 "교사"는 외부 모델이 아니라, 요약에 조건화된 동일한 모델( $\pi_\theta$ )입니다.
잔차 민감도 측정(Residual Sensitivity Measurement): 시스템은 학생 컨텍스트와 교사 컨텍스트 간의 토큰 수준 연속 분포 사이의 역-쿨백-라이블러(reverse-Kullback–Leibler, KL) 발산을 계산합니다.
- 낮은 KL: 요약이 해당 세그먼트의 정보를 충분히 커버하고 있음을 나타냅니다. 즉, 해당 세그먼트는 중복됩니다.
- 높은 KL: 해당 세그먼트가 요약에 포착되지 않은 정보(예: 특정 좌표, OCR 문자열 또는 고유한 추론 단계)를 포함하고 있음을 나타냅니다. 즉, 해당 세그먼트는 중요합니다.
세그먼트 수준 프루닝(Segment-Level Pruning):
- 잔차 민감도가 낮은 세그먼트는 제거됩니다.
- 잔차 민감도가 높은 세그먼트는 보존됩니다. 결정적으로, 이들은 원문 텍스트 그대로 유지되는 것이 아니라 간결하고 구조화된 시각적 증거(예: "Crop: (1400, 900)", "Text: 'Stop'")로 재구성됩니다.
- 단일 좌표와 같은 희소하지만 중요한 증거 토큰이 전체 세그먼트의 삭제를 막을 수 있도록 평균 점수가 아닌 카운트 기반 임계값( $\kappa$ )이 사용됩니다.

SFT를 통한 요약기 강화

더 공격적인 프루닝을 가능하게 하기 위해, 저자들은 요약기 구성 요소에 대한 **지도 미세 조정(Supervised Fine-Tuning, SFT)**을 적용합니다. 더 강력한 모델로부터 지식을 증류하여, 에이전트가 더 컴팩트하고 포괄적인 태스크 상태 요약을 생성하도록 훈련함으로써 시스템은 더 넓은 범위의 추론 역사를 커버할 수 있습니다. 이는 "삭제 가능한" 영역을 확장하여, 다운스트림 결정을 방해하지 않으면서도 더 많은 중복 텍스트를 제거할 수 있게 합니다. 구체적으로, 저자들은 VTC-Bench에서 Qwen3-VL-8B로부터 376개의 온-폴리시(on-policy) 궤적을 수집하였고, 더 강력한 Qwen3-235B가 컴팩트한 태스크 상태 요약을 생성하도록 유도했습니다. 이후 Qwen3-VL-8B를 해당 (컨텍스트, 요약) 쌍으로 미세 조정했습니다.

주요 기여

SPARE 프레임워크: 요약 조건부 KL 발산을 사용하여 이전 추론의 기능적 중복성을 추정하는 새로운 증거 보존형 선택적 망각 방법을 제시합니다. 이는 정보가 태스크 상태 요약에 이미 통합된 세그로 된 세그먼트를 프루닝합니다.
SFT 강화 요약: 요약기를 미세 조정하여 더 컴팩트한 요약을 생성할 수 있게 함으로써, 작업 관련 정보를 유지하면서도 더 넓은 커버리지와 공격적인 프루닝을 가능하게 합니다.
경험적 검증: 여러 백본(Qwen3-VL, Llama-3.1-Nemotron)과 시각적 도구 사용 벤치마크(GTA, VTB, MNMS 등)에서 SPARE가 컨텍스트 길이를 크게 줄이면서도 가장 높은 평균 정확도를 달하는 것을 입증했습니다.

실험 결과

저자들은 다단계 추론과 도구 호출이 필요한 5개의 벤치마크(GTA, V*, BLINK-Jigsaw, VisualToolBench (VTB), m&m's (MNMS))에서 SPARE를 평가했습니다.

프루닝 성능 비교: SPARE는 모든 프루닝 방법 중 일관되게 가장 높은 평균 정확도를 달성했습니다.
- Qwen3-VL-30B에서, SPARE는 추론 토큰의 **63.70%**를 프루닝하면서 평균 정확도를 44.30%(Full Trace)에서 **49.19%**로 향상시켰습니다.
- Qwen3-VL-8B에서, **37.89%**의 프루닝을 수행하면서도 대등한 성능(53.47% vs 54.27%)을 유지했습니다.
- Llama-3.1-Nemotron-Nano-VL-8B에서, 특정 벤치마크(GTA, B-Jigsaw, VTB)의 정확도를 높였으며, **64.58%**의 프루닝 하에서도 Full Trace 정확도에 거의 근접했습니다.
베이스라인과의 비교: SPARE는 "모든 추론 삭제"(모든 텍스트 제거) 및 "시각적 증거 전용"(모든 텍스트를 비선택적으로 재작성)보다 우수한 성능을 보였습니다. 이는 잔차 민감도에 기반한 선택적 프루닝이 비선택적 압축보다 우월함을 확인시켜 줍니다.
어블레이션 연구(Ablation Studies):
- 적응형 트리거링(Adaptive Triggering): 모델이 요약 시점을 결정하게 하는 방식이 고정 간격 또는 정답 직전 요약보다 우수했습니다.
- 구성 요소의 필요성: KL 기반 선택과 증거 재구성이 결 조합되었을 때 최상의 결과를 냈습니다. 두 구성 요소 중 하나만 사용하면 정확도가 낮아지거나 압축이 불충분했습니다.
- SFT 영향: 요약기를 미세 조정하면 베이스 요약기에 비해 VTB에서 프룬된 토큰이 상대적으로 23.8%, MNMS에서 13.5% 증가했으며, 두 벤치마크 모두에서 작업 정확도를 개선했습니다.

의의 및 주장

본 논문은 "텍스트 부채"를 줄이는 것이 단순한 계산 최적화가 아니라 하나의 그라운딩 메커니즘이라고 주장합니다. 오래된 자가 생성 텍스트를 프루닝함으로써, SPARE는 모델이 시각적 증거에 다시 의존하게 만들고, 자신의 언어적 이력에 과도하게 조건화되는 현상을 완화합니다.

저자들은 SPARE를 에이전트 자신의 궤적 외에 추가적인 모델이나 학습 데이터가 필요 없는 테스트 타임 솔루션으로 포지셔닝합니다. 그들은 추론 시점의 선택적 망각이 긴 컨텍스트 멀티모달 추론을 위한 효과적인 메커니즘이며, 에이전트가 축적된 텍스트에 파묻히지 않고 진전을 유지할 수 있게 한다고 주장합니다. 코드는 이 방향의 추가 연구를 촉진하기 위해 공개되어 있습니다.