🤖 AI

Buried in Textual Debt: Context Pruning with Visual Evidence Preservation for MLLM Agents

O artigo apresenta o SPARE, um framework guiado por KL que poda efetivamente o texto de raciocínio redundante em agentes de Grandes Modelos de Linguagem Multimodais enquanto preserva evidências visuais essenciais, melhorando assim a precisão da tarefa e mitigando o problema da "dívida textual" em cenários de uso de ferramentas multimodais de longo horizonte.

Autores originais: Yuchen Huang, Sijia Li, Jun Zhang, Yi R. Fung

Publicado 2026-08-25

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yuchen Huang, Sijia Li, Jun Zhang, Yi R. Fung

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No campo em rápida evolução da inteligência artificial, surgiu um tipo específico de programa de computador que atua como um assistente digital capaz de ver e pensar. Esses sistemas, conhecidos como modelos de linguagem de grande escala multimodais, são projetados para observar imagens, compreender perguntas sobre elas e usar ferramentas externas para encontrar respostas. Para resolver problemas complexos, eles não apenas adivinham; eles decompõem a tarefa em uma série de etapas, escrevendo seus próprios pensamentos e planos à medida que avançam. Esse processo de escrever o raciocínio ajuda-os a manter a organização e a coordenar diferentes ações, de forma muito semelhante a como um humano poderia fazer anotações enquanto resolve um quebra-cabeça. No entanto, à medida que esses assistentes digitais trabalham em tarefas longas e difíceis, o texto que geram começa a se acumular. Esse acúmulo de notas escritas por si mesmos acaba se tornando tão grande que sobrecarrega a imagem original e as novas pistas visuais que as ferramentas fornecem, fazendo com que o sistema dependa excessivamente de suas próprias palavras passadas em vez das evidências frescas à sua frente.

Pesquisadores da Universidade de Ciência e Tecnologia de Hong Kong identificaram esse fenômeno como "dívida textual", um estado onde o histórico da conversa afoga a realidade visual que o agente deveria estar analisando. Quando um agente fica preso em uma ideia inicial incorreta, o volume imenso de texto reforçando essa ideia pode cegá-lo para novas informações, levando a erros. Para resolver isso, a equipe desenvolveu um método chamado SPARE, que atua como um editor seletivo para a memória do agente. Em vez de simplesmente deletar o texto antigo ou comprimir imagens, o SPARE revisa cuidadosamente o raciocínio passado do agente para decidir o que ainda é útil e o que se tornou redundante. Ele funciona fazendo uma pergunta simples: se o agente fosse resumir sua situação atual em algumas frases, ele ainda precisaria ler o parágrafo específico de raciocínio que escreveu anteriormente para entender o próximo passo?

O processo envolve uma verificação diagnóstica inteligente onde o sistema compara duas versões de seu próprio pensamento. Em uma versão, o agente lê seu histórico completo de pensamentos e ações. Na outra, ele lê esse mesmo histórico, mas com um resumo compacto do estado atual da tarefa adicionado à mistura. O sistema então mede o quanto a presença desse resumo altera as previsões do agente para a próxima palavra. Se o resumo fizer o pensamento do agente mudar significativamente, significa que o parágrafo antigo contém detalhes únicos e críticos que o resumo perdeu, portanto, o parágrafo é mantido. Se o resumo causar quase nenhuma mudança, significa que o parágrafo antigo está apenas repetindo informações que já estão capturadas no resumo, tornando-o seguro para remover. Isso permite que o sistema elimine o texto "estagnado" que polui o contexto, preservando os detalhes visuais específicos, como coordenadas ou textos encontrados em uma imagem, que são essenciais para a tarefa.

Para tornar essa poda ainda mais eficaz, os pesquisadores também treinaram o sistema para escrever resumos melhores e mais abrangentes. Ao ensinar o agente a condensar seu estado de tarefa de forma mais eficiente, eles permitiram que a ferramenta de poda removesse ainda mais o texto redundante sem perder informações importantes. Ao serem testados em vários benchmarks desafiadores envolvendo edição de imagem, uso de ferramentas e busca visual, essa abordagem provou ser altamente bem-sucedida. O sistema conseguiu remover entre 37,89% e 64,58% dos tokens de raciocínio — as palavras que o agente escreveu para si mesmo — enquanto na verdade melhorava sua precisão nas tarefas. Em muitos casos, os agentes podados tiveram um desempenho melhor do que aqueles que mantiveram seu histórico completo, sugerindo que a redução do ruído textual ajudou-os a focar mais agudamente na evidência visual.

As descobertas desafiam a suposição comum de que um agente precisa se lembrar de cada etapa de seu raciocínio para ter sucesso. Em vez disso, o estudo sugere que, para tarefas longas e complexas, a habilidade de esquecer as partes irrelevantes da conversa é tão importante quanto a habilidade de raciocinar. Ao limpar a dívida textual, o sistema restaura sua capacidade de atender à imagem e aos novos dados fornecidos por suas ferramentas, em vez de ficar preso em um ciclo de suas próprias suposições passadas. Este trabalho indica que, para a inteligência artificial se tornar uma parceira verdadeiramente eficaz em tarefas visuais de longo prazo, ela deve aprender não apenas como pensar, mas também como deixar ir os pensamentos que não servem mais ao objetivo.

Resumo Técnico: Enterrados em Dívida Textual: Poda de Contexto com Preservação de Evidência Visual para Agentes MLLM

Definição do Problema: Dívida Textual em Agentes de Múltiplos Passos

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) implantados como agentes de múltiplos passos dependem de raciocínio explícito para decompor tarefas, coordenar ferramentas e interpretar observações. No entanto, esse processo gera um fluxo cumulativo de texto autogerado. Ao longo de trajetórias de interação longas, essa "dívida textual" pode dominar a janela de contexto, fazendo com que o modelo se torne cada vez mais condicionado aos seus próprios planos, descrições e suposições anteriores, em vez de focar na entrada visual original ou em novas observações de ferramentas.

Os autores identificam dois modos de falha específicos associados a essa dívida:

Redundância: Uma vez que a evidência visual relevante para a tarefa é fundamentada com sucesso, o texto de raciocínio subsequente torna-se funcionalmente redundante.
Direcionamento Equivocado: Se o raciocínio inicial falhar em atender a regiões visuais relevantes, o texto acumulado pode elaborar hipóteses obsoletas ou incorretas, induzindo erroneamente os passos de inferência subsequentes.

Soluções existentes, como compressão de tokens visuais ou sumarização genérica, não abordam isso adequadamente. A compressão visual visa uma modalidade que já costuma ser pouco atendida, enquanto a sumarização genérica falha em distinguir entre segmentos históricos funcionalmente necessários e os redundantes.

Metodologia: SPARE

O artigo propõe o SPARE (Selective Pruning of Accumulated Reasoning with Visual Evidence Preservation - Poda Seletiva de Raciocínio Acumulado com Preservação de Evidência Visual), um framework de poda de contexto post-hoc projetado para remover o raciocínio redundante enquanto preserva evidências visuais críticas. O SPARE opera no tempo de teste sem exigir verificadores externos ou modelos de recompensa separados.

Mecanismo Central: Divergência KL Condicionada ao Resumo

O SPARE reformula a compressão de contexto como um problema de "esquecimento seletivo". Ele utiliza um resumo do estado da tarefa ( $\sigma$ ) compacto como um contexto de diagnóstico privilegiado. Este resumo é gerado pelo próprio agente (acionado por uma ferramenta interna summarize_the_task) e contém a pergunta original, chamadas de ferramentas concluídas, evidência visual acumulada e incerteza restante.

O processo de poda envolve as seguintes etapas:

Replay e Comparação: Para cada segmento de raciocínio histórico candidato, o modelo é reproduzido sob dois contextos:
- Contexto Estudante ( $\rho_{stu}$ ): O histórico original sem o resumo.
- Contexto Professor ( $\rho_{tea}$ ): O histórico original aumentado com o resumo compacto do estado da tarefa ( $\sigma$ ).
- Nota: O "professor" é o mesmo modelo ( $\pi_\theta$ ) condicionado ao resumo, não um modelo externo.
Medição de Sensibilidade Residual: O sistema calcula uma divergência Kullback–Leibler (KL) reversa entre as distribuições de continuação de nível de token do contexto estudante e do contexto professor.
- KL Baixa: Indica que o resumo cobre suficientemente a informação contida no segmento; o segmento é redundante.
- KL Alta: Indica que o segmento contém informações não capturadas pelo resumo (ex: coordenadas específicas, strings de OCR ou passos de raciocínio únicos); o segmento é crítico.
Poda de Segmento:
- Segmentos com baixa sensibilidade residual (baixa KL) são removidos.
- Segmentos com alta sensibilidade residual são preservados. Crucialmente, estes não são mantidos como texto bruto, mas são reconstruídos em evidências visuais concisas e estruturadas (ex: "Crop: (1400, 900)", "Text: 'Stop'").
- Um limiar baseado em contagem ( $\kappa$ ) é usado em vez de uma pontuação média para garantir que tokens de evidência esparsos mas críticos (como uma única coordenada) impeçam a poda de um segmento inteiro.

Melhorando o Sumarizador via SFT

Para permitir uma poda mais agressiva, os autores utilizam Ajuste Fino Supervisionado (SFT) no componente do sumarizador. Ao treinar o agente para produzir resumos de estado de tarefa mais compactos e abrangentes (destilando conhecimento de um modelo maior), o sistema pode cobrir uma fração maior do histórico de raciocínio. Isso expande a região "segura para podar", permitindo que mais texto redundante seja removido sem interromper as decisões subsequentes. Especificamente, os autores coletaram 376 trajetórias on-policy do Qwen3-VL-8B no VTC-Bench e instruíram o Qwen3-235B, mais forte, para produzir resumos de estado de tarefa compactos. O Qwen3-VL-8B foi então ajustado via SFT nos pares (contexto, resumo) resultantes.

Principais Contribuições

Framework SPARE: Um método inovador de esquecimento seletivo que preserva evidências, utilizando a divergência KL condicionada ao resumo para estimar a redundância funcional do raciocínio anterior. Ele poda segmentos cuja informação já está consolidada em um resumo do estado da tarefa.
Sumarização Aprimorada por SFT: Uma estratégia para ajustar o sumarizador, permitindo resumos mais compactos que facilitam uma cobertura mais ampla e uma poda mais agressiva, mantendo a informação relevante para a tarefa.
Validação Empírica: Demonstrações em múltiplos backbones (Qwen3-VL, Llama-3.1-Nemotron) e benchmarks de uso de ferramentas visuais (GTA, VTB, MNMS, etc.) mostrando que o SPARE alcança a maior precisão média entre os métodos de poda, reduzindo significativamente o comprimento do contexto.

Resultados Experimentais

Os autores avaliaram o SPARE em cinco benchmarks que exigem raciocínio de múltiplos passos e invocação de ferramentas: GTA, V*, BLINK-Jigsaw, VisualToolBench (VTB) e m&m's (MNMS).

Desempenho vs. Poda: O SPARE consistentemente alcançou a maior precisão média entre todos os métodos de poda.
- No Qwen3-VL-30B, o SPARE melhorou a precisão média de 44,30% (Full Trace) para 49,19% enquanto podava 63,70% dos tokens de raciocínio.
- No Qwen3-VL-8B, manteve desempenho comparável (53,47% vs. 54,27%) com 37,89% de poda.
- No Llama-3.1-Nemotron-Nano-VL-8B, melhorou a precisão em benchmarks específicos (GTA, B-Jigsaw, VTB) e quase igualou a precisão do Full Trace com 64,58% de poda.
Comparação com Baselines: O SPARE superou o "Delete All Reasoning" (que remove todo o texto) e o "Visual Evidence-Only" (que reescreve todo o texto de forma não seletiva). Isso confirma que a poda seletiva baseada em sensibilidade residual é superior à compressão não seletiva.
Estudos de Ablação:
- Acionamento Adaptativo: Permitir que o modelo decida quando resumir (Model-selected) superou o intervalo fixo ou a sumarização pré-resposta.
- Necessidade de Componentes: A combinação de seleção baseada em KL e reconstrução de evidência produziu os melhores resultados; usar apenas um dos componentes resultou em menor precisão ou compressão insuficiente.
- Impacto do SFT: O ajuste fino do sumarizador resultou em um aumento relativo de 23,8% nos tokens podados no VTB e 13,5% no MNMS em comparação com o sumarizador base, além de melhorar a precisão da tarefa em ambos os benchmarks.

Significância e Alegações

O artigo afirma que reduzir a "dívida textual" não é meramente uma otimização computacional, mas um mecanismo de fundamentação (grounding). Ao podar o texto autogerado obsoleto, o SPARE restaura a dependência do modelo em relação à evidência visual e mitiga o condicionamento excessivo em seu próprio histórico linguístico.

Os autores posicionam o SPARE como uma solução de tempo de execução que não requer modelos auxiliares ou dados de treinamento além das próprias trajetórias do agente. Eles argumentam que o esquecimento seletivo em tempo de inferência é um mecanismo eficaz para o raciocínio multimodal de contexto longo, permitindo que os agentes mantenham o progresso sem serem enterrados em seu próprio texto acumulado. O código é disponibilizado para facilitar pesquisas futuras nesta direção.