🤖 AI

Buried in Textual Debt: Context Pruning with Visual Evidence Preservation for MLLM Agents

El artículo presenta SPARE, un marco guiado por KL que poda eficazmente el texto de razonamiento redundante en agentes de Modelos de Lenguaje Multimodales Grandes mientras preserva la evidencia visual esencial, mejorando así la precisión de las tareas y mitigando el problema de la "deuda textual" en escenarios de uso de herramientas multimodales de largo alcance.

Autores originales: Yuchen Huang, Sijia Li, Jun Zhang, Yi R. Fung

Publicado 2026-08-25

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yuchen Huang, Sijia Li, Jun Zhang, Yi R. Fung

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el campo de la inteligencia artificial, que evoluciona rápidamente, ha surgido un tipo específico de programa informático que actúa como un asistente digital capaz de ver y pensar. Estos sistemas, conocidos como modelos de lenguaje de gran tamaño multimodales, están diseñados para observar imágenes, comprender preguntas sobre ellas y utilizar herramientas externas para encontrar respuestas. Para resolver problemas complejos, no se limitan a adivinar; descomponen la tarea en una serie de pasos, escribiendo sus propios pensamientos y planes a medida que avanzan. Este proceso de escribir su razonamiento ayuda a que se mantengan organizados y coordinen diferentes acciones, de forma muy similar a como un humano podría tomar notas mientras resuelve un rompecabezas. Sin embargo, a medida que estos asistentes digitales trabajan en tareas largas y difíciles, el texto que generan comienza a acumularse. Esta acumulación de notas escritas por sí mismas acaba siendo tan grande que desplaza a la imagen original y a las nuevas pistas visuales que proporcionan las herramientas, haciendo que el sistema dependa demasiado de sus propias palabras pasadas en lugar de la evidencia fresca que tiene delante.

Investigadores de la Universidad de Ciencia y Tecnología de Hong Kong han identificado este fenómeno como "deuda textual", un estado en el que el historial de la conversación ahoga la realidad visual que el agente debería estar analizando. Cuando un agente se queda estancado en una idea inicial incorrecta, el enorme volumen de texto que refuerza esa idea puede cegarlo ante la nueva información, provocando errores. Para solucionar esto, el equipo desarrolló un método llamado SPARE, que actúa como un editor selectivo para la memoria del agente. En lugar de simplemente borrar el texto antiguo o comprimir las imágenes, SPARE revisa cuidadosamente el razonamiento pasado del agente para decidir qué sigue siendo útil y qué se ha vuelto redundante. Funciona planteando una pregunta sencilla: si el agente tuviera que resumir su situación actual en unas pocas frases, ¿necesitaría seguir leyendo el párrafo específico de razonamiento que escribió anteriormente para comprender el siguiente paso?

El proceso implica un ingenioso control de diagnóstico donde el sistema compara dos versiones de su propio pensamiento. En una versión, el agente lee todo su historial de pensamientos y acciones. En la otra, lee ese mismo historial pero con un resumen compacto del estado actual de la tarea añadido a la mezcla. El sistema mide entonces cuánto cambia la presencia de ese resumen las predicciones del agente para la siguiente palabra. Si el resumen hace que el pensamiento del agente cambie significativamente, significa que el párrafo antiguo contiene detalles únicos y críticos que el resumen omitió, por lo que el párrafo se conserva. Si el resumen provoca casi ningún cambio, significa que el párrafo antiguo solo está repitiendo información que ya está capturada en el resumen, lo que lo hace seguro para eliminarlo. Esto permite al sistema podar el texto "caduco" que satura el contexto, preservando al mismo tiempo los detalles visuales específicos, como coordenadas o texto encontrado en una imagen, que son esenciales para la tarea.

Para que esta poda sea aún más eficaz, los investigadores también entrenaron al sistema para que escriba resúmenes mejores y más exhaustivos. Al enseñar al agente a condensar el estado de su tarea de manera más eficiente, permitieron que la herramienta de poda eliminara incluso más del texto redundante sin perder información importante. Al ser probado en varios entornos de referencia exigentes que involucran la edición de imágenes, el uso de herramientas y la búsqueda visual, este enfoque resultó ser altamente exitoso. El sistema logró eliminar entre el 37,89% y el 64,58% de los tokens de razonamiento —las palabras que el agente se escribió a sí mismo— mientras que, de hecho, mejoraba su precisión en las tareas. En muchos casos, los agentes podados funcionaron mejor que aquellos que conservaban su historial completo, lo que sugiere que reducir el ruido textual les ayudó a concentrarse con mayor nitidez en la evidencia visual.

Estos hallazgos desafían la suposición común de que un agente necesita recordar cada uno de los pasos de su razonamiento para tener éxito. En cambio, el estudio sugiere que, para tareas largas y complejas, la capacidad de olvidar las partes irrelevantes de la conversación es tan importante como la capacidad de razonar. Al despejar la deuda textual, el sistema restaura su capacidad de atender a la imagen y a los nuevos datos proporcionados por sus herramientas, en lugar de quedar atrapado en un bucle de sus propios supuestos pasados. Este trabajo indica que, para que la inteligencia artificial se convierta en un socio verdaderamente eficaz en tareas visuales a largo plazo, debe aprender no solo a pensar, sino también a dejar ir los pensamientos que ya no sirven al objetivo.

Resumen Técnico: Enterrados en la Deuda Textual: Poda de Contexto con Preservación de Evidencia Visual para Agentes MLLM

Definición del Problema: Deuda Textual en Agentes de Pasos Múltiples

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) desplegados como agentes de pasos múltiples dependen del razonamiento explícito para descomponer tareas, coordinar herramientas e interpretar observaciones. Sin embargo, este proceso genera un flujo acumulativo de texto autogenerado. A lo largo de trayectorias de interacción largas, esta "deuda textual" puede dominar la ventana de contexto, causando que el modelo se condicione cada vez más a sus propios planes, descripciones y suposiciones previas, en lugar de centrarse en la entrada visual original o en las nuevas observaciones de las herramientas.

Los autores identifican dos modos de fallo específicos asociados con esta deuda:

Redundancia: Una vez que la evidencia visual relevante para la tarea se ha fundamentado con éxito, el texto de razonamiento posterior suele volverse funcionalmente redundante.
Inducción al error (Misguidance): Si el razonamiento temprano no presta atención a las regiones visuales relevantes, el texto acumulado puede elaborar hipótesis obsoletas o incorrectas, induciendo activamente al error en los pasos de inferencia subsiguientes.

Las soluciones existentes, como la compresión de tokens visuales o la sumarización genérica, no abordan esto adecuadamente. La compresión visual apunta a una modalidad que a menudo ya está siendo poco atendida, mientras que la sumarización genérica no logra distinguir entre segmentos históricos funcionalmente necesarios y aquellos que son redundantes.

Metodología: SPARE

El artículo propone SPARE (Selective Pruning of Accumulated Reasoning with Visual Evidence Preservation - Poda Selectiva de Razonamiento Acumulado con Preservación de Evidencia Visual), un marco de poda de contexto post-hoc diseñado para eliminar el razonamiento redundante preservando la evidencia visual crítica. SPARE opera en el tiempo de ejecución sin requerir verificadores externos o modelos de recompensa separados.

Mecanismo Central: Divergencia KL Condicionada por Resumen

SPARE redefine la compresión de contexto como un problema de "olvido selectivo". Utiliza un resumen del estado de la tarea ( $\sigma$ ) compacto como un contexto de diagnóstico privilegiado. Este resumen es generado por el propio agente (activado por una herramienta interna summarize_the_task) y contiene la pregunta original, las llamadas a herramientas completadas, la evidencia visual acumulada y la incertidumbre restante.

El proceso de poda implica los siguientes pasos:

Replay y Comparación: Para cada segmento de razonamiento histórico candidato, el modelo se vuelve a ejecutar bajo dos contextos:
- Contexto Estudiante ( $\rho_{stu}$ ): El historial original sin el resumen.
- Contexto Profesor ( $\rho_{tea}$ ): El historial original aumentado con el resumen compacto del estado de la tarea ( $\sigma$ ).
- Nota: El "profesor" es el mismo modelo ( $\pi_\theta$ ) condicionado por el resumen, no un modelo externo.
Medición de Sensibilidad Residual: El sistema calcula una divergencia de Kullback–Leibler (KL) inversa entre las distribuciones de continuación a nivel de token de los contextos estudiante y profesor.
- KL Baja: Indica que el resumen cubre suficientemente la información en el segmento; el segmento es redundante.
- KL Alta: Indica que el segmento contiene información no capturada por el resumen (por ejemplo, coordenadas específicas, cadenas OCR o pasos de razonamiento únicos); el segmento es crítico.
Poda a Nivel de Segmento:
- Los segmentos con baja sensibilidad residual (baja KL) son eliminados.
- Los segmentos con alta sensibilidad residual son preservados. Crucialmente, estos no se mantienen como texto bruto, sino que se reconstruyen en evidencia visual concisa y estructurada (por ejemplo, "Recorte: (1400, 900)", "Texto: 'Stop'").
- Se utiliza un umbral basado en conteo ( $\kappa$ ) en lugar de una puntuación promedio para asegurar que tokens de evidencia escasos pero críticos (como una sola coordenada) eviten la poda de un segmento completo.

Mejora del Resumidor mediante SFT

Para permitir una poda más agresiva, los autores emplean Aprendizaje por Supervisión Fina (SFT) en el componente del resumidor. Al entrenar al agente para producir resúmenes de estado de tarea más compactos y comprensivos (destilando conocimiento de un modelo más grande), el sistema puede cubrir una fracción mayor del historial de razonamiento. Esto expande la región de "poda segura", permitiendo eliminar más texto redundante sin interrumpir las decisiones posteriores. Específicamente, los autores recolectaron 376 trayectorias on-policy de Qwen3-VL-8B en VTC-Bench y solicitaron a la versión más fuerte, Qwen3-235B, que produjera resúmenes de estado de tarea compactos. Luego, el Qwen3-VL-8B fue ajustado mediante SFT sobre los pares resultantes (contexto, resumen).

Contribuciones Clave

Marco SPARE: Un método novedoso de olvido selectivo que preserva la evidencia y utiliza la divergencia KL condicionada por el resumen para estimar la redundancia funcional del razonamiento previo. Poda segmentos cuya información ya está consolidada en un resumen del estado de la tarea.
Resumidor Mejorado por SFT: Una estrategia para ajustar finamente el resumidor, permitiendo resúmenes más compactos que facilitan una cobertura más amplia y una poda más agresiva mientras se retiene la información relevante para la tarea.
Validación Empírica: Demostraciones a través de múltiples backbones (Qwen3-VL, Llama-3.1-Nemotron) y benchmarks de uso de herramientas visuales (GTA, VTB, MNMS, etc.) que muestran que SPARE logra la mayor precisión promedio entre los métodos de poda mientras reduce significativamente la longitud del contexto.

Resultados Experimentales

Los autores evaluaron SPARE en cinco benchmarks que requieren razonamiento de múltiples pasos e invocación de herramientas: GTA, V*, BLINK-Jigsaw, VisualToolBench (VTB) y m&m's (MNMS).

Rendimiento vs. Poda: SPARE alcanzó consistentemente la mayor precisión promedio entre todos los métodos de poda.
- En Qwen3-VL-30B, SPARE mejoró la precisión promedio del 44.30% (Full Trace) al 49.19% mientras podaba el 63.70% de los tokens de razonamiento.
- En Qwen3-VL-8B, mantuvo un rendimiento comparable (53.47% vs. 54.27%) con un 37.89% de poda.
- En Llama-3.1-Nemotron-Nano-VL-8B, mejoró la precisión en benchmarks específicos (GTA, B-Jigsaw, VTB) y casi igualó la precisión de Full Trace con un 64.58% de poda.
Comparación con Baselines: SPARE superó a "Delete All Reasoning" (que elimina todo el texto) y a "Visual Evidence-Only" (que reescribe todo el texto de forma no selectiva). Esto confirma que la poda selectiva basada en la sensibilidad residual es superior a la compresión no selectiva.
Estudios de Ablación:
- Activación Adaptativa: Permitir que el modelo decida cuándo resumir (Model-selected) superó la sumarización a intervalos fijos o la sumarización previa a la respuesta.
- Necesidad de Componentes: La combinación de la selección basada en KL y la reconstrucción de evidencia produjo los mejores resultados; usar cualquiera de los componentes por separado resultó en una menor precisión o una insuficiencia de compresión.
- Impacto de SFT: El ajuste fino del resumidor resultó en un incremento relativo del 23.8% en los tokens podados en VTB y un 13.5% en MNMS en comparación con el resumidor base, mejorando también la precisión de la tarea en ambos benchmarks.

Significado y Reivindicaciones

El artículo afirma que reducir la "deuda textual" no es meramente una optimización computacional, sino un mecanismo de fundamentación (grounding). Al podar texto autogenerado obsoleto, SPARE restaura la dependencia del modelo en la evidencia visual y mitiga el exceso de condicionamiento en su propia historia lingüística.

Los autores posicionan a SPARE como una solución de tiempo de ejecución que no requiere modelos auxiliares ni datos de entrenamiento más allá de las propias trayectorias del agente. Argumentan que el olvido selectivo en el tiempo de inferencia es un mecanismo efectivo para el razonamiento multimodal de contexto largo, permitiendo que los agentes mantengan el progreso sin quedar enterrados en su propio texto acumulado. El código se pone a disposición para facilitar más investigación en esta dirección.