Resumen Técnico: Compresión de Texto Visual como Transporte de Medida

Enunciado del Problema

La Compresión de Texto Visual (VTC) ha surgido como una estrategia para el procesamiento de contextos largos mediante la representación de texto en imágenes y su recodificación a través de Modelos Visuales-Lingüísticos (VLM). Este enfoque a menudo logra una compresión significativa de tokens (3–20 veces menos tokens que la tokenización por subpalabras). Sin embargo, los resultados empíricos muestran que el ahorro de tokens no predice la utilidad posterior. En algunas tareas (por ejemplo, preguntas de respuesta de varios saltos), el camino visual supera a los Modelos de Lenguaje Grandes (LLM) que solo usan texto, mientras que en otras (por ejemplo, razonamiento lógico, preguntas de tipo cloze), el rendimiento colapsa. Las pruebas de referencia existentes documentan estas inestabilidades pero carecen de una medida principista para predecir cuándo la codificación visual preserva la información relevante para la tarea y cuándo la descarta. El problema central es que la relación de compresión es meramente una estadística de eficiencia, no un predictor de pérdida de información.

Metodología

Los autores formulan la VTC dentro del lenguaje del transporte de medida. Tratan los tokens de texto y los tokens visuales como medidas de probabilidad empíricas. La tubería de renderizado y codificación se modela como un mapa de empuje hacia adelante ($T\#$) inducido por el codificador de parches del Transformador Visual (ViT). Este mapa transforma unidades textuales localizadas en soportes de tokens visuales más gruesos, alterando la geometría en la que ocurre el razonamiento posterior.

1. Descomposición del Costo de Transporte

El artículo argumenta que el mapa de empuje hacia adelante induce una pérdida de información relevante para la tarea que se descompone en dos costos distintos:

• Costo de Precisión ($\Delta_{intra}$): Surge de la agregación dentro del parche. El ViT fusiona distinciones léxicas finas (por ejemplo, "2023" vs. "2024") en una única incrustación de parche, perjudicando las tareas que requieren fidelidad léxica exacta.
• Costo de Cobertura ($\Delta_{inter}$): Surge de la fragmentación entre parches. La evidencia distribuida a través de diferentes parches o páginas debe recomponerse mediante atención espacial 2D en lugar de la estructura posicional nativa 1D del texto, debilitando la integración de evidencia a larga distancia.

2. Proxy Libre de Etiquetas Posteriores ($C(x)$)

Para operacionalizar esta teoría sin requerir etiquetas posteriores durante la inferencia, los autores derivan una función de costo proxy $C(x)$:
$$C(x) = \alpha \cdot W(x) + \beta \cdot L(x) \cdot (1 - TRR(x))$$

• $W(x)$ (Característica de Precisión): Mide la sensibilidad a distinciones a nivel de token basadas en el formato de respuesta de la tarea (por ejemplo, extractiva vs. clasificación). Se estima a partir de especificaciones de la tarea, no de etiquetas de datos.
• $L(x)$ (Característica de Cobertura): Mide la dispersión de la evidencia relevante para la tarea a través de la entrada, estimada mediante puntuaciones de relevancia BM25 entre preguntas y segmentos de texto.
• $TRR(x)$ (Tasa de Redundancia de Texto): Estimada mediante la relación de compresión gzip para descontar información redundante que amortigua la pérdida por fragmentación.
• $\alpha, \beta$: Escalares específicos del modelo estimados mediante sondas sintéticas libres de etiquetas posteriores.

3. Eficiencia de Transporte (TE) y Enrutamiento

Los autores definen una puntuación de Eficiencia de Transporte (TE) para equilibrar la supervivencia de la información frente a los beneficios de la compresión:
$$TE(x) = ISR(x) \cdot VCR(x) = (1 + \gamma - C(x)) \cdot VCR(x)$$

• $VCR(x)$: Relación de Compresión Visual (tokens de texto / tokens visuales).
• $\gamma$: Un bono por formato estructurado para entradas donde el renderizado preserva la disposición 2D (por ejemplo, tablas) que las secuencias planas de tokens no pueden expresar.
• Regla de Enrutamiento: Seleccionar el camino visual si $TE(x) \ge \tau$ (donde $\tau$ es un umbral fijo), de lo contrario usar el camino de texto. Esta decisión se toma sin consultar etiquetas posteriores.

4. Foveación Informada por Transporte

Para las entradas enrutadas al camino visual, el marco aplica foveación para reparar localmente regiones de alto costo. Calcula un costo a nivel de parche $C_q$ y vuelve a codificar selectivamente parches de alto costo a una resolución más alta. Esto actúa como un inverso localizado del mapa de empuje hacia adelante, activado solo cuando la información recuperada supera la sobrecarga de tokens.

Contribuciones Clave

1. Análisis de Inestabilidad Dependiente de la Tarea: Demostró que el rendimiento de la VTC es altamente no uniforme en las pruebas de referencia de PLN y que la relación de compresión por sí sola no puede predecir la utilidad.
2. Formulación de Transporte de Medida: Replanteó la codificación visual basada en ViT como un mapa de empuje hacia adelante, derivando un costo de transporte descompuesto (precisión y cobertura) que explica las inestabilidades observadas.
3. Enrutamiento y Foveación Libres de Etiquetas: Desarrolló un criterio de decisión completamente libre de etiquetas posteriores ($TE(x)$) y un mecanismo de refinamiento a nivel de parche (foveación) derivados del mismo modelo de costos.
4. Validación Empírica: Validó el marco en 24 conjuntos de datos de PLN utilizando la base Qwen3-4B, mostrando que la regla libre de etiquetas coincide con el oráculo por conjunto de datos en el 70.8% de los conjuntos de datos y mejora la puntuación promedio macro sobre una línea base de LLM puro mientras reduce el uso de tokens.

Resultados

Evaluado en 24 pruebas de referencia de PLN (que abarcan comprensión, razonamiento y generación) utilizando Qwen3-4B:

• Rendimiento de Enrutamiento: La regla de enrutamiento libre de etiquetas seleccionó correctamente la ruta óptima (texto vs. visual) para 17 de 24 conjuntos de datos (70.8%), igualando el rendimiento de un oráculo supervisado que conoce la verdad fundamental.
• Ganancias de Rendimiento: La estrategia enrutada logró un aumento de +1.5 puntos en la puntuación promedio macro (+3.3% relativo) en comparación con una línea base de LLM puro.
• Eficiencia: La estrategia enrutada utilizó 10.3% menos tokens de entrada promedio que la línea base de LLM puro.
• Foveación: La foveación localizada mejoró la puntuación del camino visual en +0.4 puntos en promedio, con ganancias concentradas en tareas donde regiones específicas de alto costo portaban evidencia crítica (por ejemplo, preguntas de respuesta de varios saltos).
• Cross-Escala y Cross-Arquitectura: Los patrones cualitativos se mantuvieron en escalas de 4B, 8B y 32B. La validación cross-arquitectura con InternVL3.5 confirmó que la brecha dependiente de la tarea entre visual y texto es una propiedad estructural del proceso de transporte, no un artefacto de una familia de modelos específica.

Significado y Afirmaciones

El artículo afirma que las contradicciones en el rendimiento de la VTC surgen del costo de transporte no uniforme y no de la relación de compresión por sí sola. Al modelar el codificador visual como un mapa de empuje hacia adelante, los autores proporcionan una cuenta estructural de la pérdida de información que es:

• Explicativa: Descompone los modos de fallo en costos de precisión (dentro del parche) y de cobertura (entre parches).
• Operacional: Produce una regla de enrutamiento práctica y libre de etiquetas y un mecanismo de refinamiento (foveación) que comparten los mismos parámetros de costos subyacentes.
• Diagnóstica: Identifica cuándo la compresión visual es confiable y cuándo debe evitarse o repararse.

Los autores declaran explícitamente que no afirman resultados de última generación en pruebas de referencia individuales ni una solución universal para todos los escenarios de VTC. En cambio, la contribución es un marco de diagnóstico basado en transporte que desplaza el enfoque de "cuántos tokens se ahorran" a "qué información relevante para la tarea se pierde", ofreciendo un punto de partida principista para futuras investigaciones en compresión de texto visual. El marco se presenta como una herramienta para diagnosticar y gestionar las compensaciones de la VTC, en lugar de un reemplazo de todo el procesamiento basado en texto.