Resumen Técnico: Compresión de Tokens Visuales Sensible a las Consecuencias

1. Planteamiento del Problema

Los Modelos de Lenguaje-Visión (VLMs) incurren en costos de inferencia significativos dominados por los tokens visuales. Los métodos existentes de compresión de tokens visuales (por ejemplo, FastV, SparseVLM) buscan maximizar la precisión promedio bajo un presupuesto de cómputo fijo mediante la poda de tokens basada en señales derivadas de la entrada, como la atención, la redundancia o la incertidumbre.

Sin embargo, estos métodos asumen implícitamente que todos los errores de predicción conllevan un costo igual. En aplicaciones reales de downstream (por ejemplo, análisis de documentos, imágenes médicas), las consecuencias de los errores son altamente asimétricas. Leer mal el monto de una factura o un identificador de transacción es mucho más costoso que clasificar erróneamente un color de fondo o un elemento decorativo. Las estrategias de asignación actuales no pueden explotar esta asimetría porque dependen únicamente de las propiedades del contenido visual, ignorando las señales observables en el tiempo de inferencia respecto a la consecuencia del error (por ejemplo, tipo de pregunta, identidad de la tarea).

El artículo plantea un nuevo problema de optimización: dado un presupuesto total de tokens visuales fijo y un conjunto de solicitudes con costos de error variables ($c_i$), ¿cómo debe asignarse el presupuesto entre las muestras para minimizar el Error Ponderado por Costo (CWE) en lugar de la precisión promedio?

2. Metodología

Los autores proponen un marco de Compresión de Tokens Visuales Sensible a las Consecuencias que sigue un procedimiento de calibración-luego-asignación.

2.1 Descripción General del Marco

El método opera en dos etapas:

1. Calibración Offline: Utilizando un conjunto de validación, el sistema estima curvas de error-presupuesto específicas por nivel ($e_t(b)$). Las muestras se agrupan en niveles (tiers) (por ejemplo, alta consecuencia frente a baja consecuencia) basados en señales observables (palabras clave en las preguntas o metadatos de la tarea). El sistema evalúa varias asignaciones de presupuesto para encontrar la política que minimice el objetivo ponderado por costo estimado.
2. Inferencia Online: Para cada solicitud entrante, el sistema asigna un nivel de consecuencia utilizando la señal observable (por ejemplo, una regla de palabra clave congelada o un ID de tarea). El presupuesto pre-calibrado para ese nivel se aplica a la entrada antes de la inferencia del VLM.

2.2 Formulación de Optimización

El objetivo es minimizar el error ponderado por costo $J$:
$$\min_{\{b_t\}} \sum_{t} n_t c_t e_t(b_t)$$
Sujeto a:
$$\sum_{t} n_t b_t \le B, \quad b_t \ge b_{min}$$
Donde $n_t$ es el número de muestras en el nivel $t$, $c_t$ es el peso de la consecuencia, y $e_t(b)$ es la tasa de error con un presupuesto $b$.

Debido a la naturaleza discreta de los presupuestos de tokens (una cuadrícula de 13 puntos) y las curvas de error no convexas, los autores emplean una búsqueda exhaustiva sobre pares de presupuesto factibles en lugar de depender de derivadas de Lagrange continuas.

2.3 Mecanismos de Realización del Presupuesto

El artículo evalúa dos mecanismos para realizar los presupuestos de tokens asignados:

• Eliminación Real de Tokens: Codificación a resolución completa, clasificación de tokens mediante un selector fijo (por ejemplo, redundancia), y eliminación estricta de los tokens no seleccionados preservando las coordenadas espaciales y los IDs de posición para mantener la integridad de la codificación posicional multimodal.
• Reasignación de Resolución: Redimensionamiento de la imagen de entrada para que el codificador emita naturalmente aproximadamente la cantidad de tokens objetivo. Este mecanismo no requiere código específico del modelo y se utiliza como el método principal de despliegue.

2.4 Protocolo de Evaluación

Para aislar el efecto de la información de la consecuencia de las señales basadas en el contenido, los autores introducen un benchmark dentro de la misma tarea (within-task benchmark). Las preguntas de alta y baja consecuencia se extraen de la misma distribución de imágenes de documentos densos (por ejemplo, DocVQA). Esto asegura que el contenido visual sea idéntico en todos los niveles, evitando que los asignadores impulsados por el contenido exploten las diferencias de sensibilidad visual.

3. Contribuciones Clave

1. Nueva Formulación: Introducción de la compresión de tokens visuales sensible a las consecuencias que asigna computación para minimizar el error ponderado por costo, utilizando señales de consecuencia observables en el tiempo de inferencia en lugar de solo el contenido de la entrada.
2. Evaluación Controlada: Diseño de un benchmark dentro de la misma tarea donde las preguntas de alta y baja consecuencia comparten distribuciones de imagen idénticas. Esto elimina los atajos basados en el contenido, demostrando que las ganancias se derivan únicamente de la conciencia de la consecuencia.
3. Caracterización de la Frontera de Asignación: Los autores derivan una frontera de asignación que muestra que:
   • Cuando los costos de error son simétricos ($r=1$), la asignación uniforme es óptima.
   • A medida que la asimetría de costo crece, la estrategia óptima desplaza los tokens hacia las muestras de alta consecuencia.
   • Existe un régimen de transición donde el beneficio de la transferencia de tokens aumenta con la brecha de costo.
4. Generalización e Invarianza: Se demuestra que el principio es ortogonal a los mecanismos de selección de tokens (redundancia, atención, saliencia) y es robusto a través de diferentes arquitecturas de VLM (Qwen2.5-VL, LLaVA-OneVision) y métodos de realización de presupuesto.

4. Resultados Experimentales

4.1 Atribución y Rendimiento Dentro de la Tarea

En el benchmark controlado dentro de la misma tarea (DocVQA):

• Los asignadores impulsados por el contenido (usando redundancia de características) no funcionaron mejor que la asignación uniforme porque las entradas visuales eran idénticas en todos los niveles.
• La asignación sensible a las consecuencias redujo los errores de alta importancia de 0.300 a 0.133 (una reducción de 2.25×) bajo el mismo presupuesto total de tokens.
• Esto se produjo a costa de una mayor precisión promedio no ponderada (0.488 vs. 0.337), confirmando que el método optimiza para el objetivo específico ponderado por costo.
• La estrategia de anti-asignación (dar más tokens a las preguntas de baja consecuencia) aumentó significamente el CWE, validando la direccionalidad del enfoque.

4.2 La Frontera de Asignación

El análisis de las curvas de error-presupuesto reveló que las preguntas de alta y baja consecuencia tienen una sensibilidad de tokens estadísticamente indistinguible (pendientes de 0.00173 vs. 0.00171). La mejora se debe puramente al peso del costo.

• Ratios de Punto de Equilibrio: La asignación óptima cambia de uniforme a sesgada por consecuencia a medida que el ratio de consecuencia ($r$) aumenta. Para DocVQA, la transición ocurre en $r \approx 2.8$.
• Generalización: El método se generaliza a ChartQA e InfographicVQA. En InfographicVQA, el método redujo el CWE incluso cuando el ratio de costo era bajo ($r=0.7$), sugiriendo que las tareas de información más densa se benefician más de la asignación consciente de las consecuencias.

4.3 Invarianza y Mecanismo

• Mecanismo: Las ganancias persisten ya sea utilizando la eliminación real de tokens o la reasignación de resolución. La reasignación de resolución (que se alinea con el entrenamiento de Qwen2.5-VL) logró un rendimiento absoluto incluso mejor manteniendo la ganancia relativa de la asignación consciente de las consecuencias.
• Modelo: El principio se mantiene para LLaVA-OneVision, a pesar de las diferencias arquitectónicas.
• Selectores: La estrategia de asignación es ortogonal al selector de tokens. Mejora el rendimiento independientemente de si los tokens se seleccionan mediante redundancia, aleatoriedad, saliencia, FastV, SparseVLM o VisionZip.

4.4 Carga de Trabajo Mixta y Eficiencia

En una carga de trabajo mixta realista (DocVQA, TextVQA, VQAv2):

• La asignación sensible a las consecuencias redujo el error ponderado por costo en un 38% en comparación con la asignación uniforme.
• Comparado con la inferencia a resolución completa, la asignación de dos niveles desplegada (usando la reasignación de resolución) logró aproximadamente un 21% menos de latencia mientras reducía el CWE.

5. Significado y Afirmaciones

El artículo afirma que la compresión de tokens visuales debe evaluarse no solo por cuánta precisión promedio se preserva, sino por qué errores se previenen.

• Ortogonalidad: La asignación sensible a las consecuencias es un eje ortogonal a la poda impulsada por el contenido existente. No reemplaza los métodos de selección de tokens, sino que los complementa determinando cuántos tokens asignar a una muestra basándose en su riesgo posterior.
• Practicidad: El marco es ligero y orientado al despliegue. Requiere solo señales observables en el tiempo de inferencia (ID de tarea o palabras clave de la pregunta) y calibración offline, evitando la optimización compleja en línea o el aprendizaje por refuerzo.
• Perspectiva Fundamental: Este trabajo establece que, cuando los costos de error son asimétricos, la estrategia óptima de asignación de recursos cambia fundamentalmente de preservar el rendimiento promedio a priorizar las muestras de alto riesgo, incluso cuando estas son visualmente indistinguibles de las de bajo riesgo.

Los autores concluyen que, en escenarios donde las decisiones posteriores conllevan riesgos desiguales, la asignación sensible a las consecuencias proporciona un método principista y efectivo para optimizar la eficiencia de los VLMs sin sacrificar la precisión crítica.