Resumen Técnico: Reducción de Tokens Corregida por el Prior para MLLMs

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) convierten imágenes en secuencias largas de tokens visuales, lo que genera costos de inferencia significativos, particularmente para imágenes y videos de alta resolución. Aunque los métodos existentes sin entrenamiento aceleran la inferencia mediante la poda de tokens visuales redundantes basados en puntuaciones de atención texto-visual, este artículo identifica una falla crítica en su supuesto subyacente: que la magnitud de la atención refleja de manera confiable la relevancia semántica condicionada por la instrucción.

Los autores demuestran que los MLLMs exhiben un fuerte prior inducido por el modelo. Incluso en ausencia de instrucciones textuales, los modelos tienden a asignar una alta atención a ciertas regiones visualmente salientes pero ajenas a la tarea (por ejemplo, fondos de alto contraste o áreas con textura). Cuando la poda depende de las puntuaciones de atención absoluta, este prior domina la clasificación. En consecuencia, los tokens que contienen evidencia crucial específica de la instrucción pueden ser suprimidos y descartados, mientras que se retienen tokens de fondo irrelevantes. Este problema es particularmente grave bajo presupuestos de tokens agresivos, donde las selecciones incorrectas pueden eliminar irreversiblemente la evidencia visual necesaria para un razonamiento correcto.

Metodología: PriorTR

Para abordar esto, los autores proponen PriorTR (Reducción de Tokens Corregida por el Prior), un método sin entrenamiento que separa explícitamente la atención condicionada por la tarea del prior inducido por el modelo.

Concepto Central: Información V-Utilizable

PriorTR reformula la selección de tokens como un problema de identificar tokens que contribuyen con información adicional utilizable más allá del sesgo intrínseco del modelo. Descompone la distribución de atención posterior observada $P_\theta(v | X)$ (condicionada a la instrucción $X$) en dos componentes:

1. Prior Inducido por el Modelo ($Q_\theta(v)$): La distribución de atención cuando no hay una instrucción presente (o se utiliza una instrucción nula).
2. Elevación Semántica ($L(v, X)$): El incremento multiplicativo de importancia inducido específicamente por la instrucción.

El método califica los tokens basándose en la Información V-Puntual (PVI), definida como:
$$\text{PVI}(v) = \log \frac{P_\theta(v | X)}{Q_\theta(v)}$$
Para asegurar que no se seleccionen tokens con probabilidad insignificante, la puntuación de importancia final ($S_{\text{PriorTR}}$) combina la masa posterior con el logaritmo de la razón:
$$S_{\text{PriorTR}}(v_i) = P_\theta(v_i | X) \cdot \log \left( \frac{P_\theta(v_i | X)}{Q_\theta(v_i)} \right)$$
Los tokens se clasifican mediante esta puntuación y se retienen los top-$K$.

Implementación Eficiente de Paso Único

Una innovación clave de PriorTR es su capacidad para estimar tanto el prior como el posterior dentro de un único paso hacia adelante (forward pass), evitando la sobrecarga computacional de ejecutar el modelo dos veces.

• Token Nulo como Sonda: El método explota la estructura de atención causal de los decodificadores autorregresivos. Un "token nulo" (por ejemplo, un separador como \n) se coloca inmediatamente después de los tokens visuales pero antes de los tokens de la instrucción.
• Enmascaramiento Causal: Debido a la máscara causal, el token nulo no puede atender a los tokens de la instrucción subsiguientes. Por lo tanto, su distribución de atención sobre la secuencia visual representa naturalmente el prior ajeno a la instrucción ($Q_\theta$).
• Extracción Simultánea: En el mismo bloque de atención, la atención de los tokens de la instrucción real hacia la secuencia visual proporciona el posterior condicionado por la tarea ($P_\theta$).
• Poda Física: A diferencia de los métodos que simplemente enmascaran tokens, PriorTR elimina físicamente los estados ocultos y las entradas del KV-cache no seleccionados. Esto asegura que las capas subsiguentes operen sobre una secuencia verdaderamente acortada, logrando reducciones reales en memoria y computación.

Contribuciones Clave

1. Identificación del Prior Inducido por el Modelo: Los autores formalizan la observación de que la poda basada en la atención suele estar dominada por patrones de saliencia ajenos a la instrucción, lo que conduce a la supresión de tokens relevantes para la tarea bajo presupuestos estrictos.
2. Algoritmo PriorTR: Un método de reducción de tokens sin entrenamiento que clasifica los tokens visuales basándose en la "información V-utilizable" (la elevación semántica sobre el prior) en lugar de la magnitud bruta de la atención.
3. Diseño de Paso Único Eficiente: Una implementación que estima el prior utilizando una sonda de token nulo dentro de un solo paso hacia adelante, permitiendo la poda física y una aceleración real de la inferencia sin duplicar la propagación.
4. Validación Empírica: Experimentos extensos que demuestran que PriorTR mejora consistentemente la relación precisión-eficiencia en múltiples MLLMs (LLaVA-1.5, Qwen3-VL) y tareas de comprensión de imágenes y video.

Resultados Experimentales

El artículo evalúa PriorTR en 12 benchmarks multimodales (incluyendo tareas de GQA, MME, MMB, POPE y QA de video) utilizando LLaVA-1.5-7B, LLaVA-1.5-13B y Qwen3-VL-8B.

• Precisión vs. Eficiencia: PriorTR supera consistentemente a los fuertes baselines sin entrenamiento (FastV, PDrop, SparseVLM, VisPruner, PruMerge).
  • En LLaVA-1.5-7B con 64 tokens retenidos (88.9% de reducción), PriorTR logra una precisión promedio del 94.5%, significativamente superior al 70.7% de FastV y al 91.7% de VisPruner.
  • En Qwen3-VL-8B con una ratio de tokens del 11.1%, PriorTR alcanza un rendimiento relativo del 87.8%, superando el 75.5% del baseline FastV.
• Comprensión de Video: En Video-LLaVA, PriorTR combinado con la fusión de tokens (token merging) alcanza una precisión cercana al baseline (38.7% vs. 38.7% sin comprimir) bajo evaluación de GPT y supera al baseline bajo la evaluación de Gemini, superando a SparseVLM.
• Ganancias de Eficiencia: PriorTR logra aceleraciones sustanciales (hasta 2.21× en LLaVA-1.5-7B) y reduce el uso de memoria del KV cache proporcionalmente a la reducción de tokens, confirmando que la poda física disminuye efectivamente la carga computacional.
• Estudios de Ablación: Las comparaciones de funciones de puntuación muestran que la formulación propuesta $P \cdot \log(P/Q)$ supera a alternativas como la diferencia simple ($P-Q$), el logaritmo de la razón ($\log(P/Q)$) o el posterior bruto ($P$), validando la necesidad de considerar conjuntamente la magnitud de la relevancia y la elevación relativa.

Significado

El artículo afirma que PriorTR ofrece una dirección encaminada hacia la eficiencia en la inferencia multimodal al desacoplar la saliencia intrínseca de la relevancia impulsada por la tarea. Al corregir el prior inducido por el modelo, el método asegura que la selección de tokens sea impulsada por la semántica condicionada por la instrucción en lugar de la dominancia visual. Este enfoque proporciona una solución robusta, lista para usar (plug-and-play), que mantiene una alta precisión incluso bajo una compresión de tokens agresiva, abordando una limitación fundamental en las estrategias actuales de poda basadas en la atención. Los autores enfatizan que su método es ortogonal a los enfoques existentes y puede integrarse perfectamente con ellos.