Resumen Técnico: OccamToken

Enunciado del Problema

Los Modelos Visión-Lenguaje (VLM) dependen de secuencias largas de tokens visuales para codificar imágenes, lo que genera una sobrecarga computacional y de memoria significativa durante la etapa de prellenado y la decodificación autoregresiva. Los métodos existentes de compresión de tokens visuales siguen predominantemente un paradigma de clasificación absoluta: asignan puntuaciones de importancia a los tokens y retienen un subconjunto fijo de los mejores $K$. Los autores argumentan que este paradigma es fundamentalmente frágil por dos razones:

1. Hundimientos de Atención (Attention Sinks): Los tokens de baja información (a menudo valores atípicos con normas altas) pueden absorber una masa de atención excesiva, distorsionando la clasificación de importancia de los tokens genuinamente informativos y comprimiendo la distribución de puntuaciones.
2. Incompatibilidad del Presupuesto Estático: Un corte fijo de los mejores $K$ no puede adaptarse a la variación por muestra en las distribuciones de puntuaciones de atención. No tiene en cuenta la redundancia de la imagen ni las demandas de evidencia dependientes de la consulta, a menudo reteniendo tokens redundantes en casos simples mientras descarta evidencia crítica en casos complejos.

Además, los métodos adaptativos existentes a menudo requieren entrenamiento adicional o dependen de estadísticas sin entrenamiento que responden débilmente y no capturan completamente las necesidades de evidencia condicionadas por la consulta.

Metodología: OccamToken

Los autores proponen OccamToken, un marco sin entrenamiento y adaptativo al presupuesto que reemplaza la clasificación absoluta de tokens con una prueba de evidencia relativa anclada a registros. La idea central es que los tokens de registro (introducidos en estudios recientes de transformadores para absorber hundimientos de atención) absorben naturalmente patrones de atención de baja información, convirtiéndolos en una referencia estable y no discriminatoria para identificar evidencia visual genuinamente informativa.

El marco opera en dos etapas:

1. Mecanismo Central: Comparación Relativa

En lugar de preguntar "¿Este token está entre los mejores $K$?", OccamToken pregunta "¿Proporciona este token evidencia más fuerte que el token de registro?".
La regla de poda se define como:
$$S(x) = \{v \in V(x) \mid s_x(v) \ge \lambda \cdot s_x(r(x))\}$$
Donde $r(x)$ es un token de referencia dependiente de la muestra (el registro), $s_x$ es la función de puntuación y $\lambda$ controla la intensidad de la poda. Esto permite que el presupuesto de tokens retenidos varíe dinámicamente según la distribución de puntuaciones de la entrada.

2. Pipeline de Poda en Dos Etapas

• Etapa I: Poda de Redundancia Adaptativa a la Imagen (AdapRP)

  • Ubicación: Salida del Codificador de Visión.
  • Mecanismo: Se construye un token de registro en tiempo de prueba redirigiendo activaciones de "hundimiento" de alta norma desde neuronas dispersas a un token de registro dedicado. El token [CLS] (o un esquema de puntuación mutua para arquitecturas sin [CLS]) puntuará conjuntamente todos los tokens visuales y el token de registro.
  • Acción: Se podan los tokens que obtienen una puntuación inferior a $\lambda_1 \cdot s_1(r)$. Esto elimina la redundancia a nivel de imagen antes de que los tokens entren en el Modelo de Lenguaje Grande (LLM), creando un presupuesto intermedio adaptativo a la imagen.

• Etapa II: Poda de Relevancia Anclada al Registro (RegRP)

  • Ubicación: Dentro del Modelo de Lenguaje (en una capa específica del decodificador, por ejemplo, capa 11).
  • Mecanismo: Los tokens de texto actúan como evaluadores condicionados por la consulta. Para cada token visual superviviente, se utiliza la máxima atención recibida de los tokens de texto como su puntuación (para capturar la relevancia localizada). La media de la atención recibida por el token de registro desde el texto sirve como umbral dinámico.
  • Acción: Se eliminan los tokens que obtienen una puntuación inferior a $\lambda_2 \cdot s_2(r)$. Esto produce un presupuesto final adaptativo a la consulta, donde la misma imagen puede generar diferentes conteos de tokens dependiendo de la pregunta específica formulada.

Contribuciones Clave

1. Umbralización Dinámica Anclada al Registro: Un mecanismo sin entrenamiento que vincula la mitigación de hundimientos de atención con la poda adaptativa. Al insertar un token de registro en la competencia de atención, absorbe la distorsión inducida por los hundimientos y sirve como umbral adaptativo a la distribución.
2. Marco OccamToken: Un sistema de poda de dos etapas, plug-and-play, que realiza la eliminación de redundancia a nivel de imagen seguida de la selección de relevancia a nivel de consulta, permitiendo una asignación adaptativa de tokens sin predictores aprendidos ni datos de entrenamiento adicionales.
3. Validación Empírica: Experimentos extensos demuestran que OccamToken supera a las líneas base de vanguardia sin entrenamiento y con entrenamiento en diversas arquitecturas (LLaVA-v1.5, LLaVA-NeXT, Qwen3-VL) y puntos de referencia (GQA, POPE, MME, etc.).

Resultados Experimentales

• Compromiso Precisión-Eficiencia: OccamToken mejora consistentemente el compromiso en comparación con métodos de presupuesto fijo y otros métodos adaptativos.
• Compresión Extrema: En LLaVA-NeXT (procesando 2.880 tokens visuales), OccamToken reduce el conteo de tokens a aproximadamente 40 tokens (un régimen de retención del 1,4%) mientras preserva más del 93% de la precisión original de tokens completos.
• Robustez: El método mantiene una alta precisión relativa (por ejemplo, 97,2% en LLaVA-v1.5 con 32 tokens) y supera significativamente a las líneas base de presupuesto fijo en regímenes de bajo presupuesto donde preservar la evidencia relevante para la tarea es crítico.
• Eficiencia: Al reducir la longitud de la secuencia visual, OccamToken disminuye significativamente el uso de memoria de la caché KV (por ejemplo, reduciendo de 313 MB a 47 MB en LLaVA-v1.5) y la latencia de prellenado, aunque introduce una sobrecarga menor para la lógica de puntuación adaptativa.
• Generalización: El método se transfiere eficazmente a arquitecturas no LLaVA (por ejemplo, Qwen3-VL, Mini-Gemini) y VLMs de video, demostrando que el principio anclado al registro no está vinculado a interfaces de tokens específicas.

Significado y Afirmaciones

El artículo afirma que la poda adaptativa basada en referencias es una dirección simple pero efectiva para la inferencia multimodal escalable. Al cambiar de la clasificación absoluta a la comparación relativa contra un ancla de registro, OccamToken aborda las deficiencias estructurales de los hundimientos de atención y los presupuestos estáticos sin requerir reentrenamiento del modelo. Los autores destacan que este enfoque permite una compresión estable de tokens visuales incluso en regímenes extremos (retención del 1,4%) mientras preserva la evidencia requerida para el razonamiento multimodal.

El trabajo posiciona a OccamToken no meramente como una herramienta de reducción de latencia, sino como una solución práctica para equilibrar precisión y eficiencia, particularmente en escenarios de implementación con recursos limitados donde preservar la evidencia visual crítica es primordial. Los autores reconocen limitaciones relacionadas con la dependencia de la construcción de tokens de registro confiables en tiempo de prueba para backbones específicos basados en transformadores, sugiriendo que trabajos futuros podrían extender esto a arquitecturas multimodales más amplias.