Resumen Técnico: ¿Cuántos Tokens Visuales Necesitan los Modelos de Lenguaje Multimodal? Escalado de la Poda de Tokens Visuales con F3A

1. Declaración del Problema

A medida que los Modelos Visuales-Lingüísticos (VLM) aumentan en tamaño y capacidad, dependen cada vez más de secuencias largas de tokens visuales para lograr una percepción detallada (por ejemplo, OCR, comprensión de gráficos, análisis de video). Sin embargo, estas secuencias extendidas imponen costos computacionales significativos, dominando el cálculo de prellenado, ampliando las cachés KV y aumentando la latencia de extremo a extremo.

La pregunta central abordada por este trabajo es: A medida que crecen los modelos multimodales, ¿cuántos tokens visuales son realmente necesarios y cómo deben asignarse bajo un presupuesto fijo de tokens visuales?

Los métodos existentes de poda sin entrenamiento (por ejemplo, FastV, VisionZip, DivPrune, CDPruner) suelen tratar la poda de tokens como un problema estático de clasificación o selección de subconjuntos basado en señales proxy de un solo disparo, como la atención del decodificador, la similitud visual o la diversidad condicional. Los autores argumentan que estos enfoques son incompletos, particularmente bajo una compresión agresiva. El valor de un token no es meramente una función de su saliencia o redundancia, sino que depende de su evidencia para la consulta actual. Los métodos estándar a menudo fallan al asignar tokens dinámicamente a través de una imagen basándose en la tarea específica, lo que conduce a un rendimiento subóptimo cuando los presupuestos de tokens son ajustos.

2. Metodología: Algoritmo de Forrajeo de Mosca de la Fruta (F3A)

El artículo propone F3A, un enrutador sin entrenamiento que reencuadra la poda de tokens visuales como una búsqueda de evidencia condicionada a la tarea. Inspirado en algoritmos de optimización de moscas de la fruta, F3A opera después de la torre de visión pero antes de que el modelo de lenguaje consuma los tokens de imagen. No requiere entrenamiento del modelo, pasadas forward adicionales del LLM ni cambios en la pipeline de decodificación.

El método consta de tres etapas secuenciales:

A. Construcción del Campo de Olor de la Tarea

F3A construye un mapa global de evidencia de bajo costo (el "campo de olor") sobre los tokens visuales.

• Señales de Olor: En lugar de la atención aprendida, F3A utiliza plantillas deterministas y la capa de tokenizador/incrustación congelada del MLLM base para generar consultas de evidencia ligeras. Estas incluyen una señal global (contexto completo de la pregunta), una señal objetivo (entidad consultada) y una señal de tarea (por ejemplo, OCR, conteo, relaciones espaciales).
• Detección Esparsa: Las señales se comparan con los tokens de la cuadrícula visual utilizando cabezas de detección esparsa congeladas (proyecciones aleatorias). Esto genera una puntuación de evidencia escalar ($a_i$) para cada token, representando evidencia relevante para el prompt sin requerir actualizaciones de gradiente.

B. Proceso de Forrajeo de Tres Etapas

F3A asigna un presupuesto fijo de tokens ($K$) a través de tres operadores:

1. Búsqueda Grosera (Exploración):
   La cuadrícula visual se divide en ventanas no superpuestas. Las ventanas se puntúan por su valor promedio de olor. Las mejores ventanas se seleccionan para formar un grupo candidato ($P_1$), y se mantiene un subconjunto "andamio" ($S_1$) para garantizar la cobertura espacial. Esto evita comprometerse demasiado pronto con tokens aislados de alta puntuación.

2. Bloqueo Visual (Explotación Local):
   Dentro del grupo grosero, F3A refina la selección para confirmar la evidencia local y suprimir la redundancia.

   • Apoyo Local: Los tokens se puntúan basándose en el apoyo del vecindario y el acuerdo con las señales de tarea.
   • Inhibición del Retorno: Se aplica una penalización por redundancia basada en la similitud visual y la proximidad espacial a los tokens ya seleccionados. Esto fomenta la selección de evidencia diversa y apoyada localmente en lugar de parches redundantes agrupados.

3. Salto de Rescate (Exploración/Recuperación):
   Para evitar perder objetos pequeños, texto periférico o evidencia contraria fuera de las ventanas seleccionadas, se reserva una fracción del presupuesto ($\alpha_{jump}$).

   • Incertidumbre/Cobertura: Los tokens se seleccionan basándose en alta incertidumbre (por ejemplo, márgenes pequeños entre puntuaciones de opciones en tareas de opción múltiple) o baja cobertura por el subconjunto actual.
   • Este paso asegura que las regiones subcobiertas se recuperen, evitando que el modelo colapse sobre áreas estrechas de alta puntuación.

C. Reconstrucción de la Secuencia

El conjunto final de tokens seleccionados reemplaza al bloque visual completo antes del prellenado del LLM. El prefijo de texto original, la plantilla de prompt y los pesos del modelo permanecen sin cambios. Para modelos conscientes de la cuadrícula, los índices de tokens se mapean de nuevo a las coordenadas de la cuadrícula original para preservar la información posicional.

3. Contribuciones Clave

• Reencuadre de la Poda: Los autores reencuadran la poda de tokens visuales sin entrenamiento como un problema de asignación de tokens a través de escalas en lugar de una simple compresión. Evalúan la demanda de tokens en modelos multimodales densos y MoE para determinar cuántos tokens son necesarios para preservar el comportamiento de tokens completos.
• Enrutador F3A: Introducen F3A, un enrutador de un solo paso y sin entrenamiento que realiza una búsqueda de evidencia condicionada a la tarea utilizando señales condicionadas a la pregunta, detección esparsa y un proceso de tres etapas inspirado en el forrajeo (búsqueda grosera, bloqueo, rescate).
• Evaluación a Gran Escala: El método se evalúa en modelos Qwen3-VL que van desde 2B hasta 235B parámetros (cubriendo tanto arquitecturas densas como MoE) en 11 puntos de referencia multimodales. También se prueba en los backbones Qwen2.5-VL e InternVL3.5 para demostrar la transferibilidad.

4. Resultados Experimentales

La evaluación cubre 10 modelos y 3 ratios de retención (60%, 40%, 20%).

• Retención del Rendimiento: En todas las escalas de modelos, F3A supera consistentemente a las líneas base (FastV, VisionZip, DivPrune, CDPruner).
  • Con una retención del 20% de tokens visuales, F3A retiene un 93.86% del rendimiento de tokens completos en promedio.
  • En el modelo más grande (Qwen3-VL-235B-A22B), F3A retiene el 93.86% del rendimiento incluso después de eliminar el 80% de los tokens visuales.
• Demanda de Tokens de Fidelidad Fija: Al apuntar al 97% del rendimiento de tokens completos, F3A requiere solo un 39.9% de tokens visuales en promedio, en comparación con el 50.1% de la línea base competidora más fuerte. En el modelo de 235B, F3A logra esto con un 41.2% de tokens.
• Comportamiento de Escalamiento: A diferencia de otros métodos, la ventaja de F3A persiste y a menudo crece a medida que escala el modelo. La ganancia promedio de precisión sobre la línea base más fuerte es positiva en todos los 18 ajustes de modelo-retención probados.
• Eficiencia: F3A mejora el compromiso precisión-latencia. En Qwen3-VL-8B con una retención del 20%, reduce la latencia de extremo a extremo de 354.7 ms a 274.3 ms y la huella de caché KV de 117.7 MB a 29.0 MB, manteniendo al mismo tiempo la mayor precisión entre los métodos podados.
• Significancia Estadística: Una prueba de signos emparejada en 30 ajustes de modelo-retención arroja un valor p de $1.9 \times 10^{-9}$, confirmando que F3A supera consistentemente a la línea base no F3A más fuerte.

5. Significado y Afirmaciones

El artículo afirma que la inferencia multimodal escalable depende no solo del tamaño del modelo, sino también de la asignación estructurada por búsqueda de evidencia visual relevante para la tarea.

• Condicionado a la Tarea vs. Estático: Los resultados sugieren que tratar la poda como un problema de clasificación estático es insuficiente para una compresión agresiva. El enfoque de "forrajeo", que localiza, refina y recupera dinámicamente la evidencia basándose en la consulta específica, es necesario para preservar la capacidad de los modelos más grandes bajo presupuestos de tokens ajustos.
• Perspectiva de Fidelidad Fija: El trabajo argumenta que la respuesta a "cuántos tokens se necesitan" no es un ratio de retención universal, sino un problema de asignación dependiente de la escala. F3A demuestra que la poda efectiva permite que los modelos más grandes realicen su capacidad total con significativamente menos tokens de lo que se pensaba posible anteriormente.
• Generalizabilidad: Se muestra que el método es robusto en diferentes familias de modelos (Qwen3, Qwen2.5, InternVL) y arquitecturas (Densa vs. MoE), lo que sugiere que el principio de búsqueda de evidencia condicionada a la tarea es una solución general para la poda de tokens multimodales.

Los autores concluyen que F3A ofrece un camino práctico para reducir los costos de inferencia de modelos multimodales sin sacrificar las capacidades de percepción detallada que impulsan su rendimiento.