Resumen Técnico: Sobre los límites de la reducción de tokens para el entrenamiento unificado eficiente de modelos de visión y lenguaje

1. Planteamiento del problema

Los Modelos de Visión-Lenguaje (VLM) unificados integran la comprensión visual y la generación visual dentro de un único esqueleto autorregresivo, ofreciendo una escalabilidad y un potencial entre tareas significativos. Sin embargo, su entrenamiento conjunto es computacionalmente prohibitivo (por ejemplo, VILA-U requiere aproximadamente 20,000 horas de GPU A100). Aunque investigaciones previas han logrado reducir la computación en tiempo de inferencia para VLMs de solo comprensión mediante la poda de tokens o el enmascaramiento de atención, estas estrategias no se traducen directamente a la eficiencia en el tiempo de entrenamiento. Además, las técnicas de aceleración existentes para la comprensión visual no tienen en cuenta los requisitos estructurales distintos de la generación visual, ni abordan las complejidades de unificar objetivos discriminativos y generativos. Este artículo investiga la viabilidad y los límites de la aceleración basada en la reducción de tokens para el entrenamiento de VLMs unificados.

2. Metodología y análisis

2.1. Análisis de redundancia

Los autores llevan a cabo un análisis sistemático de la asignación de atención por capas en VLMs unificados preentrenados (específicamente VILA-U). Miden la distribución de la masa de atención a través de segmentos de tokens (sistema, imagen, instrucción, salida) para identificar patrones de redundancia específicos de cada tarea.

Hallazgo clave: Asimetría fundamental
El análisis revela una asría crítica en la utilización de tokens:

• Comprensión visual: Exhibe una redundancia visual sustancial en las capas tardías. La atención a los tokens de imagen es fuerte en las capas iniciales (para el anclaje o grounding), pero cae drásticamente en las capas medias y tardías, donde la atención pasa a estar dominada por los tokens textuales.
• Generación visual: Mantiene una dependencia persistente de los tokens de imagen a través de todas las profundidades. Los tokens de imagen (tanto de entrada como los generados autorregresivamente) reciben una atención constante, con una asignación que a menudo aumenta en las capas más profundas para asegurar la consistencia de la predicción de tokens.

2.2. Aceleradores específicos de la tarea

Guiados por la asimetría, los autores diseñan estrategias de aceleración separadas para tareas aisladas:

• Para la comprensión visual (HiMix):

  • Mecanismo: Elimina los tokens de imagen de las proyecciones de consulta (query) mientras los retiene en las proyecciones de clave (key) y valor (value).
  • Efecto: Elimina la atención imagen-a-imagen cuadrática ($O(M^2)$) preservando las interacciones texto-imagen.
  • Resultado: Logra una reducción del 76% en los FLOPs (0.24× respecto al baseline) con solo una degradación moderada del rendimiento en benchmarks de comprensión (p. ej., GQA, POPE).

• Para la generación visual (HMGen):

  • Mecanismo: Introduce una mezcla jerárquica de capas. En capas designadas como "superficiales" (en medio de la red), se omiten la atención a los tokens de imagen y las actualizaciones de feed-forward; los estados ocultos de la imagen se transmiten directamente. En las capas "completas", se utilizan parámetros de proyección separados para los tokens de imagen y de texto para estabilizar el entrenamiento.
  • Restricción: Los tokens de imagen deben permanecer en el flujo de consulta para mantener la cadena de dependencia autorregresiva requerida para la inferencia.
  • Resultado: Reduce los FLOPs (a 0.75×–0.85×) mientras que, sorprendentemente, mejora la calidad generativa (puntuaciones MJHQ-30K) en comparación con el baseline, debido al desacoplamiento de las proyecciones específicas de la imagen.

3. Resultados clave: Los límites de la eficiencia unificada

La contribución central del artículo radica en la evaluación de estos aceleradores específicos de tarea bajo un entrenamiento unificado (optimización conjunta de comprensión y generación).

3.1. Fenómeno de pérdida de sinergia

Cuando se combinan HiMix y HMGen para el entrenamiento unificado, ocurre una pérdida de sinergia constante:

• Colapso del rendimiento: La aplicación conjunta de la reducción de tokens específica de la tarea conduce a una severa degradación del rendimiento en ambas tareas. Por ejemplo, las puntuaciones de GQA caen de 56.00 (el baseline unificado) a 33.00, y las puntuaciones de MJHQ-30K empeoran.
• Transferencia negativa: El modelo unificado con aceleradores tiene un peor desempeño que los baselines de tarea única en algunas métricas, lo que indica que las ganancias de rendimiento mutuas observadas típicamente en la optimización conjunta se eliminan.

3.2. Impulsores estructurales

Los autores atribuyen este fallo a:

1. Trayectorias de parámetros divergentes: La reducción de tokens específica de la tarea obliga al modelo a utilizar diferentes conjuntos de parámetros relacionados con la imagen para cada objetivo, interrumpiendo el espacio latente compartido.
2. Dinámicas de optimización incompatibles: Los gradientes para la comprensión y la generación se computan bajo operadores de enmascaramiento incompatibles, fragmentando el proceso de optimización.

3.3. Intentos de mitigación

Los autores probaron una "Estrategia de Proyección de Imagen Separada", desacoplando los parámetros de proyección relacionados con la imagen ($W^Q_v, W^K_v, W^V_v$) para las dos tareas mientras se comparte el esqueleto (backbone). Esto restauró parcialmente el rendimiento (p. ej., GQA mejoró de 33.00 a 47.05), pero aún no logró alcanzar el rendimiento del baseline unificado sin aceleración, confirmando que la reducción agresiva de tokens interrumpe fundamentalmente la sinergia entre tareas.

4. Contribuciones y significancia

El artículo realiza las siguientes contribuciones:

1. Análisis de redundancia unificada: Caracteriza patrones de atención distintos en VLMs unificados, identificando que la comprensión visual tiene redundancia en las capas tardías, mientras que la generación visual tiene una dependencia constante en la profundidad.
2. Aceleradores específicos de la tarea: Demuestra que la reducción de tokens puede generar ganancias de eficiencia significativas para tareas aisladas (HiMix para comprensión, HMGen para generación).
3. Descubrimiento de la pérdida de sinergia: Revela que las estrategias de optimización específicas de la tarea fallan cuando se aplican en entornos unificados. El artículo argumenta que la reducción forzada de tokens interrumpe las mejoras mutuas de los objetivos discriminativos y generativos.
4. Lecciones para la aceleración unificada: Los hallazgos sugieren que el modelado unificado eficiente no puede depender simplemente de la agregación de estrategias de poda óptimas para cada tarea. En su lugar, la aceleración efectiva debe preservar las estructuras compartidas entre tareas y considerar cuidadosamente su impacto en las dinámicas de aprendizaje entre tareas.

Conclusión:
El artículo concluye que, si bien la reducción de tokens es efectiva para los VLMs de tarea única, enfrenta límites fundamentales en el entrenamiento unificado. La "pérdida de sinergia" observada indica que las vías computacionales que permiten la alineación de representaciones entre tareas son frágiles. La investigación futura sobre el modelado unificado eficiente debe priorizar la preservación de estas estructuras compartidas en lugar de maximizar la eficiencia de cada tarea de forma aislada.