🤖 machine learning

Fast-Slow Efficient Training for Multimodal Large Language Models via Visual Token Pruning

Este artículo propone DualSpeed, un marco de entrenamiento rápido-lento que combina la poda de tokens visuales para la eficiencia con un modo auxiliar de secuencia completa y autodestilación para resolver los desajustes entre el entrenamiento y la inferencia, acelerando así el entrenamiento de MLLM hasta 4.0 $\times$ sin comprometer el rendimiento.

Autores originales: Dingkun Zhang, Shuhan Qi, Yulin Wu, Xinyu Xiao, Xuan Wang, Long Chen

Publicado 2026-02-04

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Dingkun Zhang, Shuhan Qi, Yulin Wu, Xinyu Xiao, Xuan Wang, Long Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a un estudiante muy inteligente (un Modelo de Lenguaje de Gran Escala Multimodal) a entender el mundo mostrándole miles de imágenes.

El Problema: El cuello de botella de la "Información Excesiva"
En este momento, estos modelos son como estudiantes que se sienten abrumados. Cuando les muestras una imagen, la computadora la descompone en cientos o incluso miles de piezas diminutas llamadas "tokens visuales". Es como si le entregaras al estudiante un libro de 1,000 páginas por cada imagen, incluso cuando la mayoría de las páginas son solo espacios en blanco o patrones repetitivos.

Intentar leer todas esas páginas toma una eternidad. Esto hace que entrenar estos modelos sea increíblemente lento, costoso y hambriento de energía.

La Idea Antigua: El error de "Cortar y Pegar"
Los investigadores se dieron cuenta de que muchas de esas páginas son inútiles. Intentaron una técnica llamada Poda de Tokens Visuales (Visual Token Pruning), que es como usar un resaltador para tachar las páginas aburridas y redundantes antes de mostrárselas al estudiante. Esto funciona de maravilla para probar al estudiante más tarde (inferencia), haciéndolos más rápidos.

Pero cuando intentaron usar este método durante el entrenamiento, resultó contraproducente. Creó un "desajuste".

La Analogía: Imagina que solo entrenaste al estudiante con un resumen de 10 páginas de un libro. Luego, en el examen final, le entregas el libro completo de 1,000 páginas. El estudiante entraría en pánico y fallaría porque nunca aprendió a manejar la versión completa. Se acostumbró demasiado a la versión corta.

La Solución: DualSpeed (El campamento de entrenamiento "Rápido-Lento")
Los autores de este artículo, Dingkun Zhang y su equipo, crearon un nuevo marco de entrenamiento llamado DualSpeed. Piensa en esto como un campamento de entrenamiento de dos vías que cambia de una a otra aleatoriamente para resolver el problema del desajuste.

El Carril Rápido (La práctica veloz):
- La mayor parte del tiempo (aproximadamente el 90% de las sesiones), el modelo entrena en "Modo Rápido".
- Aquí, utilizan la técnica de "poda" para eliminar los tokens visuales inútiles. El modelo aprende rápidamente de los resúmenes cortos y eficientes.
- Para ayudar al modelo a recordar qué versión está viendo, añaden una pequeña "etiqueta de nombre" invisible (llamada Aislador de Modo o Mode Isolator) al comienzo del resumen corto. Esto le dice al modelo: "Oye, esta es la versión condensada; enfócate en los detalles clave".
El Carril Lento (La revisión del libro completo):
- Ocasionalmente (aproximadamente el 10% del tiempo), el modelo cambia al "Modo Lento".
- Aquí, le muestran al modelo la imagen completa, sin podar (todas las 1,000 páginas).
- Para asegurar que el modelo no se vuelva perezoso durante estas sesiones raras, utilizan un truco llamado Autodestilación (Self-Distillation). El "Modo Rápido" (que ya ha aprendido mucho) actúa como un maestro, susurrándole las respuestas al estudiante del "Modo Lento". Esto asegura que el estudiante aprenda la versión completa de manera efectiva, aunque la vea con menos frecuencia.

El Resultado: Lo mejor de ambos mundos
Al mezclar estos dos modos, el modelo obtiene la velocidad del Carril Rápido pero conserva la capacidad de manejar el mundo completo y complejo del Carril Lento.

Velocidad: Entrenaron modelos de 2.1 a 4.0 veces más rápido que antes.
Desempeño: A pesar de la velocidad, los modelos no se volvieron más tontos. Mantuvieron más del 99% de su desempeño original.
Flexibilidad: El modelo final es lo suficientemente inteligente como para manejar tanto los resúmenes cortos (si quieres velocidad después) como las imágenes completas (si quieres la máxima precisión).

En Resumen
El artículo afirma que, al usar un sistema de cambio "Rápido-Lento", pueden enseñar a estos enormes modelos de IA mucho más rápido sin hacer que olviden cómo leer los libros completos. Descubrieron que aproximadamente el 90% de los tokens visuales son en realidad redundantes durante el entrenamiento, y que al eliminarlos inteligentemente (mientras practican ocasionalmente con la versión completa), pueden ahorrar una cantidad masiva de tiempo y dinero sin perder inteligencia.

Resumen Técnico: DualSpeed para el Entrenamiento Eficiente de MLLM

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) enfrentan un cuello de botella crítico en la eficiencia del entrenamiento debido a sus masivos tamaños de modelo y al enorme volumen de tokens visuales generados a partir de entradas de alta resolución. Mientras que los métodos de entrenamiento eficiente existentes se centran en reducir los parámetros del modelo o los parámetros entrenables, a menudo pasan por alto el potencial de reducir el número de tokens de entrenamiento.

El Poda de Tokens Visuales (VTP, por sus siglas en inglés) ha demostrado ser efectivo para mejorar la eficiencia de la inferencia al descartar tokens visuales redundantes (por ejemplo, el fondo o texturas repetitivas). Sin embargo, aplicar directamente VTP durante la fase de entrenamiento introduce un severo desajuste entre entrenamiento e inferencia (training-inference mismatch). Los modelos entrenados con secuencias podadas luchan por desempeñarse eficazmente cuando realizan la inferencia sobre secuencias visuales completas y no podadas. Este desfase surge de las discrepancias en la longitud de la secuencia, la densidad de información y la estructura espacial entre las distribuciones de datos de entrenamiento e inferencia. En consecuencia, simplemente podar los tokens durante el entrenamiento conduce a una degradación significativa del rendimiento en escenarios de inferencia estándar.

2. Metodología: DualSpeed

Para abordar el desajuste entre entrenamiento e inferencia mientras se aprovecha la eficiencia de VTP, los autores proponen DualSpeed, un marco de trabajo rápido-lento (fast-slow framework) para el entrenamiento de MLLM. El marco opera cambiando aleatoriamente entre dos modos distintos durante el proceso de entrenamiento:

A. Modo Rápido (Modo de Eficiencia Primaria)

Objetivo: Maximizar la velocidad de entrenamiento reduciendo los tokens visuales.
Mecanismo: Este modo incorpora los métodos de VTP existentes como complementos (plugins) para podar la secuencia de tokens visuales.
Aislador de Modo (Mode Isolator): Para asegurar que el modelo pueda distinguir entre entradas podadas y completas, se concatena un Aislador de Modo aprendible (un prompt suave de longitud $l$ ) como prefijo a la secuencia visual podada. Esto indica explícitamente al LLM que active un patrón de percepción específico adecuado para entradas dispersas. Cuando se procesan secuencias completas, este aislador se desactiva.
Objetivo de Entrenamiento: Entropía Cruzada estándar sobre la secuencia podada (con el aislador).

B. Modo Lento (Modo de Consistencia Auxiliar)

Objetivo: Mantener la consistencia entre entrenamiento e inferencia aprendiendo de secuencias visuales completas.
Mecanismo: El modelo es entrenado en secuencias visuales completas y no podadas.
Autodestilación: Dado que el modo lento se activa con menos frecuencia (controlado por la probabilidad $r$ ), su aprendizaje se potencia mediante autodestilación. El Modo Rápido, suficientemente entrenado, actúa como un "maestro", y el Modo Lento actúa como un "estudiante". Ambos comparten los mismos parámetros del modelo, pero difieren en sus secuencias de entrada. El estudiante minimiza la divergencia de Kullback–Leibler (KL) entre sus logits de salida y los logits del maestro (calculados sobre la secuencia podada).
Objetivo de Entrenamiento: Una combinación de la pérdida de Entropía Cruzada en la secuencia completa y la pérdida de destilación.

C. Estrategia de Entrenamiento General

El marco cambia entre modos por lote (batch) basándose en una probabilidad $r$ . Durante las fases donde el backbone del LLM está congelado (por ejemplo, en el preentrenamiento), solo se activa el Modo Rápido para aumentar aún más la eficiencia. Durante la inferencia, el modelo opera exclusivamente en secuencias visuales completas y no podadas sin el Aislador de Modo, asegurando un rendimiento sin compromisos.

3. Contribuciones Clave

Identificación de un Desafío Clave: El artículo identifica y analiza el desajuste entre entrenamiento e inferencia como una barrera primaria para la aplicación de la Poda de Tokens Visuales durante el entrenamiento de MLLM.
Marco DualSpeed: La propuesta de un marco de entrenamiento colaborativo rápido-lento que integra complementos de VTP mientras preserva la consistencia a través de un Aislador de Modo y autodestilación.
Validación Empírica: Demostración de que el marco logra una aceleración significativa del entrenamiento (hasta 4.0×) manteniendo casi el 99% del rendimiento de la línea base en diferentes arquitecturas de MLLM y resoluciones.

4. Resultados Experimentales

Los autores evaluaron DualSpeed en LLaVA-1.5 y LLaVA-NeXT utilizando 9 benchmarks representativos de comprensión visual (por ejemplo, VQAv2, GQA, MME, MMBench).

Aceleración de Entrenamiento:
- LLaVA-1.5: Logró una aceleración general de entrenamiento de 2.1× (con una aceleración de 5.8× en la fase de preentrenamiento).
- LLaVA-NeXT: Logró una aceleración de entrenamiento general de 4.0× (con una aceleración de 5.3× en el preentrenamiento), atribuida a la mayor proporción de tokens visuales en modelos de alta resolución.
Retención de Rendimiento:
- DualSpeed retuvo el 99.61% del rendimiento de la línea base en LLaVA-1.5 y el 99.04% en LLaVA-NeXT.
- En contraste, una aplicación ingenua de la poda (NaivePrune) resultó en solo ~95.89% de retención de rendimiento, resaltando la severidad del desfase entre entrenamiento e inferencia.
Cierre de la Brecha: El marco logró cerrar con éxito una brecha de rendimiento de aproximadamente 3.72% en comparación con los métodos de poda ingenua, llevando el rendimiento del modelo casi al nivel de la línea base de entrenamiento completo.
Análisis de Redundancia: Los experimentos indicaron que hasta el 90% de los tokens visuales pueden podarse durante el entrenamiento sin una pérdida significativa de rendimiento, siempre que se utilice el marco DualSpeed.

5. Significado y Reivindicaciones

El artículo afirma que DualSpeed ofrece una vía novedosa para escalar el entrenamiento de MLLM al abordar el cuello de botella computacional de los tokens visuales sin sacrificar la capacidad del modelo. Al desacoplar las ganancias de eficiencia de la poda de los requisitos de consistencia de la inferencia, el marco permite:

Eficiencia de Recursos: Reducción drástica del tiempo de entrenamiento y de los costos computacionales.
Escalabilidad: La capacidad de entrenar modelos de alta resolución (como LLaVA-NeXT) de manera más factible.
Robustez: Los modelos resultantes son naturalmente compatibles tanto con la inferencia normal (secuencias completas) como con la inferencia podada (secuencias podadas), ya que el proceso de entrenamiento considera explícitamente ambas distribuciones de datos.

Los autores enfatizan que su enfoque no requiere cambios arquitectónicos en los propios métodos de VTP, lo que permite que las técnicas de poda existentes se integren perfectamente como complementos en el flujo de trabajo de entrenamiento.