ReGATE: Learning Faster and Better with Fewer Tokens in MLLMs

1. Declaración del Problema

Los Modelos de Lenguaje Grandes Multimodales (MLLM) enfrentan cuellos de botella computacionales significativos durante el entrenamiento, impulsados principalmente por la complejidad cuadrática del mecanismo de autoatención en relación con la longitud de la secuencia de entrada. Este problema se ve exacerbado en las tareas de video, donde los fotogramas se tokenizan en secuencias extremadamente largas.

• Limitaciones de los Métodos Existentes: Las estrategias actuales de eficiencia (poda de tokens, fusión, compresión) se dirigen en gran medida a la inferencia utilizando tokens estáticos o pre-puntuados. No logran adaptarse dinámicamente durante la fase de entrenamiento.
• Ineficiencia en el Entrenamiento: En el entrenamiento estándar, el modelo procesa cada token en cada paso hacia adelante y hacia atrás, independientemente de si el token es redundante o fácilmente predecible solo a partir del texto. Esto desperdicia recursos computacionales sustanciales y limita la capacidad de escalar a contextos más largos y conjuntos de datos más grandes.
• La Brecha: Existe una falta de métodos principistas y adaptativos para estimar la importancia de los tokens durante el entrenamiento que capturen dependencias cruzadas de modalidades sin depender de heurísticas (como la eliminación aleatoria) o introducir cambios arquitectónicos.

2. Metodología: REGATE

Los autores proponen REGATE (Elisión Adaptativa de Tokens Guiada por Referencia), un marco diseñado para acelerar el entrenamiento de MLLM seleccionando dinámicamente tokens informativos mientras omite los redundantes.

Arquitectura Central: Marco Maestro-Alumno

• Modelo Alumno: El MLLM que se está entrenando (por ejemplo, VideoChat2, VideoLLaMA2, InternVL3.5).
• Modelo Maestro: Una versión congelada y solo de texto del núcleo LLM del alumno. Se crea eliminando el codificador visual y el proyector del modelo alumno.
• Mecanismo: El maestro actúa como un experto de referencia para estimar cuánto depende un token específico del contexto visual.

Mecanismo de Puntuación de Tokens

REGATE calcula una puntuación de dificultad unificada ($d_{b,i}$) para cada token basándose en dos señales complementarias:

1. Pérdida de Referencia ($\ell^{ref}_{b,i}$): El modelo maestro intenta predecir el token utilizando solo el contexto textual (con los tokens visuales reemplazados por marcadores de posición).
   • Pérdida Baja: El token es predecible solo a partir del texto (redundante).
   • Pérdida Alta: El token requiere anclaje visual (crítico).
2. Dificultad Histórica del Alumno ($m_{s,i}$): Un Promedio Móvil Exponencial (EMA) de la pérdida de entropía cruzada del alumno para esa posición de token a lo largo del tiempo. Esto rastrea los tokens que el alumno tiene dificultades consistentes para aprender.

La puntuación combinada se formula como:
$$d_{b,i} = m_{s,i} + \lambda \ell^{ref}_{b,i}$$
Donde $\lambda$ equilibra la señal de referencia estática y la señal de aprendizaje dinámica del alumno.

Puerta Dinámica de Tokens y Dispersión

• Generación de Máscara: Para cada lote, se genera una máscara binaria seleccionando los $k$ tokens superiores con las puntuaciones combinadas de dificultad más altas.
• Preservación de Tokens Visuales: Los tokens visuales especiales (por ejemplo, <image>, <video>) se retienen siempre para preservar la estructura multimodal, independientemente de su puntuación de dificultad.
• Programación de Doble Ciclo: Para garantizar la estabilidad, REGATE emplea una programación determinista:
  • Fase de Calentamiento: Todos los tokens se procesan durante los primeros $F$ pasos de cada ciclo.
  • Fase Dispersa: Solo una proporción fija ($p_{sparse}$) de tokens se procesa durante los pasos restantes.
• Implementación del Decodificador Disperso: El decodificador transformador se modifica para realizar operaciones de autoatención y Red Neuronal de Alimentación Directa (FFN) solo en tokens activos (retenidos). Los tokens inactivos evitan el cómputo pero mantienen conexiones residuales para preservar la continuidad del flujo de gradientes. Esto se implementa eficientemente utilizando máscaras de Flash Attention.

3. Contribuciones Clave

1. Poda Adaptativa de Entrenamiento: Introducción del primer método de poda de tokens adaptativo específicamente para el entrenamiento de MLLM que identifica dinámicamente tokens visualmente esenciales sin añadir parámetros entrenables.
2. Agnóstico del Modelo y Libre de Arquitectura: REGATE se integra perfectamente en MLLM existentes (incluidos aquellos que utilizan LoRA o ajuste fino completo) sin modificar la arquitectura del modelo ni requerir componentes aprendibles adicionales.
3. Guía de Doble Señal: Un mecanismo de puntuación novedoso que combina una pérdida de referencia cruzada de modalidades estática (de un maestro solo de texto) con el historial de aprendizaje dinámico del alumno, aislando efectivamente los tokens que son tanto visualmente críticos como difíciles de aprender.

4. Resultados Experimentales

Los autores evaluaron REGATE en tres MLLM representativos: VideoChat2 (Mistral-7B), VideoLLaMA2 (Qwen2-7B) e InternVL3.5 (Qwen3-14B) en 5 benchmarks de imágenes y 8 de video.

Ganancias de Eficiencia

• Reducción de Tokens: REGATE alcanza la precisión máxima utilizando solo el 38% de los tokens en promedio en comparación con el entrenamiento estándar.
• Velocidad de Entrenamiento: Alcanza la precisión máxima de la línea base 2 veces más rápido en el benchmark MVBench.
• Ahorro de Recursos:
  • VideoLLaMA2: Redujo el tiempo de entrenamiento de 129.6 a 64.0 horas de GPU (con poda agresiva) manteniendo la precisión.
  • InternVL3.5: Redujo el uso de tokens en un 41.4% y el tiempo de entrenamiento en ~40% mientras superaba la precisión de la línea base.
  • Memoria: Redujo el uso promedio de memoria por GPU en 7–8 GB (aprox. 10–11%) en todos los modelos.

Precisión del Rendimiento

• Superación de Líneas Base: Con entrenamiento extendido, los modelos REGATE superaron consistentemente las líneas base estándar en múltiples benchmarks.
  • Ejemplo: VideoLLaMA2-REGATE mejoró la precisión de ScienceQA en un 19.1% y MME en 33.1 puntos mientras utilizaba un 41% menos de tokens.
  • Ejemplo: InternVL3.5-REGATE logró una mayor precisión en los benchmarks Video-MME y MLVU con significativamente menos tokens.
• Generalización: El método demostró ser efectivo a través de diferentes núcleos (Mistral, Qwen) y estrategias de entrenamiento (Ajuste Fino Completo, LoRA).

5. Significado y Conclusión

REGATE aborda un cuello de botella crítico en la escalabilidad de los MLLM: el costo computacional del entrenamiento en secuencias multimodales largas.

• Cambio de Paradigma: Mueve la eficiencia de los tokens de una preocupación solo de inferencia a una optimización durante el tiempo de entrenamiento, demostrando que los modelos pueden aprender mejor (mayor precisión) y más rápido al centrar el cómputo en los puntos de datos más informativos.
• Practicidad: Al no requerir cambios arquitectónicos ni parámetros entrenables adicionales, REGATE ofrece una solución de inserción directa para investigadores y practicantes entrenar modelos más grandes en hardware limitado.
• Trabajo Futuro: Los autores sugieren que las direcciones futuras incluyen la programación de dispersión adaptativa basada en la complejidad de la tarea y la exploración de modelos maestros más fuertes para tareas de razonamiento más complejas.

En resumen, REGATE demuestra que menos es más en el entrenamiento de MLLM: al omitir inteligentemente los tokens redundantes, los modelos convergen más rápido, consumen menos memoria y, en última instancia, logran una comprensión multimodal superior.