Resumen Técnico: Mejora de la Eficiencia en el Entrenamiento de MLLM mediante Dispersión Consciente de la Etapa

Declaración del Problema

Los Modelos de Lenguaje Grandes Multimodales (MLLM) han demostrado capacidades significativas, pero sufren procesos de entrenamiento ineficientes. Esta ineficiencia se origina en dos fuentes principales de redundancia:

1. Redundancia de Datos: Las entradas multimodales introducen cientos de tokens visuales por muestra, muchos de los cuales contribuyen marginalmente a las predicciones finales.
2. Redundancia de Parámetros: Las arquitecturas profundas de transformadores contienen docenas de capas, pero no todas las capas son igualmente críticas a lo largo de todo el proceso de entrenamiento.

Los métodos de eficiencia existentes abordan típicamente estos problemas de forma independiente (por ejemplo, compresión de tokens o salto de capas) y tratan la redundancia como una propiedad estática. Sin embargo, el artículo argumenta que los patrones de redundancia son dependientes de la etapa. Durante la alineación de modalidades, el modelo de lenguaje (LLM) suele estar congelado y el cuello de botella es el procesamiento de secuencias masivas de tokens visuales. Por el contrario, durante el ajuste de instrucciones, los parámetros del LLM se actualizan activamente y el cuello de botella se desplaza hacia la sobrecarga computacional de las capas profundas del transformador. Tratar la redundancia como estática conduce a compensaciones subóptimas entre eficiencia y rendimiento.

Metodología: Esquema de Entrenamiento Disperso (STS)

Los autores proponen el Esquema de Entrenamiento Disperso (STS), un marco unificado que adapta las estrategias de dispersión a los cuellos de botella computacionales específicos de diferentes etapas de entrenamiento. STS consta de dos componentes complementarios:

1. Compresor de Tokens Visuales (VTC) – Etapa I: Alineación de Modalidades

Aplicado durante la etapa de alineación de modalidades, donde el LLM está congelado y solo se actualiza el proyector.

• Función: Reduce la longitud de los tokens visuales ($T_v$) antes de que ingresen al LLM para aliviar la redundancia de datos.
• Mecanismo: Una función selector $C$ mapea $T_v \in \mathbb{R}^{b \times n \times d}$ a una secuencia comprimida $T_v' \in \mathbb{R}^{b \times n' \times d}$ ($n' < n$).
• Estrategias de Selección:
  • Muestreo Uniforme: Selección con paso fijo para preservar las estructuras semánticas globales.
  • Muestreo Aleatorio: Introduce estocasticidad para mejorar la robustez.
  • Guiado por Instrucciones: Utiliza la similitud del coseno entre tokens visuales y de texto para descartar información visual irrelevante.
• Implementación: El artículo adopta el Muestreo Uniforme como estrategia predeterminada, encontrando que proporciona el rendimiento más equilibrado en diversas tareas en comparación con la inestabilidad del muestreo aleatorio o el sesgo de la selección guiada por instrucciones.

2. Saltador Dinámico de Capas (LDS) – Etapa II: Ajuste de Instrucciones

Aplicado durante el ajuste de instrucciones, donde se actualizan los parámetros del LLM.

• Función: Salta dinámicamente las capas decodificadoras innecesarias para reducir las actualizaciones de parámetros y la sobrecarga computacional.
• Mecanismo: Para la capa $l$ en el paso de entrenamiento $e$, el estado oculto se actualiza como $H_l = (1 - z_l) \cdot F_l(H_{l-1}) + z_l \cdot H_{l-1}$, donde $z_l$ es una variable de Bernoulli controlada por una probabilidad de salto $p_l(e)$.
• Formulación de Probabilidad: La probabilidad de salto combina dos factores:
  • Decaimiento basado en Pasos: Basado en la tendencia de convergencia "de grueso a fino". Al inicio del entrenamiento, los gradientes son gruesos, permitiendo tasas de salto más altas. La probabilidad decae cuadráticamente a medida que avanza el entrenamiento: $\alpha (\frac{E-e}{E})^2$.
  • Ajuste basado en Profundidad: Reconociendo que las capas superficiales extraen características de manera más efectiva que las capas profundas, la probabilidad se ajusta según la profundidad de la capa $l$: $1 + \epsilon \cdot \frac{2l - (L-1)}{L-1}$.
• Configuración Predeterminada: Los autores encuentran que $\alpha=0.5$ y $\epsilon=0.5$ proporcionan el mejor equilibrio entre eficiencia y rendimiento de la tarea.

Contribuciones Clave

1. Análisis de la Redundancia Dependiente de la Etapa: El trabajo revela que la redundancia en el entrenamiento de MLLM no es estática; la redundancia de datos domina la alineación de modalidades, mientras que la redundancia de parámetros domina el ajuste de instrucciones.
2. Marco Unificado (STS): Propone un marco de entrenamiento disperso consciente de la etapa que modela explícitamente los patrones de redundancia evolutivos, aplicando dispersión a nivel de token durante la alineación y dispersión a nivel de capa durante el ajuste.
3. Validación Empírica: Demuestra, mediante experimentos extensos, que STS reduce significativamente los costos computacionales manteniendo una alta precisión en diversas arquitecturas de MLLM.

Resultados Experimentales

Los autores evaluaron STS en cinco MLLM (variantes de LLaVA, Mipha, Phi-2, MoE-LLaVA) en puntos de referencia que incluyen GQA, VQAv2, SQA, POPE y MME.

• Eficiencia: STS logró una reducción promedio de más del 15% en FLOPs. Específicamente, la relación de FLOPs teóricos con respecto a la línea base se redujo a aproximadamente 82.2%.
• Rendimiento: El método mantuvo 96.9% a 99.7% de la precisión de la línea base en promedio.
  • Las métricas de robustez (POPE) y las evaluaciones integrales (MME) mostraron una degradación mínima.
  • Las tareas orientadas a la percepción (GQA, VQAv2) mostraron caídas ligeramente más notables (alrededor de 2–3 puntos), aunque en algunos casos (por ejemplo, SQA en LLaVA), STS superó a la línea base, lo que sugiere posibles efectos de regularización implícita.
• Estudios de Ablación:
  • VTC: El muestreo uniforme demostró ser más robusto que el muestreo aleatorio o el guiado por instrucciones.
  • LDS: Los valores extremos para los hiperparámetros $\alpha$ (tasa de salto) y $\epsilon$ (varianza de profundidad) sesgaron el modelo hacia capacidades específicas. La configuración equilibrada ($\alpha=0.5, \epsilon=0.5$) produjo el mejor compromiso.
  • Marco Conjunto: Utilizar VTC y LDS juntos proporcionó un compromiso eficiencia-rendimiento superior en comparación con el uso de cualquiera de los componentes de forma aislada.

Significado y Afirmaciones

El artículo afirma que STS ofrece una solución práctica y escalable para la optimización eficiente de MLLM. Al desplazar el enfoque de la reducción de redundancia estática hacia un enfoque consciente de la etapa, el marco aborda los cuellos de botella específicos de diferentes fases de entrenamiento sin requerir cambios arquitectónicos complejos. Los autores enfatizan que STS es ampliamente aplicable a diversas arquitecturas de MLLM y logra un entrenamiento más rápido con una pérdida mínima de rendimiento, convirtiéndolo en una estrategia viable para reducir las barreras computacionales en el entrenamiento de modelos multimodales a gran escala.