DRIFT: Transferring Reasoning Priors for Efficient MLLM Fine-Tuning

1. Planteamiento del Problema

Los Modelos de Lenguaje Grandes Multimodales (MLLM) han logrado avances significativos en percepción y alineación, pero consistentemente se quedan atrás frente a los Modelos de Lenguaje Grandes (LLM) basados únicamente en texto en capacidades de razonamiento (por ejemplo, razonamiento matemático y lógico).

• Cuellos de botella actuales: Cerrar esta brecha típicamente requiere:
  1. Ajuste Fino Supervisado (SFT) Multimodal a gran escala: Recopilar datos de Cadena de Pensamiento (CoT) de alta calidad para imágenes es costoso y laborioso.
  2. Aprendizaje por Refuerzo (RL): Añade sobrecarga computacional e inestabilidad en el entrenamiento.
• La limitación de la fusión de modelos: Una alternativa prometedora es la fusión de modelos en el espacio de parámetros (interpolando pesos entre un experto en razonamiento basado en texto y un MLLM). Sin embargo, los autores demuestran que la fusión ingenua es frágil. A menudo falla en transferir el razonamiento de manera efectiva y puede degradar severamente la percepción y alineación multimodal, particularmente cuando los modelos subyacentes (por ejemplo, la serie Qwen) tienen distribuciones de parámetros divergentes.

2. Metodología: DRIFT

Los autores proponen DRIFT (Inyección Direccional de Razonamiento para Ajuste Fino), un método ligero basado en gradientes que transfiere conocimiento de razonamiento sin desestabilizar el modelo.

Concepto Central

En lugar de interpolar directamente los pesos en el espacio de parámetros, DRIFT opera en el espacio de gradientes. Trata la diferencia entre un experto en razonamiento basado en texto y un modelo multimodal como una "dirección de razonamiento" (prior) y utiliza esto para sesgar la trayectoria de optimización durante el SFT estándar.

Pasos Clave

1. Pre-cálculo de la Prior de Razonamiento ($\Delta$):

   • Calcular la diferencia de parámetros entre un modelo de razonamiento basado en texto ($\phi_{reason}$) y el modelo multimodal objetivo ($\phi_{VL}$):
     $$\Delta = \phi_{reason} - \phi_{VL}$$
   • Esta diferencia se restringe a módulos relevantes para el razonamiento (proyecciones MLP, proyecciones de atención y capas de normalización).
   • $\Delta$ se calcula una vez y se almacena en la CPU.

2. Inyección de Gradientes durante el SFT:

   • Durante el ajuste fino supervisado del MLLM en una pequeña cantidad de datos multimodales, el gradiente estándar ($g$) se modifica.
   • El gradiente guiado ($\tilde{g}$) se calcula como:
     $$\tilde{g} = g + \alpha \cdot \text{scale}(g, \Delta)$$
   • Estrategias de Escalado: El artículo explora tres variantes:
     • Absoluta: Añade $\Delta$ directamente.
     • Norma-Gradiente: Alinea la dirección de actualización con $\Delta$ mientras preserva la magnitud de $g$.
     • Norma-Gradiente con $\alpha$ Adaptativa: Ajusta dinámicamente la fuerza de inyección basándose en la similitud coseno entre el gradiente actual y la prior ($\Delta$).

3. Eficiencia:

   • DRIFT introduce ningún parámetro entrenable adicional.
   • Solo modifica la pasada hacia atrás (cálculo de gradientes), dejando la pasada hacia adelante sin cambios.
   • Requiere solo un pequeño conjunto de datos curado (4K ejemplos) en comparación con los conjuntos de datos masivos necesarios para el SFT estándar o el RL.

3. Contribuciones Clave

1. Análisis Empírico de la Fusión: Los autores muestran rigurosamente que la fusión en el espacio de parámetros no es un "regalo". Es altamente sensible a las familias de modelos; mientras que funciona para algunas (por ejemplo, LLaMA/Mistral), a menudo degrada el rendimiento en otras (por ejemplo, Qwen) debido a la desalineación de parámetros.
2. Marco DRIFT: Introducción de un método novedoso y ligero que inyecta priores de razonamiento mediante guía de gradientes en lugar de interpolación de pesos, preservando la alineación multimodal mientras mejora el razonamiento.
3. Eficiencia y Rendimiento: Demostró que DRIFT logra capacidades de razonamiento comparables a métodos intensivos en entrenamiento (SFT + RL) pero con órdenes de magnitud menos datos y tiempo de cómputo (aprox. 2 horas vs. >1 día).

4. Resultados Experimentales

El método fue evaluado en benchmarks que incluyen MathVista, MathVision, MathVerse, WeMath y LogicVista.

• vs. Fusión de Parámetros: DRIFT supera consistentemente a la fusión ingenua y a técnicas avanzadas de fusión (Aritmética de Tareas, TIES, DARE). Mientras que la fusión a menudo reducía las puntuaciones (por ejemplo, -2.1 en MathVista para Qwen2.5-VL), DRIFT las mejoró (+2.0).
• vs. SFT Estándar: DRIFT supera al SFT estándar entrenado en el mismo pequeño conjunto de datos, demostrando que la prior de razonamiento proporciona señales complementarias valiosas.
• vs. Métodos Intensivos en Entrenamiento: DRIFT iguala o supera a métodos pesados como R1-OneVision y X-Reasoner (que requieren días de entrenamiento y conjuntos de datos CoT masivos) completándose en ~2 horas con solo 4K ejemplos de alta calidad.
• Generalización:
  • Percepción: A diferencia del SFT estándar, que a veces degradaba la percepción general (por ejemplo, en RealWorldQA), DRIFT preservó o mejoró ligeramente las capacidades de percepción multimodal.
  • Robustez: DRIFT mostró mayor robustez ante datos ruidosos en comparación con el SFT estándar.
  • Generalidad: El método funcionó en diferentes combinaciones de base/experto (por ejemplo, LLaVA + DART, Qwen + DeepSeek-R1).

5. Significado

• Democratización del Razonamiento: DRIFT reduce la barrera de entrada para crear MLLM con capacidades de razonamiento. Elimina la necesidad de recopilación costosa de datos CoT multimodales a gran escala y entrenamiento de RL de varios días.
• Estabilidad: Resuelve los problemas de inestabilidad asociados con la fusión ingenua de modelos, ofreciendo una manera robusta de combinar la "visión" de los MLLM con el "razonamiento" de expertos basados en texto.
• Practicidad: El método se integra perfectamente en pipelines de SFT existentes (por ejemplo, mediante LLaMA-Factory) con sobrecarga insignificante, haciéndolo altamente escalable tanto para investigación como para despliegue industrial.

En conclusión, DRIFT demuestra que los priors en el espacio de gradientes son un mecanismo superior para transferir capacidades de razonamiento en comparación con la fusión en el espacio de parámetros, ofreciendo un camino altamente eficiente, estable y efectivo para cerrar la brecha de razonamiento en modelos multimodales.