RL makes MLLMs see better than SFT

El estudio demuestra que el aprendizaje por refuerzo (RL) supera a la fine-tuning supervisado (SFT) al reconfigurar fundamentalmente los encoders visuales de los modelos multimodales (MLLM), lo que permite desarrollar una metodología eficiente llamada PIVOT que genera representaciones visuales más precisas con menos del 1% del costo computacional tradicional.

Lo esencial

¡Claro que sí! Imagina que un Modelo de Lenguaje Multimodal (MLLM) es como un chef muy inteligente que acaba de aprender a cocinar.

• El cerebro del chef es el modelo de lenguaje (LLM): sabe mucho, puede hablar, razonar y seguir recetas.
• Los ojos del chef son el "codificador de visión" (Vision Encoder): es la cámara que le dice al chef qué ingredientes hay en la mesa.

Hasta ahora, la mayoría de los chefs entrenaban a sus ojos de dos formas:

1. SFT (Ajuste Supervisado): Es como si un maestro le dijera al chef: "Mira esta foto de una manzana y di 'manzana'". El chef repite la respuesta correcta una y otra vez. Es un entrenamiento de "memorización" y repetición.
2. RL (Aprendizaje por Refuerzo): Es como si el maestro le mostrara al chef dos respuestas: una buena y una mala, y le dijera: "¿Cuál es mejor? ¡Elige la buena!". El chef aprende a discriminar y a entender qué es realmente útil o preciso, no solo a repetir.

El Gran Descubrimiento: "RL hace que los ojos vean mejor"

Los autores de este paper descubrieron algo fascinante: cuando entrenas al chef usando el método de RL (como DPO), no solo mejora su forma de hablar, sino que sus ojos se vuelven literalmente más agudos.

• Con SFT: Los ojos del chef son un poco "difusos". Si le preguntas "¿Qué sostiene la mujer?", el chef puede mirar a toda la foto y decir cosas genéricas.
• Con RL: Los ojos del chef se vuelven láser. Si le preguntas lo mismo, la atención del modelo se concentra exactamente en la mano de la mujer y el objeto que sostiene, ignorando el resto de la imagen. Es como pasar de usar unas gafas normales a unas gafas de alta precisión que enfocan solo lo importante.

La Receta Mágica: PIVOT

Los investigadores no solo descubrieron esto, sino que crearon una "receta" llamada PIVOT (Optimización de Visión Instruida por Preferencias).

Imagina que tienes una cámara de seguridad vieja y barata (un modelo de visión antiguo). Normalmente, para mejorarla, tendrías que comprar una cámara de cine de 10 millones de dólares (entrenar un modelo gigante desde cero).

PIVOT es como un truco de magia:

1. Tomas esa cámara vieja.
2. La conectas al cerebro del chef (el LLM).
3. Usas el método de "elegir la mejor respuesta" (RL) para entrenar a la cámara.
4. Resultado: ¡La cámara vieja ahora ve mejor que la cámara de 10 millones de dólares!

Lo increíble es el costo:
Entrenar una cámara gigante desde cero requiere miles de superordenadores y meses de trabajo. Con PIVOT, puedes mejorar una cámara existente en menos de 1% del costo (como si entrenaras en una cocina doméstica en lugar de una fábrica gigante) y obtienes resultados superiores.

En resumen, con una analogía final:

Imagina que estás aprendiendo a conducir.

• SFT es como un instructor que te dice: "Gira el volante a la izquierda cuando veas el semáforo rojo". Aprendes la regla, pero si el semáforo está roto o la luz es extraña, te confundes.
• RL (y PIVOT) es como un instructor que te pone en situaciones reales: "Mira, ese coche viene rápido. ¿Qué haces? ¿Frenas o giras? ¡Bien hecho!". Aprendes a sentir la carretera.

El paper nos dice que, para que las IAs "vean" el mundo de verdad, no necesitamos solo más datos o cámaras más caras. Necesitamos enseñarles a elegir y a criticar lo que ven. Al hacerlo, sus "ojos" (los codificadores de visión) se vuelven más inteligentes, precisos y capaces de entender los detalles finos, todo con mucho menos esfuerzo y dinero.

La lección: No siempre necesitas construir un motor más grande; a veces, solo necesitas enseñar al conductor a mirar mejor.

Resumen técnico

Resumen Técnico: RL hace que los MLLM vean mejor que el SFT

1. El Problema

En la investigación actual de Modelos de Lenguaje Multimodales (MLLM), existe una suposición dominante: el rendimiento del modelo se hereda casi en su totalidad del modelo de lenguaje (LLM) subyacente debido a su escala masiva. Esto ha creado un vacío en la comprensión del codificador de visión (vision encoder), que es el componente que determina "cómo los MLLM perciben las imágenes".

A medida que la comunidad ha pasado del Fine-tuning Supervisado (SFT) al Aprendizaje por Refuerzo (RL) para alinear las preferencias humanas, se ha pasado por alto cómo estas estrategias de entrenamiento reconfiguran fundamentalmente las representaciones visuales. La falta de análisis sistemático sobre si el RL (específicamente métodos como DPO) mejora la capacidad de percepción visual del codificador, en comparación con el SFT, es una brecha crítica que este trabajo busca llenar.

2. Metodología

Los autores proponen un enfoque de tres etapas para investigar y mejorar la visión en MLLM:

• Análisis Comparativo (SFT vs. RL):

  • Se estableció un entorno de entrenamiento controlado utilizando la arquitectura LLaVA-OneVision.
  • Se compararon dos estrategias de post-entrenamiento (Stage 2) sobre una base pre-entrenada (Stage 1): SFT (ajuste fino supervisado) y DPO (Optimización Directa de Preferencias, un método de RL sin modelo de recompensa).
  • Se evaluaron múltiples escalas de modelos, variando tanto el tamaño del LLM (Qwen2.5: 0.5B a 7B) como el tamaño del codificador de visión (SigLIP2: B/16 a g/16).
  • Se utilizaron 16 benchmarks divididos en cuatro categorías: VQA General, Conocimiento, OCR/Gráficos y VQA Centrada en Visión.

• Análisis de Representaciones Visuales:

  • Para aislar el impacto en la visión, los autores desconectaron el codificador de visión del LLM después del entrenamiento y evaluaron su rendimiento en tareas puramente visuales (clasificación en ImageNet y segmentación semántica en ADE20K) mediante probing (lineal o con MLP).
  • Se utilizó Grad-CAM para visualizar los gradientes que retroalimentan al codificador de visión, analizando cómo se propagan las señales de optimización desde el LLM.

• Propuesta de PIVOT (Preference-Instructed Vision OpTimization):

  • Basándose en los hallazgos, se reformuló el entrenamiento por RL como un proceso de optimización específico para el codificador de visión.
  • PIVOT entrena un codificador de visión existente (ej. CLIP, SigLIP, MAE) utilizando un "cabeza" de LLM y optimización por preferencias (DPO), antes de integrarlo en un MLLM nuevo.

3. Contribuciones Clave

1. Descubrimiento de la Superioridad del RL en Visión: Se demuestra que el RL (DPO) no solo mejora la alineación del lenguaje, sino que genera representaciones visuales más fuertes y localizadas en comparación con el SFT.
2. Análisis de Gradientes: La visualización de gradientes revela que las señales de DPO se concentran más precisamente en las regiones semánticamente relevantes de la imagen (respuestas a la pregunta), mientras que las señales del SFT tienden a estar más dispersas.
3. PIVOT (Receta Práctica): Se introduce PIVOT, un método simple pero efectivo para mejorar codificadores de visión existentes. Un codificador entrenado con PIVOT supera a sus contrapartes originales y, sorprendentemente, a modelos mucho más grandes y costosos.
4. Eficiencia Computacional: PIVOT logra mejoras significativas utilizando menos del 1% del costo computacional (en términos de GPUs y datos) requerido para el pre-entrenamiento estándar de visión (ej. entrenamiento de SigLIP2 en miles de TPUs).

4. Resultados Principales

• Rendimiento en MLLM:

  • Los modelos entrenados con DPO superan consistentemente a los entrenados con SFT, especialmente en tareas altamente dependientes de la visión (OCR, gráficos, VQA centrada en visión), con mejoras de hasta +10.6% en benchmarks de OCR/Gráficos.
  • En tareas de conocimiento (Knowledge VQA), donde depende más del LLM, la brecha es menor, lo que confirma que la mejora proviene de la capacidad de percepción visual.
  • El RL es más eficiente en datos: un modelo DPO con 3K muestras supera a un modelo SFT con 40K muestras.

• Rendimiento del Codificador de Visión (Fuera del MLLM):

  • ImageNet: Los codificadores de visión post-entrenados con DPO muestran una mayor precisión en la clasificación de ImageNet (ej. +1.96% de Top-1 accuracy) en comparación con los entrenados con SFT.
  • Segmentación: Los modelos DPO logran una mejor localización de objetos y mapas de segmentación más precisos, alineados mejor con la verdad fundamental (ground truth).
  • Alineación Representacional: Los codificadores entrenados con DPO muestran una mayor alineación con los LLMs, y esta alineación mejora a medida que aumenta la capacidad del LLM asociado.

• Eficacia de PIVOT:

  • Un codificador SigLIP1-So/14 (más antiguo y pequeño) mejorado con PIVOT supera a un SigLIP2-So/16 (más nuevo y grande) en el rendimiento promedio de VQA.
  • Un SigLIP2-So/16 (400M parámetros) mejorado con PIVOT supera a un SigLIP2-g/16 (1B parámetros, 2.5x más grande) en tareas de MLLM.
  • PIVOT funciona en diversos arquitecturas, incluyendo modelos auto-supervisados (MAE, DINOv2) y supervisados (CLIP).

5. Significado e Impacto

Este trabajo desafía la noción de que el rendimiento de los MLLM depende únicamente del LLM. Demuestra que la estrategia de post-entrenamiento (RL vs. SFT) reescribe fundamentalmente cómo el modelo "ve" el mundo.

• Cambio de Paradigma: Sugiere que el RL no es solo para alinear respuestas de texto, sino una herramienta poderosa para refinar las representaciones visuales internas.
• Eficiencia: PIVOT ofrece una ruta económica y escalable para evolucionar los backbones de visión. En lugar de entrenar modelos masivos desde cero, se pueden tomar modelos existentes y "pulirlos" con RL para obtener un rendimiento superior con una fracción del costo.
• Futuro: Abre la puerta a diseñar conjuntos de datos específicos y estrategias de RL para maximizar la percepción visual, sugiriendo que los mejores codificadores de visión para MLLM podrían no ser los más grandes, sino los mejor optimizados mediante preferencias humanas.

En resumen, el artículo establece que el Aprendizaje por Refuerzo (RL) hace que los MLLM "vean" mejor que el SFT, y propone PIVOT como una receta práctica para desbloquear el potencial visual latente en los modelos existentes.