Resumen Técnico: Vision-EKIPL

Declaración del Problema

El razonamiento visual es una capacidad cognitiva crítica para la Inteligencia Artificial General, esencial para aplicaciones que van desde la navegación autónoma hasta la comprensión de escenas. Si bien los Modelos de Lenguaje Multimodales Grandes (MLLM) han avanzado mediante el Ajuste Fino Supervisado (SFT) y el Aprendizaje por Refuerzo (RL), los enfoques actuales basados en RL (por ejemplo, la Optimización de Política Relativa de Grupo o GRPO) enfrentan limitaciones significativas. Específicamente, estos métodos muestrean grupos de acciones únicamente desde el propio modelo de política. Este muestreo autoreferencial restringe el espacio de exploración del modelo a sus propias capacidades inherentes, lo que potencialmente conduce a una "frontera de razonamiento" que no se expande más allá del modelo base preentrenado. Además, los métodos de RL existentes a menudo sufren de tasas de convergencia lentas y baja eficiencia en el entrenamiento, ya que dependen del modelo para descubrir rutas de razonamiento complejas sin guía externa.

Metodología: Vision-EKIPL

Para abordar estas limitaciones, los autores proponen Vision-EKIPL (Aprendizaje de Política Infundido con Conocimiento Externo), un nuevo marco de RL que integra acciones de alta calidad de modelos auxiliares externos en el proceso de optimización de la política.

Marco Central

El marco opera bajo el principio de infundir conocimiento externo durante el bucle de entrenamiento de RL para guiar al modelo de política ($\pi_\theta$). El proceso implica los siguientes pasos:

1. Muestreo de Acciones de Múltiples Fuentes:
   A diferencia del GRPO tradicional que muestrea acciones solo desde la política actual, Vision-EKIPL muestrea un grupo de acciones combinado $O$ desde:

   • El modelo de política actual $\pi_\theta$.
   • $M$ modelos auxiliares externos (por ejemplo, GPT-4o, Gemini-1.5-Pro), denotados como $\pi_{\phi_j}$.

   Para un estado dado $s = (x, q)$ (codificación visual y pregunta), el sistema muestrea $N$ acciones desde la política y $N$ acciones desde cada uno de los $M$ modelos auxiliares.

2. Cálculo de Recompensa:
   Todas las acciones muestreadas se evalúan utilizando una función de recompensa $R(o_i)$ que comprende dos componentes:

   • Recompensa de Formato ($R_{format}$): Asegura que la salida se adhiera a un formato estructurado (por ejemplo, razonamiento dentro de etiquetas <thought> y respuestas dentro de etiquetas <answer>).
   • Recompensa de Precisión ($R_{acc}$): Asigna una recompensa positiva si la respuesta final es correcta, de lo contrario, cero.

3. Selección de Acciones de Alta Calidad:
   El grupo combinado de acciones se ordena por valores de recompensa. Las acciones superiores $G$ se seleccionan para formar un grupo de acciones de alta calidad $T$. Este grupo sirve como base de conocimiento "experta" para el paso de entrenamiento actual.

4. Optimización de la Política (GRPO):
   El modelo de política se actualiza utilizando el algoritmo de Optimización de Política Relativa de Grupo (GRPO). La puntuación de ventaja $A_i$ para cada acción en el grupo seleccionado se calcula en relación con la media y la desviación estándar de las recompensas del grupo. Los parámetros de la política $\theta$ se actualizan para maximizar la ventaja esperada mientras se mantiene una penalización de divergencia KL para mantenerse cerca de una distribución de referencia.

Evolución Dinámica

El artículo nota un cambio dinámico en la fuente de acciones durante el entrenamiento. Inicialmente, el modelo de política depende en gran medida de las acciones de los modelos externos porque sus propias capacidades de razonamiento son más débiles. A medida que avanza el entrenamiento y el modelo de política mejora, la proporción de acciones seleccionadas del propio modelo de política aumenta, permitiéndole aprovechar sus propias estrategias aprendidas mientras aún se beneficia de la guía externa inicial.

Contribuciones Clave

1. Nuevo Marco de RL: La propuesta de Vision-EKIPL, que es el primer método que aprovecha acciones de alta calidad de modelos auxiliares externos para guiar la optimización del modelo de política en el razonamiento visual.
2. Frontera de Razonamiento Expandida: Demostración de que incorporar acciones externas amplía efectivamente el espacio de exploración de acciones del modelo de política, permitiéndole descubrir rutas de razonamiento que un solo modelo de política podría pasar por alto, expandiendo así la frontera de razonamiento.
3. Eficiencia y Rendimiento Mejorados: Validación a través de extensos experimentos de que el marco acelera significativamente la convergencia del entrenamiento y mejora el rendimiento general de razonamiento en comparación con las líneas base más avanzadas (SOTA).

Resultados Experimentales

Los autores evaluaron Vision-EKIPL en la Benchmarck Reason-RFT-CoT, que cubre tres categorías de tareas: Conteo Visual, Percepción de Estructura y Transformación Espacial.

• Ganancias de Rendimiento: Vision-EKIPL logró una mejora de rendimiento de hasta un 5% sobre los métodos más avanzados (SOTA) en la benchmark.
• Resultados en Dominio (ID):
  • En Conteo Visual, los métodos basados en RL (incluido Vision-EKIPL) superaron consistentemente a los métodos basados en SFT y a los modelos base en las escalas de 2B y 7B parámetros.
  • En Transformación Espacial, Vision-EKIPL logró el rendimiento más alto, superando a todos los modelos base, incluidos modelos propietarios como GPT-4o y Gemini-1.5-Pro en métricas específicas de generalización fuera de dominio.
• Generalización Fuera de Dominio (OOD):
  • Vision-EKIPL demostró una generalización superior en comparación con los métodos SFT. Por ejemplo, en el modelo de 7B, superó a ANS-SFT en un 19% en Conteo Visual.
  • En Transformación Espacial, el modelo Vision-EKIPL de 2B superó a GPT-4o en un 34% y a Gemini-1.5-Pro en un 47% en tareas OOD.
• Eficiencia de Entrenamiento:
  • Vision-EKIPL demostró una alta eficiencia de datos, logrando el rendimiento de Reason-RFT utilizando solo el 12% al 25% de los datos de entrenamiento requeridos por la línea base.
• Análisis de la Frontera de Razonamiento:
  • El análisis Pass@K reveló que, mientras que el RL tradicional (Reason-RFT) eventualmente quedó por detrás del modelo base a medida que $K$ aumentaba (sugiriendo una sobreexplotación de rutas conocidas), Vision-EKIPL mantuvo un rendimiento superior en todos los valores de $K$, confirmando su capacidad para empujar la frontera de razonamiento.

Significado y Afirmaciones

El artículo afirma que Vision-EKIPL ofrece un nuevo paradigma efectivo para la investigación en razonamiento visual al superar las limitaciones inherentes de los métodos tradicionales de RL. Al tratar a los modelos externos como "expertos" que proporcionan objetivos de supervisión destilados, el marco permite que el modelo de política aprenda estrategias de razonamiento diversas y novedosas que de otro modo serían inaccesibles mediante el muestreo propio.

Los autores posicionan este enfoque como un paradigma híbrido que combina elementos de ajuste fino supervisado (mediante destilación de conocimiento desde acciones externas) y aprendizaje por refuerzo. Afirman que este método no solo mejora significativamente el rendimiento de razonamiento visual de los MLLM, sino que también acelera sustancialmente la convergencia del entrenamiento. Si bien la validación principal se realiza en tareas de razonamiento visual, los autores sugieren que el marco posee generalidad y podría aplicarse teóricamente a tareas lingüísticas y otras multimodales.