EvoLMM: Self-Evolving Large Multimodal Models with Continuous Rewards

1. El Problema

Los Modelos Multimodales Grandes (LMMs) han demostrado capacidades impresionantes en razonamiento y percepción. Sin embargo, los pipelines de entrenamiento actuales dependen fundamentalmente de dos factores que limitan su escalabilidad y autonomía:

1. Datos curados por humanos: La necesidad de anotaciones, metadatos o pares pregunta-respuesta.
2. Modelos de recompensa externos: La dependencia de evaluadores externos (etiquetados por humanos o modelos de recompensa destilados) para guiar el aprendizaje.

Estas dependencias impiden el despliegue en dominios donde las anotaciones son costosas o inexistentes. La pregunta central de este trabajo es: ¿Puede un LMM mejorar su propio razonamiento sin supervisión humana, metadatos ni señales de recompensa externas?

2. Metodología: EvoLMM

Los autores proponen EvoLMM, un marco de auto-evolución totalmente no supervisado. La metodología se basa en instanciar dos agentes cooperativos a partir de un único modelo base (backbone):

A. Arquitectura de Agentes

1. Proposer (Propositor): Genera preguntas diversas y fundamentadas visualmente a partir de imágenes sin etiquetar.
2. Solver (Solucionador): Intenta responder a las preguntas generadas por el Proposer.

B. Mecanismo de Recompensa Continua (El Núcleo Innovador)

A diferencia de enfoques anteriores que usan recompensas discretas (ej. votación mayoritaria), EvoLMM utiliza una recompensa de auto-consistencia continua:

• Para el Solver: Se generan $N$ respuestas independientes para una misma pregunta. La recompensa se calcula basándose en la probabilidad de acuerdo entre estas respuestas y una penalización por longitud.
  • Si las respuestas son consistentes, la recompensa es alta.
  • Si hay acuerdo parcial, la recompensa es intermedia (a diferencia de las recompensas discretas que serían cero).
  • Esto proporciona gradientes suaves y estables, permitiendo el aprendizaje incluso cuando el razonamiento no es perfecto.
• Para el Proposer: Se utiliza una función de recompensa basada en la entropía de las respuestas del Solver.
  • El Proposer es recompensado cuando genera preguntas que producen una entropía "moderada" (ni demasiado fáciles, donde la entropía es 0, ni demasiado ambiguas, donde es muy alta).
  • Esto crea un currículo automático: el Proposer aprende a generar preguntas que están en el límite de la capacidad actual del Solver, estimulando el aprendizaje sin colapsar el sistema.

C. Optimización

Ambos agentes se entrenan mediante un bucle de Reinforcement Learning (RL) en línea utilizando el algoritmo REINFORCE con:

• Líneas base de promedio móvil para reducir la varianza.
• Regularización KL (Kullback-Leibler) para evitar que los agentes se desvíen demasiado del modelo base preentrenado, manteniendo la alineación multimodal original.

3. Contribuciones Clave

1. Marco de Auto-Evolución Puro: Introducen EvoLMM, el primer marco que permite a un LMM mejorar su razonamiento multimodal utilizando únicamente imágenes crudas, sin ninguna anotación humana, metadatos o modelos de recompensa externos.
2. Mecanismo de Recompensa Continua: Reemplazan las recompensas discretas (que son inestables en entornos multimodales) por una señal de auto-consistencia continua. Esto permite gradientes suaves y un aprendizaje estable, evitando el colapso del modelo en etapas tempranas.
3. Currículo Emergente: Demuestran que el sistema desarrolla automáticamente un currículo de dificultad progresiva, donde el Proposer aprende a formular problemas complejos y el Solver refina sus cadenas de razonamiento estructurado.
4. Validación Empírica: Logran mejoras consistentes en múltiples benchmarks de razonamiento matemático y visual, demostrando que la consistencia interna puede servir como señal de supervisión viable.

4. Resultados Experimentales

El modelo se evaluó utilizando Qwen2.5-VL-7B como base, entrenado exclusivamente con imágenes crudas de seis conjuntos de datos (ChartQA, AI2D, InfographicVQA, etc.).

• Rendimiento General: EvoLMM superó consistentemente al modelo base y a variantes con recompensas discretas en todos los benchmarks probados.
  • ChartQA: Mejora de 84.00% a 86.70% (+2.7%).
  • MathVista: Mejora de 68.46% a 70.52% (+2.06%).
  • ScienceQA: Mejora de 88.30% a 89.50% (+1.2%).
• Comparación con Baselines:
  • La adaptación con recompensa discreta (votación mayoritaria) mostró mejoras marginales o incluso degradación debido a la inestabilidad de las señales de gradiente.
  • La estrategia LoRA (ajuste fino de bajo rango) fue la más efectiva, preservando la alineación preentrenada mientras permitía la co-evolución. El ajuste completo (Full Fine-Tuning) resultó inestable y propenso al sobreajuste.
• Escalabilidad: La metodología funcionó bien en diferentes tamaños de modelos (desde 7B hasta 72B) y en diferentes arquitecturas (InternVL, Gemma, Llama), demostrando que es agnóstica al modelo.

5. Significado e Impacto

El trabajo de EvoLMM representa un paso significativo hacia la inteligencia multimodal autónoma.

• Eliminación de Cuellos de Botella: Al eliminar la dependencia de datos etiquetados y evaluadores externos, abre la puerta a la auto-mejora en dominios donde los datos son abundantes pero las anotaciones son escasas o inexistentes.
• Estabilidad en el Aprendizaje No Supervisado: Demuestra que las recompensas continuas basadas en la consistencia interna son superiores a las discretas para tareas de razonamiento complejo donde la "verdad" no es binaria o inmediata.
• Línea Base para Futuras Investigaciones: Proporciona una base sólida y simple para futuras investigaciones en modelos que aprenden de sí mismos, sugiriendo direcciones para la evolución de currículos y la generación de datos auto-generados a gran escala.

En resumen, EvoLMM prueba que un modelo multimodal puede "enseñarse a sí mismo" a razonar mejor simplemente interactuando con imágenes crudas y refinando su propia consistencia interna, sin necesidad de intervención humana.