💻 computer science

All Roads Lead to Rome: Incentivizing Divergent Thinking in Vision-Language Models

Este artículo identifica que el aprendizaje por refuerzo en modelos de visión y lenguaje provoca un colapso de la diversidad al converger prematuramente en estrategias de razonamiento limitadas, y propone la Optimización de Política de Múltiples Grupos (MUPO) como una solución efectiva para fomentar el pensamiento divergente y mejorar el rendimiento.

Autores originales: Xinyu Tian, Shu Zou, Zhaoyuan Yang, Mengqi He, Peter Tu, Jing Zhang

Publicado 2026-04-02

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Xinyu Tian, Shu Zou, Zhaoyuan Yang, Mengqi He, Peter Tu, Jing Zhang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que estás intentando resolver un rompecabezas muy difícil o encontrar la mejor ruta para llegar a un destino. Hasta ahora, los modelos de inteligencia artificial (específicamente los que combinan visión y lenguaje) tenían dos formas principales de aprender, y este paper descubre un problema interesante en una de ellas y propone una solución brillante.

Aquí tienes la explicación en español, usando analogías sencillas:

1. El Problema: "Todos los caminos llevan a Roma, pero solo uno está abierto"

Imagina que tienes un modelo base (la inteligencia artificial "normal" antes de entrenarla). Piensa en él como un explorador curioso. Cuando se le da un problema, este explorador prueba muchas rutas diferentes:

"¿Y si cuento los objetos de izquierda a derecha?"
"¿Y si los elimino de a pares?"
"¿Y si uso una regla de tres?"

A veces, este explorador se equivoca en cada intento individual, pero como prueba tantas cosas diferentes, eventualmente encuentra la respuesta correcta. Es como tener un equipo de 10 personas pensando en cosas distintas; aunque algunas ideas sean locas, una de ellas funcionará.

Por otro lado, tenemos los modelos entrenados con RL (como GRPO, la técnica actual). Imagina que este modelo es un estudiante obsesivo con un solo método.

El estudiante descubre que "resolver ecuaciones" funciona bien en un examen.
¡Genial! Entonces, decide que esa es la única forma de resolver cualquier problema de matemáticas.
Se vuelve muy bueno y rápido usando esa única técnica (profundidad), pero si el problema requiere un truco diferente (como contar por eliminación), el estudiante se atasca. Se ha convertido en un experto en un solo camino, pero ha perdido la capacidad de explorar otros.

El descubrimiento clave del paper:
Los investigadores notaron que, aunque el "estudiante obsesivo" (RL) es muy preciso si le das un solo intento, el "explorador curioso" (modelo base) gana la partida si le das varios intentos. El modelo base tiene una "diversidad de pensamiento" que el modelo RL ha perdido.

2. La Causa: El "Colapso de la Diversidad"

¿Por qué pasa esto? El paper explica que el entrenamiento actual (GRPO) actúa como un imán muy fuerte.
Al principio, el modelo prueba muchas cosas. Pero muy rápido, el imán lo atrae hacia la estrategia que le da la mayor recompensa inmediata. El modelo piensa: "¡Oh, esta estrategia funciona! ¡Mejor dejo de probar las demás y me enfoco solo en esta!".

Esto se llama colapso de la diversidad. El modelo se encierra en una "burbuja" de una sola estrategia. Si esa estrategia falla (porque el problema es raro o difícil), el modelo no tiene un "Plan B". Se queda atascado en un óptimo local (una solución buena, pero no la mejor posible).

3. La Solución: MUPO (Optimización de Política Multi-Grupo)

Para arreglar esto, los autores proponen MUPO. Imagina que en lugar de tener un solo estudiante obsesivo, tienes tres equipos de estudiantes trabajando en el mismo problema, pero con reglas especiales:

Grupos separados: Dividen las respuestas del modelo en varios grupos (como si fueran tres mesas diferentes en una clase).
Premio por ser diferente: No solo premian al grupo que da la respuesta correcta, sino que también les dan puntos extra si sus respuestas son diferentes de las de los otros grupos.
- Analogía: Es como un concurso de cocina donde no solo premias el plato más delicioso, sino que también premias al chef que usa ingredientes que nadie más está usando.
Equilibrio: Al principio, el sistema anima a los grupos a explorar todo (diversidad). A medida que avanzan, se enfocan en refinar esas ideas para que sean perfectas (profundidad).

4. ¿Qué logran con esto?

Gracias a MUPO, el modelo logra lo mejor de los dos mundos:

Profundidad: Sigue siendo capaz de pensar muy a fondo en una solución (como el estudiante obsesivo).
Amplitud: Mantiene la capacidad de probar estrategias diferentes (como el explorador curioso).

El resultado:
En las pruebas, estos nuevos modelos (llamados MUPO-Thinker) no solo son más inteligentes, sino que son mucho más escalables. Si les das más tiempo o más intentos para resolver un problema, su rendimiento mejora drásticamente porque tienen un "arsenal" de estrategias variadas en lugar de solo una.

En resumen

El paper dice: "Oye, la inteligencia artificial actual se está volviendo demasiado rígida, como un perro que solo sabe hacer un truco. Vamos a entrenarla para que sea como un maestro de ajedrez que puede jugar con muchas aperturas diferentes, no solo una. Así, cuando el juego se ponga difícil, siempre tendrá un movimiento sorpresa en la manga."

¡Y eso es lo que hace MUPO: incentiva al modelo a pensar de formas diferentes, asegurando que "todos los caminos" (no solo uno) lleven a la solución correcta!

1. El Problema: Colapso de la Diversidad en RL

El artículo identifica una limitación fundamental en los modelos de Visión-Lenguaje (VLM) entrenados con Aprendizaje por Refuerzo (RL), específicamente utilizando Optimización de Política Relativa de Grupo (GRPO).

Comportamiento Contradictorio: Aunque los modelos RL muestran una mayor precisión en un solo intento (razonamiento profundo), tienden a sufrir un "colapso de diversidad". Durante el entrenamiento, convergen prematuramente a un subconjunto muy estrecho de estrategias de razonamiento, descartando la mayoría de las alternativas potenciales.
Consecuencias:
- Óptimos Locales: Al priorizar la explotación de una estrategia dominante sobre la exploración de otras, el modelo se estanca en soluciones subóptimas.
- Mala Escalabilidad: A diferencia de los modelos base (que, aunque menos refinados en una sola ruta, exhiben un pensamiento divergente y amplio), los modelos RL fallan al permitir múltiples intentos o muestreos, ya que carecen de la variedad de estrategias necesaria para resolver problemas complejos desde diferentes ángulos.
Evidencia Empírica: Los autores demuestran que, en tareas como la geometría o el conteo de objetos, los modelos RL tienden a usar métodos tediosos o propensos a errores (ej. ecuaciones complejas o conteo secuencial), mientras que los modelos base pueden encontrar estrategias más eficientes (ej. eliminación o validación por opciones) si se les permite explorar múltiples caminos.

2. Metodología: Multi-Group Policy Optimization (MUPO)

Para abordar el colapso de la diversidad, los autores proponen MUPO, un algoritmo de política diseñado como un reemplazo directo de GRPO que fomenta el pensamiento divergente.

Segmentación en Grupos: En lugar de tratar todas las respuestas generadas como un único grupo global, MUPO particiona las $N$ respuestas muestreadas en $K$ grupos distintos basándose en la similitud de sus embeddings de razonamiento (usando clustering).
Estimación Local de Ventajas: A diferencia de GRPO, que calcula las ventajas globalmente, MUPO calcula las ventajas de manera localizada dentro de cada grupo. Esto permite que cada grupo refine su propia estrategia de razonamiento de forma independiente.
Recompensa de Diversidad: Se introduce una nueva componente de recompensa ( $R_{div}$ $R_{d i v}$ ) que mide la distancia (distancia coseno) entre las trayectorias de un grupo y las de los demás grupos.
- Esta recompensa se suma a la recompensa de precisión y formato, pero solo si la respuesta es correcta (para evitar el "hacking" de recompensas).
- El peso de esta recompensa ( $\lambda$ ) sigue un programa de annealing (decaimiento coseno): comienza alto para fomentar la exploración amplia al inicio del entrenamiento y disminuye gradualmente para enfocarse en la explotación de las mejores soluciones encontradas.
Balance de Carga: Se utiliza un escalador ( $w_k$ ) para evitar que los grupos más grandes dominen el proceso de optimización, asegurando que todas las estrategias tengan una oportunidad de ser refinadas.

3. Contribuciones Clave

Identificación de una Diferencia Fundamental: Se establece que los modelos RL tienden a un razonamiento profundo pero estrecho, mientras que los modelos base exhiben un pensamiento más amplio y diverso.
Diagnóstico del Colapso de Diversidad: Se demuestra que GRPO sufre un colapso de diversidad temprano en el entrenamiento, lo que limita su capacidad de escalado y generalización.
Propuesta de MUPO: Se introduce un algoritmo simple pero efectivo que integra el pensamiento paralelo (divergente) dentro del marco de RL, logrando un equilibrio entre profundidad (refinamiento) y amplitud (exploración).

4. Resultados Experimentales

Los autores evaluaron MUPO-Thinker (en escalas de 3B y 7B parámetros) en nueve benchmarks de razonamiento (incluyendo MathVerse, MathVista, LogicVista, HallusionBench, etc.).

Rendimiento General: MUPO-Thinker-7B superó a los modelos RL de base más fuertes (como Vision-R1 y R1-OneVision) logrando un aumento promedio del 2.5% en precisión (acc@1) en benchmarks matemáticos y del 2.3% en benchmarks generales.
Escalabilidad en Tiempo de Inferencia (Test-Time Scaling): El mayor impacto se observa en acc@4 (cuando se permiten 4 intentos). MUPO-Thinker-7B superó a los baselines existentes en un 6.0% en matemáticas y 6.2% en tareas generales. Esto demuestra que el modelo puede encontrar la solución correcta explorando múltiples caminos, algo en lo que los modelos GRPO fallan.
Comparación con Modelos Base: En la escala de 3B, MUPO-Thinker alcanzó un rendimiento comparable a varios baselines fuertes de 7B, demostrando una mejora significativa en la capacidad de razonamiento.
Análisis de Diversidad: Las visualizaciones t-SNE muestran que, a diferencia de GRPO (que tiene una distribución densa y unimodal), MUPO mantiene una estructura multimodal amplia, permitiendo recuperar soluciones correctas incluso cuando la estrategia principal falla.

5. Significado e Impacto

Este trabajo es significativo porque:

Cuestiona el Paradigma Actual: Sugiere que el RL puro, tal como se aplica actualmente con GRPO, puede estar sofocando la capacidad inherente de los modelos base para pensar de manera creativa y diversa.
Nueva Dirección para RL: Propone que la verdadera mejora en el razonamiento de los VLM no proviene solo de hacer que el modelo piense "más profundo" en una sola línea, sino de mantener y refinar múltiples líneas de pensamiento simultáneamente.
Eficiencia y Escalabilidad: MUPO ofrece una vía para mejorar el rendimiento de los modelos sin necesidad de arquitecturas más complejas o datos masivos adicionales, simplemente optimizando cómo se utiliza la capacidad de muestreo durante el entrenamiento y la inferencia.

En resumen, el artículo argumenta que "todos los caminos llevan a Roma" y que para que los modelos de IA lleguen allí de manera eficiente, deben ser incentivados a explorar múltiples caminos (divergencia) en lugar de converger prematuramente en uno solo.