NoisyGRPO: Incentivizing Multimodal CoT Reasoning via Noise Injection and Bayesian Estimation

Resumen Técnico: NoisyGRPO

1. El Problema

Aunque el Aprendizaje por Refuerzo (RL), y específicamente métodos como GRPO (Group Relative Policy Optimization), han demostrado ser efectivos para mejorar las capacidades de razonamiento de Cadenas de Pensamiento (CoT) en Modelos de Lenguaje Multimodales (MLLMs), existen limitaciones críticas al aplicarlos a tareas generales:

• Mala Generalización: Los modelos tienden a sobreajustarse a la distribución de entrenamiento y fallan al generalizar a escenarios fuera de distribución.
• Exploración Insuficiente: En el dominio generativo, la exploración se basa en el muestreo por temperatura. Sin embargo, esto a menudo conduce a rollouts (trayectorias de generación) casi idénticos, limitando la diversidad de la exploración y provocando una política determinista prematura.
• Falta de Supervisión del Proceso: Las recompensas basadas en reglas suelen juzgar solo la respuesta final, ignorando los pasos intermedios del razonamiento. Esto permite que el modelo aprenda "atajos" y alucinaciones visuales que no se transfieren bien.
• Sesgo en la Estimación de Ventaja: Al introducir ruido para forzar la exploración, se crea un escenario off-policy (la política de comportamiento genera datos con ruido, pero la política objetivo opera con entradas limpias). Esto introduce sesgo en la estimación de la ventaja, corrompiendo el gradiente de la política.

2. Metodología: NoisyGRPO

Los autores proponen NoisyGRPO, un marco unificado de RL multimodal que aborda estos problemas mediante dos componentes principales, sin añadir sobrecarga computacional significativa:

A. Política de Exploración con Inyección de Ruido (Noise-Injected Exploration Policy)

• Mecanismo: En lugar de solo variar la temperatura, el método inyecta ruido gaussiano controlado en las imágenes de entrada durante la fase de recolección de rollouts.
• Proceso: Para cada rollout, se muestrea un nivel de ruido $n_i$ de una distribución uniforme $U(0, 1)$. Este nivel se aplica a la imagen original mediante un proceso de difusión (simulando pasos de ruido desde la imagen limpia hasta ruido puro).
• Objetivo: Esto fuerza al modelo a generar respuestas diversas bajo diferentes condiciones de degradación visual, fomentando una exploración más amplia y reduciendo las alucinaciones al obligar al modelo a basarse en características visuales robustas. Las actualizaciones de la política se realizan utilizando entradas limpias para mantener la estabilidad.

B. Estimación de Ventaja Bayesiana (Bayesian Advantage Estimation)

• El Desafío: El ruido inyectado crea una discrepancia entre la política de comportamiento y la objetivo. Para corregir el sesgo en la estimación de la ventaja, se formula como un problema de inferencia bayesiana.
• Modelado:
  • Prior (A priori): El nivel de ruido inyectado ($n_i$) se utiliza como una estimación previa de la calidad de la trayectoria. Se asume que un ruido menor (imagen más limpia) correlaciona con una mayor calidad potencial.
  • Likelihood (Verosimilitud): La recompensa semántica observada (basada en la precisión de la respuesta y el formato) actúa como la observación.
  • Posterior: Se calcula una estimación posterior robusta de la ventaja de la trayectoria combinando el prior y la observación.
• Dinámica de Incertidumbre: La varianza del prior ($\sigma_n^2$) se ajusta dinámicamente en función de la variabilidad de las recompensas dentro del grupo. Si las recompensas son muy variables, la incertidumbre del prior disminuye, dando más peso a la observación real. Si las recompensas son consistentes, el prior (ruido) tiene más influencia.
• Resultado: Esto permite calibrar la actualización de la política, guiando al modelo a preferir trayectorias visualmente fundamentadas sobre las ruidosas, mitigando el efecto negativo del ruido en el gradiente.

3. Contribuciones Clave

1. Marco NoisyGRPO: Un nuevo enfoque de RL diseñado específicamente para mejorar el razonamiento CoT multimodal en tareas generales, superando las limitaciones de generalización del GRPO estándar.
2. Estrategia de Inyección de Ruido: Una técnica novedosa que utiliza perturbaciones visuales controladas para diversificar la exploración de la política, evitando la convergencia prematura a salidas idénticas.
3. Estimación de Ventaja Bayesiana: Un método principiado que fusiona la magnitud del ruido (como prior) con la recompensa observada para corregir el sesgo off-policy, resultando en estimaciones de ventaja más precisas y robustas.
4. Eficiencia: El método logra mejoras significativas sin requerir un modelo de valor separado ni un costo computacional excesivo adicional.

4. Resultados Experimentales

Los autores evaluaron NoisyGRPO en modelos de escala pequeña (Qwen2.5-VL 3B y 7B) y compararon su rendimiento contra GRPO estándar, SFT (Fine-Tuning Supervisado) y otros modelos de vanguardia en tres dimensiones:

• Calidad del CoT (MME-CoT): NoisyGRPO superó consistentemente a GRPO. En el modelo de 3B, logró una mejora de +4.4 puntos en la calidad del CoT y +3.7 puntos en el promedio de MMStar. También mejoró la robustez del razonamiento, superando en algunos métricos a modelos propietarios como GPT-4o.
• Capacidad General (MMStar): Mostró mejoras notables en razonamiento lógico, instancia y percepción fina. Sin embargo, hubo una ligera caída en tareas de "percepción gruesa" (Coarse Perception), atribuida a que el ruido puede perturbar demasiado las señales visuales necesarias para tareas de bajo nivel.
• Alucinaciones (AMBER): Redujo las alucinaciones generativas y discriminativas, aunque mostró una cobertura ligeramente menor en la generación de descripciones (debido a respuestas más concisas y fundamentadas).
• Eficiencia: El tiempo de entrenamiento y el uso de memoria GPU fueron comparables a GRPO, demostrando escalabilidad.
• Análisis de Entrenamiento: Se observó que el modelo aprende a depender menos del prior de ruido y más en la recompensa de corrección a medida que avanza el entrenamiento, y tiende a generar cadenas de pensamiento más cortas y precisas.

5. Significado e Impacto

El trabajo NoisyGRPO es significativo porque aborda uno de los cuellos de botella más grandes en la escalabilidad de la inteligencia de los MLLMs: la generalización del razonamiento.

• Superación de Limitaciones de GRPO: Demuestra que la inyección de ruido, cuando se gestiona correctamente mediante estimación bayesiana, no es un obstáculo, sino una herramienta poderosa para mejorar la exploración y la robustez.
• Eficacia en Modelos Pequeños: Los resultados son particularmente impactantes en modelos de parámetros reducidos (3B), sugiriendo que técnicas avanzadas de RL pueden democratizar el razonamiento multimodal de alto nivel sin depender exclusivamente de modelos masivos.
• Fundamento Teórico: La formulación bayesiana de la estimación de ventaja ofrece un marco teórico sólido para manejar la incertidumbre en entornos de RL multimodal, estableciendo un nuevo estándar para el diseño de algoritmos de optimización de políticas en presencia de perturbaciones de entrada.

En resumen, NoisyGRPO representa un avance crucial hacia MLLMs más robustos, capaces de razonar de manera fiable en escenarios visuales complejos y variados, superando las limitaciones de generalización de los métodos actuales.