From Exploration to Exploitation: A Two-Stage Entropy RLVR Approach for Noise-Tolerant MLLM Training

1. El Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha demostrado ser altamente efectivo para mejorar las capacidades de razonamiento de los Modelos de Lenguaje Grandes Multimodales (MLLM), especialmente mediante algoritmos como GRPO (Group Relative Policy Optimization). Sin embargo, el RLVR depende críticamente de datos de alta calidad con etiquetas precisas.

En escenarios del mundo real, los conjuntos de datos a menudo contienen ruido en las anotaciones (etiquetas incorrectas). Esto presenta dos desafíos principales para los métodos RLVR existentes:

• Sobreajuste a etiquetas erróneas: Los modelos pueden converger prematuramente a respuestas incorrectas basadas en recompensas falsas.
• Supresión de la diversidad: Los métodos que minimizan la entropía (para aumentar la confianza) reducen la diversidad de las respuestas generadas. Esto es crítico porque GRPO necesita una variación intra-grupo significativa para estimar ventajas de manera fiable y realizar un ranking efectivo de las respuestas.

2. Metodología Propuesta

Los autores proponen un método de optimización de entropía a nivel de token en dos etapas para guiar el entrenamiento de RLVR, transitando dinámicamente de la "exploración" a la "explotación".

A. Entropía a Nivel de Token

En lugar de considerar la incertidumbre a nivel de secuencia completa, el método calcula la entropía en cada paso de generación de tokens. Esto permite un control granular sobre la predictibilidad del modelo.

B. El Esquema de Dos Etapas

El objetivo de pérdida total combina la pérdida estándar de GRPO ($\mathcal{L}_{GRPO}$) con un término de regularización de entropía ($\mathcal{L}_{entropy}$) cuyo signo y magnitud cambian según la etapa de entrenamiento:

$$\mathcal{L}_{total} = \mathcal{L}_{GRPO} + \lambda(\tau) \mathcal{L}_{entropy}$$

Donde $\lambda(\tau)$ es un coeficiente que varía con el paso de entrenamiento $\tau$:

1. Etapa 1: Exploración (Maximización de Entropía):
   • Objetivo: Maximizar la entropía de los tokens ($\lambda > 0$).
   • Función: Fomenta la generación de respuestas diversas y evita que el modelo se atasque en etiquetas ruidosas o soluciones subóptimas al principio. Esto asegura que GRPO tenga suficiente variabilidad en el grupo de respuestas para estimar ventajas informativas.
2. Etapa 2: Explotación (Minimización de Entropía):
   • Objetivo: Minimizar la entropía ($\lambda < 0$).
   • Función: Una vez que el modelo ha explorado el espacio de soluciones, se reduce la entropía para consolidar el conocimiento adquirido, fomentando salidas más confiables, deterministas y precisas.

Este enfoque dinámico equilibra la necesidad de explorar para evitar el sobreajuste al ruido y la necesidad de explotar para refinar la precisión.

3. Contribuciones Clave

• Análisis de Robustez: Realizaron una evaluación exhaustiva de cómo el ruido en las anotaciones afecta a los MLLM en tareas multimodales (grounding de GUI, clasificación fina y detección de objetos), demostrando que los métodos basados en señales internas o externas tienen limitaciones bajo ruido severo.
• Método de Dos Etapas: Introdujeron un nuevo paradigma de programación de entropía que supera a las estrategias estáticas (solo minimizar o solo maximizar). Identificaron que la minimización exclusiva de entropía es perjudicial bajo ruido, mientras que la maximización exclusiva impide la convergencia.
• Validación Empírica: Demostraron que su método es agnóstico al modelo y a la tarea, funcionando bien en diferentes arquitecturas (Qwen-VL, InternVL) y escalas.

4. Resultados Experimentales

Los experimentos se realizaron en tareas como ScreenSpot (grounding de GUI), Pets37 (clasificación) y detección de objetos de vocabulario abierto (OVOD), con niveles de ruido de anotación que van del 0% al 100%.

• Rendimiento Superior bajo Ruido: El método de dos etapas ("GRPO w. Two.") superó consistentemente a GRPO estándar y a variantes de una sola etapa (minimización o maximización pura).
  • En ScreenSpot con 50% de ruido, el método propuesto alcanzó un 80.2% de precisión, superando al GRPO estándar (76.2%) y acercándose al rendimiento con datos limpios.
  • Con 100% de ruido (todas las etiquetas incorrectas), logró un 75.8%, superando significativamente a las baselines.
• Escalabilidad: Los modelos más grandes (ej. Qwen2-VL-7B) se beneficiaron más del esquema de dos etapas, mostrando un aumento de hasta 8.6% en precisión bajo ruido del 50%.
• Generalización Fuera de Distribución (OOD): El modelo entrenado con este método mostró una mejor capacidad de generalización en conjuntos de datos no vistos (como ScreenSpot-Pro y OS-World-G), manteniendo una precisión robusta incluso con datos de entrenamiento ruidosos.
• Análisis Cualitativo: Las visualizaciones mostraron que la minimización pura de entropía lleva a un colapso del policy (todas las respuestas son idénticas y erróneas), mientras que la maximización pura genera diversidad pero falta de precisión. El método de dos etapas logra un equilibrio: trazas de razonamiento diversas que finalmente convergen en la respuesta correcta.

5. Significado e Impacto

Este trabajo es significativo porque aborda una barrera crítica para la adopción real del RLVR: la dependencia de datos perfectamente etiquetados. Al demostrar que es posible entrenar MLLM robustos incluso con conjuntos de datos altamente ruidosos mediante una gestión dinámica de la entropía, el método:

1. Reduce la barrera de entrada: Permite utilizar datos de anotación más baratos o generados automáticamente (que suelen ser ruidosos) para el entrenamiento por refuerzo.
2. Mejora la estabilidad: Proporciona un mecanismo para evitar el colapso del policy y el sobreajuste, problemas comunes en RL con recompensas imperfectas.
3. Establece un nuevo estándar: Sugiere que la optimización de políticas en RLVR debe ser dinámica y adaptarse a las fases del aprendizaje, en lugar de aplicar una regularización estática.

En resumen, el enfoque "De la Exploración a la Explotación" ofrece una solución elegante y efectiva para entrenar modelos multimodales inteligentes en entornos de datos imperfectos, mejorando tanto la robustez como la precisión final.