CoRPO: Adding a Correctness Bias to GRPO Improves Generalization

El artículo presenta CoRPO, una modificación del algoritmo GRPO que introduce un umbral de corrección en la estimación de ventajas para evitar reforzar soluciones incorrectas, logrando así una mejor generalización y capacidades de razonamiento transferible entre diferentes dominios.

Lo esencial

¡Claro que sí! Imagina que estás entrenando a un estudiante muy inteligente (un modelo de Inteligencia Artificial) para que resuelva problemas de matemáticas o escriba código. El método tradicional, llamado GRPO, es como un profesor que organiza un examen grupal.

Aquí te explico la idea central del paper CoRPO usando analogías sencillas:

1. El Problema: El Profesor "Promedio" (GRPO)

Imagina que el profesor le da un problema difícil a un grupo de 10 estudiantes.

• La situación: Todos los estudiantes fallan. El estudiante A da una respuesta terrible. El estudiante B da una respuesta ligeramente menos terrible (pero sigue siendo incorrecta).
• El error del método antiguo (GRPO): El profesor calcula el "promedio" de las respuestas del grupo. Como todos fallaron, el promedio es muy bajo (muy negativo).
• La consecuencia: El estudiante B, aunque su respuesta es incorrecta, recibe una "estrella" (una recompensa positiva) porque su respuesta fue mejor que el promedio del grupo.
• El resultado: El modelo aprende que "hacer algo un poco menos malo que los demás" es suficiente para ganar. Esto es peligroso porque refuerza errores. El modelo se vuelve arrogante, cree que sabe más de lo que sabe y deja de explorar soluciones realmente buenas porque se conforma con ser "el mejor de los malos".

2. La Solución: El Profesor "Estricto pero Justo" (CoRPO)

Los autores proponen CoRPO (Optimización de Política Relativa a la Correctitud). Es como cambiar las reglas del examen.

En lugar de comparar al estudiante solo con sus compañeros, el profesor tiene una regla de oro fija: "Para recibir una estrella, tu respuesta debe ser correcta. Si es incorrecta, no importa si eres el mejor del grupo, no recibes nada positivo".

La analogía del "Filtro de Seguridad":
Imagina que el método antiguo es como una carrera donde el ganador es simplemente quien llega antes que el resto, incluso si todos corrieron en la dirección equivocada.
CoRPO pone un semáforo rojo en la meta.

• Si la respuesta es incorrecta (está detrás del semáforo), el modelo recibe un "no" fuerte (recompensa negativa), sin importar qué tan bien lo hizo comparado con los otros.
• Solo si la respuesta cruza la línea de "Correctitud" (el semáforo se pone verde), entonces sí se compara con los demás para ver quién es el más rápido o elegante.

3. ¿Por qué funciona mejor? (La Magia)

• Evita el "Síndrome del Impostor": El método antiguo hacía que el modelo pensara: "¡Soy genial! ¡Gané el grupo!" cuando en realidad estaba equivocado. CoRPO le dice: "No, estás equivocado. Vuelve a intentarlo". Esto evita que el modelo se fije en soluciones malas.
• Aprende de los errores (Refuerzo Negativo): CoRPO es muy bueno castigando los errores. En lugar de solo premiar lo bueno, se enfoca mucho en eliminar lo malo. Es como un escultor que primero quita toda la piedra que sobra (los errores) antes de pulir la estatua (mejorar la calidad).
• Generalización (El Superpoder):
  • Los modelos entrenados con el método antiguo (GRPO) son como estudiantes que memorizan las respuestas de sus amigos. Si les cambias el examen (por ejemplo, de programación a matemáticas), se confunden.
  • Los modelos con CoRPO son como estudiantes que realmente entienden la lógica. Como aprendieron a rechazar lo incorrecto de forma estricta, desarrollaron un "sentido común" robusto. Por eso, si entrenas a CoRPO en programación, ¡puede resolver problemas de matemáticas mejor que el otro modelo! Ha aprendido a pensar, no solo a copiar.

En resumen

GRPO es como decir: "¡Bien hecho! Fuiste mejor que el promedio del grupo" (aunque todos estuvieran equivocados).
CoRPO es como decir: "Si no es correcto, no es bueno. Solo si es correcto, entonces veamos quién lo hizo mejor".

Esta pequeña corrección (poner un "piso" de corrección) hace que la Inteligencia Artificial sea más honesta, aprenda más rápido de sus fallos y sea capaz de aplicar lo que aprende en un área a problemas totalmente nuevos.

Resumen técnico

Resumen Técnico: CoRPO (Correctness-Relative Policy Optimization)

1. El Problema: Limitaciones Fundamentales de GRPO

El artículo identifica limitaciones críticas en el Optimización de Políticas Relativas al Grupo (GRPO), que se ha convertido en el estándar para el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) en Grandes Modelos de Lenguaje (LLM). Aunque GRPO elimina la necesidad de una función de valor aprendida (crítico) utilizando la media de recompensas de un grupo de trayectorias como línea base, esto introduce dos modos de fallo fundamentales:

1. Sobreestimación de la Ventaja (Advantage Overestimation): GRPO estima la recompensa esperada utilizando una media muestral de un grupo pequeño (típicamente 4-16 trayectorias). Debido a la varianza de la muestra, la media del grupo ($b_{mean}$) puede caer por debajo de la recompensa esperada real ($\mu^*$). Cuando esto ocurre, incluso trayectorias subóptimas o incorrectas pueden recibir ventajas positivas infladas simplemente porque superan a un promedio de grupo pobre, lo que lleva a actualizaciones de política demasiado agresivas y a un sobreajuste.
2. Refuerzo de Comportamientos Incorrectos (Sign Inversión): En escenarios con recompensas ordinales (comunes cuando se usa un LLM como juez), una trayectoria fallida (incorrecta) puede recibir una ventaja positiva si su recompensa es mayor que la media del grupo, incluso si la recompensa es objetivamente negativa. Esto invierte la señal de aprendizaje deseada, reforzando activamente comportamientos erróneos en lugar de suprimirlos.

Estos problemas conducen a una afinación de la distribución (distribution sharpening) prematura, donde el modelo explota soluciones específicas del dominio de entrenamiento en lugar de aprender patrones de razonamiento robustos y transferibles.

2. Metodología: CoRPO

Los autores proponen CoRPO (Correctness-Relative Policy Optimization), una modificación simple pero efectiva al objetivo de GRPO. La idea central es introducir un sesgo de corrección mediante el recorte (clipping) de la línea base.

• Mecanismo: En lugar de usar únicamente la media del grupo ($b_{mean}$), CoRPO define una nueva línea base ($b_{CoRPO}$) que es el máximo entre la media del grupo y un umbral de corrección mínimo fijo ($R_{min\_correct}$):
  $$b_{CoRPO} = \max(R_{min\_correct}, b_{mean})$$
• Cálculo de la Ventaja: La ventaja para una trayectoria $y_i$ se calcula como:
  $$A_{CoRPO}(y_i) = R(y_i) - b_{CoRPO}$$

Regímenes de Aprendizaje:

1. Régimen de Búsqueda de Corrección (Correctness-Seeking): Cuando el rendimiento del modelo es pobre y la media del grupo cae por debajo del umbral de corrección ($b_{mean} < R_{min\_correct}$), la línea base se fija en el umbral. Esto garantiza que cualquier trayectoria con recompensa inferior al umbral (incorrecta) reciba una ventaja negativa, eliminando el refuerzo de errores.
2. Régimen de Búsqueda de Calidad (Quality-Seeking): Una vez que el modelo produce consistentemente soluciones correctas ($b_{mean} \ge R_{min\_correct}$), la línea base vuelve a ser la media del grupo, permitiendo que las trayectorias correctas compitan entre sí para refinar la calidad.

3. Contribuciones Clave

1. Identificación de Fallos: Análisis teórico y empírico de dos modos de fallo de GRPO: la sobreestimación de la ventaja debido a la varianza de la muestra y la inversión de la señal de aprendizaje bajo recompensas ordinales.
2. Propuesta de CoRPO: Una modificación de línea base que resuelve ambos problemas sin sacrificar la eficiencia computacional de GRPO (no requiere entrenar un crítico adicional).
3. Garantía de Corrección: Demostración teórica de que CoRPO asegura que las trayectorias incorrectas nunca reciban una ventaja positiva, independientemente de la composición del grupo.
4. Mejora en Generalización: Evidencia empírica de que CoRPO mitiga la explotación prematura y fomenta el aprendizaje de patrones de razonamiento transferibles entre dominios.

4. Resultados Experimentales

Los autores entrenaron verificadores explicativos para tareas de matemáticas y codificación utilizando modelos base Qwen3-8B, comparando GRPO y CoRPO.

• Generalización Fuera de Dominio (OOD): CoRPO superó consistentemente a GRPO en tareas OOD.
  • Ejemplo: Modelos entrenados en codificación con CoRPO lograron un 90.1% de precisión en tareas de matemáticas (OOD), superando al GRPO (88.8%), a pesar de que las matemáticas son generalmente más fáciles. Esto indica que CoRPO aprende patrones de razonamiento generales en lugar de heurísticas específicas del dominio.
• Dinámica de Entrenamiento:
  • Refuerzo Negativo: CoRPO aprende principalmente mediante refuerzo negativo de comportamientos incorrectos al inicio del entrenamiento, lo que estabiliza la exploración. En contraste, GRPO refuerza tanto positivos como negativos de manera equitativa, lo que lleva a una explotación temprana.
  • Curriculum Implícito: CoRPO muestra un progreso más lento en tareas difíciles al principio (evitando actualizaciones ruidosas), pero alcanza la paridad o superioridad al final del entrenamiento, especialmente en tareas difíciles y OOD.
• Robustez al Tamaño del Grupo: CoRPO demostró ser robusto incluso con tamaños de grupo muy pequeños (n=4), donde GRPO sufre de alta varianza y sesgo.

5. Significado e Impacto

El trabajo de CoRPO es significativo porque aborda una debilidad fundamental en la metodología RLVR actual para LLMs. Al forzar una garantía de corrección, CoRPO:

• Previene el colapso de la distribución y la sobreexplotación de soluciones subóptimas.
• Permite que los modelos aprendan a "no cometer errores" antes de intentar "cometer errores menos graves", fomentando una exploración más efectiva.
• Mejora la capacidad de los modelos para transferir habilidades de razonamiento entre dominios distintos (ej. de código a matemáticas), un indicador clave de inteligencia general y robustez.

En resumen, CoRPO demuestra que una simple modificación en la estimación de la ventaja, al priorizar la corrección absoluta sobre la comparación relativa, puede transformar la dinámica de aprendizaje de los LLMs, logrando modelos más generalizables y estables sin aumentar la complejidad computacional.