💬 NLP

Constrained Group Relative Policy Optimization

Este artículo presenta Constrained GRPO, una extensión basada en el método de Lagrange de la Optimización de Política Relativa de Grupo que mejora la imposición de restricciones y la estabilidad del entrenamiento al escalar las ventajas estandarizadas en lugar de las recompensas puras para eliminar los efectos de acoplamiento perjudiciales causados por la normalización dentro del grupo.

Autores originales: Roger Girgis, Rodrigue de Schaetzen, Luke Rowe, Azalée Robitaille, Christopher Pal, Liam Paull

Publicado 2026-09-03

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Roger Girgis, Rodrigue de Schaetzen, Luke Rowe, Azalée Robitaille, Christopher Pal, Liam Paull

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, los investigadores están enseñando a grandes modelos informáticos a resolver problemas complejos, desde navegar en coches autónomos hasta resolver difíciles acertijos matemáticos. Estos modelos aprenden mediante ensayo y error, un proceso conocido como aprendizaje por refuerzo. Imagine a un estudiante intentando resolver un laberinto; recibe una recompensa por llegar a la salida y una penalización por chocar contra una pared. Con el tiempo, el estudiante aprende a maximizar las recompensas y evitar las penalizaciones. Sin embargo, surge un desafío importante cuando queremos que el modelo siga reglas estrictas, como "nunca atropellar a un peatón" o "usar siempre una gramática correcta", mientras intenta ser útil. Si las reglas son demasiado rígidas, el modelo podría volverse inútil; si son demasiado laxas, podría romperlas. Para resolver esto, los científicos utilizan un marco matemático que equilibra el deseo de tener éxito con la necesidad de obedecer restricciones, ajustando la importancia de cada regla a medida que el modelo aprende.

Un método popular para enseñar a estos modelos, llamado Optimización de Política Grupal Relativa (Group Relative Policy Optimization), se ha convertido en un favorito porque es eficiente y no requiere de un modelo "juez" separado para evaluar cada paso. En su lugar, compara un grupo de respuestas generadas para la misma pregunta para decidir cuáles son mejores. Si bien este método funciona bien para tareas generales, los investigadores descubrieron que aplicarlo a reglas de seguridad estrictas era complicado. En un nuevo estudio, un equipo del Instituto de IA Mila – Quebec y de la École Polytechnique de Montréal descubrió que la forma estándar de combinar diferentes objetivos en una sola puntuación estaba, de hecho, rompiendo la capacidad del sistema para seguir las reglas. Introdujeron un nuevo enfoque, la Optimización de Política Grupal Relativa con Restricciones (Constrained Group Relative Policy Optimization), que corrige este fallo y permite a los modelos aprender comportamientos complejos mientras cumplen estrictamente con los límites de seguridad.

El problema central que identificaron los investigadores fue cómo la computadora maneja múltiples objetivos a la vez. En el enfoque estándar, el modelo toma todas sus recompensas y penalizaciones, las mezcla en un solo número y luego normaliza ese número para que sea más fácil aprender de él. Los investigadores demostraron que este proceso de mezcla crea una interferencia oculta. Cuando la computadora ajusta el peso de una regla, cambia involuntariamente la importancia relativa de todas las demás reglas también. Es como intentar ajustar el volumen de un instrumento individual en una orquesta girando una perilla que también desplaza el equilibrio de toda la banda; puedes intentar hacer que los violines suenen más fuerte, pero al hacerlo, accidentalmente haces que los tambores suenen demasiado bajos y las flautas demasiado fuertes. Esto hace que sea muy difícil para el modelo aprender exactamente qué regla seguir, lo que a menudo provoca que ignore las restricciones de seguridad o que se vuelva inestable durante el entrenamiento.

Para solucionar esto, los investigadores cambiaron el orden de las operaciones. En lugar de mezclar las recompensas y penalizaciones primero, dejaron que el modelo calculara el valor de cada regla por separado y las normalizara individualmente. Solo después de que cada regla ha sido tratada justamente por sí misma, las combinan utilizando los pesos aprendidos. Este simple cambio elimina la interferencia oculta. Al mantener las señales separadas hasta el final, el modelo puede ver claramente cuánto está mejorando en cada regla específica. El resultado es un proceso de aprendizaje mucho más estable y predecible. Los investigadores probaron este nuevo método en tres entornos muy diferentes: un juego sencillo basado en una cuadrícula donde un agente tenía que evitar la lava y gestionar una batería, una simulación realista de conducción autónoma con miles de escenarios de tráfico complejos, y una tarea de razonamiento matemático que involucraba problemas de palabras de nivel escolar.

En el juego basado en la cuadrícula, el nuevo método permitió que el agente aprendiera de manera mucho más fluida. El enfoque estándar causaba que el agente se volviera excesivamente cauteloso, evitando la lava de forma tan agresiva que apenas se movía, mientras que el nuevo método permitió al agente usar su "presupuesto" de riesgo de manera efectiva, alcanzando la meta mientras se mantenía seguro. En la simulación de conducción autónoma, el nuevo enfoque produjo conductores que no solo eran más seguros, sino también más eficaces para completar sus rutas. Los modelos entrenados con el nuevo método lograron puntuaciones más altas en cumplimiento de seguridad y progreso de la ruta en comparación con los métodos anteriores que mezclaban las señales primero. Lograron evitar colisiones y seguir las leyes de tránsito sin sacrificar su capacidad para avanzar, un equilibrio que otros métodos tuvieron dificultades para mantener.

La prueba final consistió en enseñar a un modelo de lenguaje a resolver problemas matemáticos asegurando que las respuestas fueran cortas, tuvieran el formato correcto y contuvieran números válidos. Aquí, el nuevo método volvió a demostrar ser superior. Los modelos entrenados con el enfoque de mezcla estándar a menudo sacrificaban la corrección para hacer sus respuestas más cortas o para ajustarse a un formato específico. En contraste, el nuevo método aseguró que el modelo priorizara hacer bien las matemáticas, manteniendo al mismo tiempo altos estándares de formato y longitud. A través de diferentes tamaños de modelos informáticos, desde los más pequeños con 1.500 millones de parámetros hasta los más grandes con 7.000 millones, el nuevo enfoque produjo consistentemente resultados más precisos sin necesidad de componentes de entrenamiento adicionales y costosos.

Los hallazgos sugieren que la forma en que combinamos las diferentes señales de aprendizaje es tan importante como las señales mismas. Simplemente cambiando el orden en el que la computadora procesa sus recompensas y reglas, los investigadores pudieron crear un sistema que respeta las restricciones de manera mucho más fiable. Este trabajo no ofrece solo una pequeña mejora; proporciona un camino más claro para entrenar a la inteligencia artificial para que opere de forma segura en el mundo real, donde seguir las reglas es a menudo tan importante como alcanzar el objetivo. El estudio confirma que cuando queremos que la IA sea tanto capaz como segura, debemos tener cuidado de no dejar que la forma en que medimos el éxito confunda al modelo sobre lo que realmente debe hacer.

Resumen Técnico: Optimización de Política Relativa de Grupo con Restricciones (Constrained GRPO)

Planteamiento del Problema

La Optimización de Política Relativa de Grupo (GRPO) ha emergido como un enfoque dominante y sin crítico para el ajuste fino de Modelos de Lenguaje de Gran Escala (LLMs) y Modelos de Lenguaje y Visión (VLMs), particularmente en dominios como el razonamiento matemático y la toma de decisiones encarnada. GRPO elimina la necesidad de una función de valor aprendida (crítico) mediante la estimación de ventajas a través de la normalización intra-grupo de las recompensas obtenidas de múltiples salidas muestreadas para una sola consulta.

Sin embargo, la compatibilidad de GRPO con la optimización de política con restricciones —esencial para dominios de seguridad crítica donde se deben imponer umbrales de comportamiento específicos— no ha sido examinada rigurosamente. Los métodos existentes de GRPO multiobjetivo suelen depender de la ponderación manual de los términos de recompensa, lo cual carece del marco principista de los Procesos de Decisión de Markov con Restricciones (CMDPs). Los CMDPs imponen restricciones mediante umbrales explícitos en lugar de pesos fijos, utilizando típicamente la relajación de Lagrange. El desafío central abordado en este trabajo es la integración de la imposición de restricciones basada en Lagrange dentro del marco de GRPO sin introducir inestabilidad o distorsionar los compromisos (trade-offs) previstos entre los objetivos.

Metodología: GRPO con Restricciones

Los autores proponen Constrained GRPO, un marco que combina GRPO para la optimización de la política con la relajación de Lagrange para el manejo de restricciones. El método utiliza funciones de costo indicadoras para definir restricciones de comportamiento (por ejemplo, violaciones de seguridad) y aprende multiplicadores para imponer tasas de comportamiento objetivo.

El Modo de Fallo Crítico: Escalar Recompensas

Un enfoque directo para combinar GRPO con métodos de Lagrange implica escalar las recompensas antes de la normalización. En este enfoque, los términos de recompensa y costo se combinan linealmente utilizando los multiplicadores de Lagrange actuales ( $\lambda$ ) para formar una única señal escalar, la cual es luego estandarizada (restando la media y dividiendo por la desviación estándar) dentro del grupo.

El artículo identifica un modo de fallo crítico en este enfoque: el acoplamiento de denominador compartido.

Dependencia de la Normalización: El denominador de estandarización (la desviación estándar del grupo, $\hat{\sigma}_{S_\lambda}$ ) depende de la señal escalada, la cual es una función de los multiplicadores.
Sensibilidad Acoplada: Cambiar un solo multiplicador $\lambda_k$ altera no solo el peso de su restricción correspondiente, sino también el factor de normalización para todos los componentes (recompensas y otras restricciones).
Consecuencia: Esto introduce un acoplamiento mediado por covarianza donde el peso efectivo de una restricción se convierte en una función compleja y no lineal de todos los multiplicadores y las estadísticas actuales del lote (batch). Esto conduce a una dinámica de multiplicadores inestable, donde aumentar un multiplicador de penalización puede, inadvertidamente, suprimir la señal de recompensa u otras restricciones, impidiendo la imposición efectiva de las tasas de comportamiento especificadas.

La Solución Propuesta: Escalar Ventajas

Para resolver esto, los autores proponen escalar las ventajas estandarizadas en lugar de las recompensas. El procedimiento es el siguiente:

Estandarización por Componente: Cada componente de recompensa y costo se estandariza de forma independiente dentro del grupo (restando la media del componente y dividiendo por la desviación estándar del componente).
$Z_{R,i} = \frac{R_i - \bar{R}}{\hat{\sigma}_R}, \quad Z_{C_k,i} = \frac{C_{k,i} - \bar{C}_k}{\hat{\sigma}_{C_k}}$
Combinación Lineal: Los componentes estandarizados se combinan luego usando los multiplicadores de Lagrange para formar la ventaja final:
$A_i = \lambda_R Z_{R,i} - \sum_{k=1}^K \lambda_k Z_{C_k,i}$

Justificación Teórica:
Los autores proporcionan un análisis de sensibilidad (Teorema 4.1 y Corolario 4.2) que muestra que escalar las ventajas elimina el acoplamiento de denominador compartido. Si bien los multiplicadores normalizados por softmax todavía introducen competencia entre componentes (ya que aumentar un logit reduce la masa de otros), las direcciones de los componentes ya están normalizadas. En consecuencia, la actualización de la variable primal responde directamente a los cambios en los multiplicadores sin el efecto de confusión de un denominador de normalización cambiante. Esto produce una actualización mejor condicionada y asegura que los aumentos en los multiplicadores de Lagrange se traduzcan de manera fiable en una imposición más fuerte de las restricciones correspondientes.

Contribuciones Clave

Introducción del Marco: La introducción de Constrained GRPO, un marco de optimización de política que impone restricciones de comportamiento especificadas por el usuario mediante costos indicadores y multiplicadores de Lagrange aprendidos, eliminando la necesidad de un ajuste manual de los pesos de recompensa.
Análisis Teórico: Una caracterización formal de la respuesta local de la actualización primal a los cambios en las variables duales. Los autores demuestran que escalar las recompensas antes de la normalización introduce un acoplamiento específico que distorsiona los pesos efectivos de los objetivos, mientras que escalar las ventajas evita este problema.
Validación Empírica: Demostración en tres dominios distintos de que escalar las ventajas conduce a un aprendizaje más estable y a una imposición de restricciones más fiel en comparación con escalar las recompensas.

Resultados Experimentales

Los autores evaluaron Constrained GRPO en tres bancos de pruebas:

1. Entorno Gridworld

En un gridworld controlado de 10x10 con lava y restricciones de batería:

Ventajas Escaladas: Produjeron curvas de aprendizaje estables y permitieron que las tasas de violación de restricciones se adaptaran naturalmente hacia los umbrales especificados (0.01). Los multiplicadores de Lagrange se ajustaron eficazmente para utilizar el presupuesto de costo disponible.
Recompensas Escaladas: Causaron que las tasas de restricción colapsaran a casi cero temprano en el entrenamiento, independientemente de los valores de los multiplicadores. Los pesos efectivos se volvieron ruidosos y se desacoplaron de los multiplicadores aprendidos, lo que llevó a un comportamiento inconsistente.

2. NAVSIM-v2 (Conducción Autónoma)

Evaluado en la división "Navhard" de NAVSIM-v2 usando el Extended PDM Score (EPDMS), que agrega penalizaciones de seguridad (colisiones, área transitable, etc.) y métricas de rendimiento.

Rendimiento: Constrained GRPO con ventajas escaladas logró el EPDMS más alto en la Etapa 1 (escenas reales) y el segundo más alto en la Etapa 2 (escenas sintéticas) entre las líneas base de GRPO, superando tanto a las variantes de GRPO no restringidas como a una línea base de GRPO de restricción dura.
Imposición de Restricciones: A diferencia de las recompensas escaladas, donde los multiplicadores fallaron en impulsar la satisfacción de las restricciones (por ejemplo, el cumplimiento del área transitable se mantuvo bajo a pesar de los altos multiplicadores), las ventajas escaladas permitieron que los multiplicadores ejercieran su influencia prevista, mejorando rápidamente la satisfacción de las restricciones (por ejemplo, el DAC mejoró en aproximadamente 1000 pasos).
Comparación: El método superó al GRPO no restringido y igualó o superó el rendimiento de PPO-Lagrangian, a pesar de no requerir un crítico aprendido.

3. GSM8K (Razonamiento Matemático)

Evaluado en problemas de matemáticas de nivel escolar usando modelos Qwen2.5-Instruct (1.5B, 3B, 7B). Las restricciones incluyeron corrección, adherencia al formato y validez de enteros; la recompensa principal fue minimizar la longitud.

Corrección: Constrained GRPO con ventajas escaladas mejoró consistentemente la corrección sobre la línea base de GRPO multiobjetivo (GDPO) en todas las escalas (por ejemplo, 0.770 $\to$ 0.802 en 3B; 0.768 $\to$ 0.887 en 7B).
Compromisos (Trade-offs): El método evitó que el modelo sobre-optimizara la longitud a expensas de la corrección, un modo de fallo común en configuraciones multiobjetivo no restringidas o mal ponderadas.
Eficiencia: En las escalas de 1.5B y 3B, Constrained GRPO logró un rendimiento competitivo o mejor que PPO-Lagrangian sin el costo computacional de entrenar una función de valor.

Significado y Reivindicaciones

El artículo afirma que Constrained GRPO proporciona un marco robusto y sin crítico para el ajuste fino de seguridad crítica de grandes modelos. Su principal significancia radica en la identificación y resolución de una interacción sutil pero crítica entre los multiplicadores de Lagrange y la normalización intra-grupo de GRPO.

Los autores sostienen que la práctica estándar de escalar las recompensas antes de la normalización es fundamentalmente defectuosa para la optimización con restricciones porque introduce un acoplamiento de denominador compartido, el cual desacopla los multiplicadores aprendidos de la dinámica real de la actualización de la política. Al cambiar a ventajas escaladas, el método asegura que los multiplicadores de Lagrange funcionen como se pretende: controlando directamente el compromiso entre objetivos y restricciones. Esto resulta en un entrenamiento más estable, una adherencia más fiable a los umbrales de seguridad y un mejor rendimiento de la tarea sin necesidad de modelos críticos costosos o un ajuste manual de los pesos de recompensa.