💬 NLP

Constrained Group Relative Policy Optimization

Este artigo introduz o Constrained GRPO, uma extensão baseada em Lagrange do Group Relative Policy Optimization que melhora a imposição de restrições e a estabilidade do treinamento ao escalar vantagens padronizadas em vez de recompensas brutas para eliminar os efeitos de acoplamento prejudiciais causados pela normalização dentro do grupo.

Autores originais: Roger Girgis, Rodrigue de Schaetzen, Luke Rowe, Azalée Robitaille, Christopher Pal, Liam Paull

Publicado 2026-09-03

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Roger Girgis, Rodrigue de Schaetzen, Luke Rowe, Azalée Robitaille, Christopher Pal, Liam Paull

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo em rápida evolução da inteligência artificial, pesquisadores estão ensinando grandes modelos de computador a resolver problemas complexos, desde navegar em carros autônomos até resolver enigmas matemáticos difíceis. Esses modelos aprendem por tentativa e erro, um processo conhecido como aprendizado por reforço. Imagine um estudante tentando resolver um labirinto; ele recebe uma recompensa ao alcançar a saída e uma penalidade ao bater em uma parede. Com o tempo, o estudante aprende a maximizar recompensas e evitar penalidades. No entanto, um grande desafio surge quando queremos que o modelo siga regras estritas, como "nunca atingir um pedestre" ou "sempre usar gramática correta", enquanto ainda tenta ser útil. Se as regras forem muito rígidas, o modelo pode se tornar inútil; se forem muito frouxas, ele pode quebrá-las. Para resolver isso, cientistas usam uma estrutura matemática que equilibra o desejo de ter sucesso com a necessidade de obedecer a restrições, ajustando a importância de cada regra conforme o modelo aprende.

Um método popular para ensinar esses modelos, chamado Otimização de Política Relativa de Grupo (Group Relative Policy Optimization), tornou-se um favorito porque é eficiente e não requer um modelo "juiz" separado para avaliar cada etapa. Em vez disso, ele compara um grupo de respostas geradas para a mesma pergunta para decidir quais são melhores. Embora este método funcione bem para tarefas gerais, pesquisadores descobriram que aplicá-lo a regras de segurança estritas era complicado. Em um novo estudo, uma equipe do Mila – Quebec AI Institute e da École Polytechnique de Montréal descobriu que a maneira padrão de combinar diferentes objetivos em uma única pontuação estava, na verdade, quebrando a capacidade do sistema de seguir regras. Eles introduziram uma nova abordagem, a Otimização de Política Relativa de Grupo com Restrições (Constrained Group Relative Policy Optimization), que corrige essa falha e permite que os modelos aprendam comportamentos complexos enquanto aderem estritamente aos limites de segurança.

O problema central que os pesquisadores identificaram foi como o computador lida com múltiplos objetivos ao mesmo tempo. Na abordagem padrão, o modelo pega todas as suas recompensas e penalidades, mistura-as em um único número e, em seguida, normaliza esse número para facilitar o aprendizado. Os pesquisadores mostraram que esse processo de mistura cria uma interferência oculta. Quando o computador ajusta o peso de uma regra, ele altera involuntariamente a importância relativa de todas as outras regras também. É como tentar ajustar o volume de um único instrumento em uma orquestra girando um botão que também altera o equilíbrio de toda a banda; você pode tentar fazer os violinos ficarem mais altos, mas, ao fazer isso, acidentalmente faz com que os tambores fiquem muito baixos e as flautas fiquem muito altas. Isso torna muito difícil para o modelo aprender exatamente qual regra seguir, muitas vezes fazendo com que ele ignore as restrições de segurança ou se torne instável durante o treinamento.

Para corrigir isso, os pesquisadores mudaram a ordem das operações. Em vez de misturar as recompensas e penalidades primeiro, eles deixam o modelo calcular o valor de cada regra separadamente e normalizá-las individualmente. Somente após cada regra ter sido tratada justamente por conta própria é que eles as combinam usando os pesos aprendidos. Essa simples mudança remove a interferência oculta. Ao manter os sinais separados até o final, o modelo consegue ver claramente o quanto está melhorando em cada regra específica. O resultado é um processo de aprendizado muito mais estável e previsível. Os pesquisadores testaram este novo método em três ambientes muito diferentes: um jogo simples baseado em grade onde um agente tinha que evitar a lava e gerenciar uma bateria, uma simulação realista de direção autônoma com milhares de cenários de tráfego complexos e uma tarefa de raciocínio matemático envolvendo problemas de matemática de nível escolar.

No jogo baseado em grade, o novo método permitiu que o agente aprendesse de forma muito mais suave. A abordagem padrão fazia com que o agente se tornasse excessivamente cauteloso, evitando a lava de forma tão agressiva que mal se movia, enquanto o novo método permitiu que o agente usasse seu "orçamento" de risco de forma eficaz, alcançando o objetivo enquanto permanecia seguro. Na simulação de direção autônoma, a nova abordagem produziu motoristas que não eram apenas mais seguros, mas também mais eficazs em completar suas rotas. Os modelos treinados com o novo método alcançaram pontuações mais altas em conformidade de segurança e progresso de rota em comparação com métodos anteriores que misturavam os sinais primeiro. Eles conseguiram evitar colisões e seguir as leis de trânsito sem sacrificar sua capacidade de dirigir para frente, um equilíbrio que outros métodos tiveram dificuldade em manter.

O teste final envolveu ensinar um modelo de linguagem a resolver problemas matemáticos enquanto garantia que as respostas fossem curtas, formatadas corretamente e contivessem números válidos. Aqui, o novo método provou ser superior novamente. Modelos treinados com a abordagem de mistura padrão frequentemente sacrificavam a correção para tornar suas respostas mais curtas ou para se ajustarem a um formato específico. Em contraste, o novo método garantiu que o modelo priorizasse acertar a matemática, mantendo ainda padrões elevados para formatação e extensão. Em diferentes tamanhos de modelos de computador, desde os menores com 1,5 bilhão de parâmetros até os maiores com 7 bilhões, a nova abordagem produziu consistentemente resultados mais precisos sem a necessidade de componentes de treinamento adicionais caros.

As descobertas sugerem que a maneira como combinamos diferentes sinais de aprendizado é tão importante quanto os próprios sinais. Ao simplesmente mudar a ordem em que o computador processa suas recompensas e regras, os pesquisadores foram capazes de criar um sistema que respeita restrições de forma muito mais confiável. Este trabalho não oferece apenas uma pequena melhoria; ele fornece um caminho mais claro para treinar a inteligência artificial para operar com segurança no mundo real, onde seguir as regras é frequentemente tão importante quanto alcançar o objetivo. O estudo confirma que, quando queremos que a IA seja tanto capaz quanto segura, devemos ter cuidado para não deixar que a maneira como medimos o sucesso confunda o modelo sobre o que ele realmente deve fazer.

Resumo Técnico: Otimização de Política Relativa de Grupo com Restrições

Declaração do Problema

A Otimização de Política Relativa de Grupo (GRPO) emergiu como uma abordagem dominante e livre de crítico para o ajuste fino de Grandes Modelos de Linguagem (LLMs) e Modelos de Linguagem-Visão (VLMs), particularmente em domínios como raciocínio matemático e tomada de decisão incorporada. A GRPO elimina a necessidade de uma função de valor aprendida (crítico) ao estimar vantagens por meio da normalização dentro do grupo de recompensas obtidas de múltiplas saídas amostradas para uma única consulta.

No entanto, a compatibilidade da GRPO com a otimização de política com restrições — essencial para domínios de segurança crítica onde limiares comportamentais específicos devem ser impostos — não foi rigorosamente examinada. Os métodos existentes de GRPO multi-objetivo frequentemente dependem de pesos manuais para os termos de recompensa, o que carece da estrutura principiológica dos Processos de Decisão de Markov com Restrições (CMDPs). Os CMDPs impõem restrições via limiares explícitos em vez de pesos fixos, tipicamente utilizando relaxação Lagrangiana. O desafio central abordado neste trabalho é integrar a imposição de restrições baseada em Lagrangiana na estrutura da GRPO sem introduzir instabilidade ou distorcer os trade-offs pretendidos entre os objetivos.

Metodologia: GRPO com Restrições

Os autores propõem a GRPO com Restrições, um framework que combina a GRPO para otimização de política com a relaxação Lagrangiana para o tratamento de restrições. O método utiliza funções de custo indicadoras para definir restrições comportamentais (ex: violações de segurança) e aprende multiplicadores para impor taxas de comportamento alvo.

O Modo de Falha Crítico: Escalarização de Recompensas

Uma abordagem direta para combinar a GRPO com métodos Lagrangianos envolve escalarizar as recompensas antes da normalização. Nesta abordagem, os termos de recompensa e custo são combinados linearmente usando os multiplicadores Lagrangianos atuais ( $\lambda$ ) para formar um único sinal escalar, que é então padronizado (subtração da média e divisão pelo desvio padrão) dentro do grupo.

O artigo identifica um modo de falha crítico nesta abordagem: o acoplamento de denominador compartilhado.

Dependência de Normalização: O denominador de padronização (o desvio padrão do grupo, $\hat{\sigma}_{S_\lambda}$ ) depende do sinal escalarizado, que é uma função dos multiplicadores.
Sensibilidade Acoplada: Alterar um único multiplicador $\lambda_k$ altera não apenas o peso de sua restrição correspondente, mas também o fator de normalização para todos os componentes (recompensas e outras restrições).
Consequência: Isso introduz um acoplamento mediado por covariância onde o peso efetivo de uma restrição torna-se uma função complexa e não linear de todos os multiplicadores e das estatísticas atuais do lote. Isso leva a dinâmicas de multiplicadores instáveis, onde aumentar um multiplicador de penalidade pode inadvertidamente suprimir o sinal de recompensa ou outras restrições, impedindo a imposição eficaz das taxas de comportamento especificadas.

A Solução Proposta: Escalarização de Vantagens

Para resolver isso, os autores propõem escalarizar as vantagens padronizadas em vez das recompensas. O procedimento é o seguinte:

Padronização por Componente: Cada componente de recompensa e custo é padronizado independentemente dentro do grupo (subtraindo a média do componente e dividindo pelo desvio padrão do componente).
$Z_{R,i} = \frac{R_i - \bar{R}}{\hat{\sigma}_R}, \quad Z_{C_k,i} = \frac{C_{k,i} - \bar{C}_k}{\hat{\sigma}_{C_k}}$
Combinação Linear: Os componentes padronizados são então combinados usando os multiplicadores Lagrangianos para formar a vantagem final:
$A_i = \lambda_R Z_{R,i} - \sum_{k=1}^K \lambda_k Z_{C_k,i}$

Justificativa Teórica:
Os autores fornecem uma análise de sensibilidade (Teorema 4.1 e Corolário 4.2) mostrando que a escalarização das vantagens remove o acoplamento de denominador compartilhado. Embora os multiplicadores normalizados por softmax ainda introduzam competição entre componentes (conforme o aumento de um logit reduz a massa dos outros), as direções dos componentes já estão normalizadas. Consequentemente, a atualização primal responde diretamente às mudanças nos multiplicadores sem o efeito de confusão de um denominador de normalização variável. Isso resulta em uma atualização melhor condicionada e garante que aumentos nos multiplicadores Lagrangianos se traduzam de forma confiável em uma imposição mais forte das restrições correspondentes.

Principais Contribuições

Introdução do Framework: A introdução da GRPO com Restrições, um framework de otimização de política que impõe restrições comportamentais especificadas pelo usuário via custos indicadores e multiplicadores Lagrangianos aprendidos, eliminando a necessidade de ajuste manual de pesos de recompensa.
Análise Teórica: Uma caracterização formal da resposta local da atualização primal às mudanças nas variáveis duais. Os autores provam que escalarizar as recompensas antes da normalização introduz um acoplamento específico que distorce os pesos efetivos dos objetivos, enquanto escalarizar as vantagens evita esse problema.
Validação Empírica: Demonstração em três domínios distintos de que a escalarização de vantagens leva a um aprendizado mais estável e uma imposição de restrições mais fiel em comparação com a escalarização de recompensas.

Resultados Experimentais

Os autores avaliaram a GRPO com Restrições em três benchmarks:

1. Ambiente Gridworld

Em um gridworld controlado de 10x10 com lava e restrições de bateria:

Vantagens Escalarizadas: Produziram curvas de aprendizado estáveis e permitiram que as taxas de violação de restrições se adaptassem naturalmente em direção aos limiares especificados (0.01). Os multiplicadores Lagrangianos ajustaram-se efetivamente para utilizar o orçamento de custo disponível.
Recompensas Escalarizadas: Causaram o colapso das taxas de restrição para próximo de zero precocemente no treinamento, independentemente dos valores dos multiplicadores. Os pesos efetivos tornaram-se ruidosos e desacoplados dos multiplicadores aprendidos, levando a um comportamento inconsistente.

2. NAVSIM-v2 (Direção Autônoma)

Avaliado no split "Navhard" do NAVSIM-v2 usando o Extended PDM Score (EPDMS), que agrega penalidades de segurança (colisões, área dirigível, etc.) e métricas de desempenho.

Desempenho: A GRPO com Restrições com vantagens escalarizadas alcançou o maior EPDMS no Estágio 1 (cenas reais) e o segundo maior no Estágio 2 (cenas sintéticas) entre os baselines de GRPO, superando tanto as variantes de GRPO sem restrições quanto um baseline de GRPO de restrição rígida.
Imposição de Restrições: Ao contrário das recompensas escalarizadas, onde os multiplicadores falharam em impulsionar a satisfação da restrição (ex: a conformidade com a área dirigível permaneceu baixa apesar de altos multiplicadores), as vantagens escalarizadas permitiram que os multiplicadores exercessem sua influência pretendida, melhorando rapidamente a satisfação da restrição (ex: DAC melhorou em ~1000 passos).
Comparação: O método superou a GRPO sem restrições e igualou ou superou o PPO-Lagrangian, apesar de não exigir um crítico aprendido.

3. GSM8K (Raciocínio Matemático)

Avaliado em problemas de matemática de nível escolar usando modelos Qwen2.5-Instruct (1.5B, 3B, 7K). As restrições incluíram correção, adesão ao formato e validade de inteiros; a recompensa primária foi minimizar o comprimento.

Correção: A GRPO com Restrições com vantagens escalarizadas consistentemente melhorou a correção sobre o baseline de GRPO multi-objetivo (GDPO) em todas as escalas (ex: 0.770 $\to$ 0.802 em 3B; 0.768 $\to$ 0.887 em 7B).
Trade-offs: O método evitou que o modelo otimizasse excessivamente o comprimento em detrimento da correção, um modo de falha comum em configurações multi-objetivo sem restrições ou com pesos mal ajustados.
Eficiência: Nas escalas de 1.5B e 3B, a GRPO com Restrições alcançou desempenho competitivo ou superior ao PPO-Lagrangian sem o custo computacional de treinar uma função de valor.

Significância e Alegações

O artigo afirma que a GRPSO com Restrições fornece um framework robusto e livre de crítico para o ajuste fino de segurança crítica de grandes modelos. Sua principal significância reside na identificação e resolução de uma interação sutil, mas crítica, entre multiplicadores Lagrangianos e a normalização dentro do grupo da GRPO.

Os autores asseveram que a prática padrão de escalarizar recompensas antes da normalização é fundamentalmente falha para otimização com restrições porque introduz um acoplamento de denominador compartilhado, que desacopla os multiplicadores aprendidos da dinâmica real da atualização da política. Ao mudar para vantagens escalarizadas, o método garante que os multiplicadores Lagrangianos funcionem conforme pretendido: controlando diretamente o trade-off entre objetivos e restrições. Isso resulta em um treinamento mais estável, adesão confiável aos limiares de segurança e melhor desempenho da tarefa sem a necessidade de modelos críticos caros ou ajuste manual de pesos de recompensa.