💬 NLP

Constrained Group Relative Policy Optimization

Questo articolo introduce la Constrained GRPO, un'estensione basata sul metodo Lagrangiano della Group Relative Policy Optimization che migliora l'applicazione dei vincoli e la stabilità dell'addestramento scalarizzando i vantaggi standardizzati invece dei premi grezzi per eliminare gli effetti di accoppiamento dannosi causati dalla normalizzazione all'interno del gruppo.

Autori originali: Roger Girgis, Rodrigue de Schaetzen, Luke Rowe, Azalée Robitaille, Christopher Pal, Liam Paull

Pubblicato 2026-09-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Roger Girgis, Rodrigue de Schaetzen, Luke Rowe, Azalée Robitaille, Christopher Pal, Liam Paull

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Nel mondo in rapida evoluzione dell'intelligenza artificiale, i ricercatori stanno insegnando ai grandi modelli informatici a risolvere problemi complessi, dal navigare nelle auto a guida autonoma alla risoluzione di difficili rompicapi matematici. Questi modelli imparano attraverso tentativi ed errori, un processo noto come apprendimento per rinforzo. Immaginate uno studente che cerca di risolvere un labirinto; riceve un premio per aver raggiunto l'uscita e una penalità per aver urtato un muro. Con il tempo, lo studente impara a massimizzare i premi ed evitare le penalità. Tuttavia, una sfida importante sorge quando vogliamo che il modello segua regole rigide, come "non urtare mai un pedone" o "usa sempre una grammatica corretta", pur cercando di essere utile. Se le regole sono troppo rigide, il modello potrebbe diventare inutile; se sono troppo lasse, potrebbe infrangerle. Per risolvere questo problema, gli scienziati utilizzano un quadro matematico che bilancia il desiderio di avere successo con la necessità di rispettare i vincoli, regolando l'importanza di ogni regola mentre il modello apprende.

Un metodo popolare per insegnare a questi modelli, chiamato Group Relative Policy Optimization, è diventato un preferito perché è efficiente e non richiede un modello "giudice" separato per valutare ogni passaggio. Invece, confronta un gruppo di risposte generate per la stessa domanda per decidere quali siano migliori. Sebbene questo metodo funzioni bene per compiti generali, i ricercatori hanno scoperto che applicarlo a rigide regole di sicurezza fosse complicato. In uno studio recente, un team del Mila – Quebec AI Institute e dell'École Polytechnique de Montréal ha scoperto che il modo standard di combinare diversi obiettivi in un unico punteggio stava in realtà rompendo la capacità del sistema di seguire le regole. Hanno introdotto un nuovo approccio, la Constrained Group Relative Policy Optimization, che corregge questo difetto e permette ai modelli di apprendere comportamenti complessi aderendo rigorosamente ai limiti di sicurezza.

Il problema centrale identificato dai ricercatori era come il computer gestisce più obiettivi contemporaneamente. Nel approccio standard, il modello prende tutti i suoi premi e le sue penalità, li mescola insieme in un unico numero e poi normalizza quel numero per renderlo più facile da apprendere. I ricercatori hanno dimostato che questo processo di miscelazione crea un'interferenza nascosta. Quando il computer regola il peso di una regola, cambia involontariamente l'importanza relativa di tutte le altre regole. È come cercare di regolare il volume di un singolo strumento in un'orchestra girando una manopola che sposta anche l'equilibrio dell'intera banda; potreste cercare di rendere i violini più forti, ma facendo ciò, accidentalmente rendete i tamburi troppo silenziosi e i flauti troppo forti. Questo rende molto difficile per il modello capire esattamente quale regola seguire, causando spesso il fatto che ignori i vincoli di sicurezza o diventi instabile durante l'addestramento.

Per risolvere questo problema, i ricercatori hanno cambiato l'ordine delle operazioni. Invece di mescolare prima i premi e le penalità, lasciano che il modello calcoli il valore di ogni regola separatamente e le normalizzi individualmente. Solo dopo che ogni regola è stata trattata equamente per conto proprio, le combinano usando i pesi appresi. Questo semplice cambio rimuove l'interferenza nascosta. Mantenendo i segnali separati fino alla fine, il modello può vedere chiaramente quanto sta migliorando su ogni specifica regola. Il risultato è un processo di apprendimento molto più stabile e prevedibile. I ricercatori hanno testato questo nuovo metodo in tre ambienti molto diversi: un semplice gioco basato su una griglia dove un agente doveva evitare la lava e gestire una batteria, una simulazione realistica di guida autonoma con migliaia di scenari di traffico complessi, e un compito di ragionamento matematico che coinvolge problemi testuali di scuola elementare.

Nel gioco basato sulla griglia, il nuovo metodo ha permesso all'agente di apprendere in modo molto più fluido. L'approccio standard ha causato un comportamento eccessivamente cauto nell'agente, che evitava la lava in modo così aggressivo da muoversi appena, mentre il nuovo metodo ha permesso all'agente di utilizzare il proprio "budget" di rischio in modo efficace, raggiungendo l'obiettivo pur rimanendo al sicuro. Nella simulazione di guida autonoma, il nuovo approccio ha prodotto conducenti non solo più sicuri, ma anche più efficaci nel completare i loro percorsi. I modelli addestrati con il nuovo metodo hanno ottenuto punteggi più alti nella conformità alla sicurezza e nel progresso del percorso rispetto ai metodi precedenti che mescolavano i segnali per primi. Sono riusciti ad evitare collisioni e a seguire le leggi del traffico senza sacrificare la loro capacità di avanzare, un equilibrio che altri metodi faticavano a mantenere.

L'ultimo test ha riguardato l'insegnamento a un modello linguistico come risolvere problemi matematici assicurandosi che le risposte fossero brevi, formattate correttamente e contenessero numeri validi. Qui, il nuovo metodo si è dimostrato nuovamente superiore. I modelli addestrati con lo standard approccio di miscelazione spesso sacrificavano la correttezza per rendere le risposte più brevi o per adattarle a un formato specifico. Al contrario, il nuovo metodo ha garantito che il modello desse la priorità alla correttezza matematica, mantenendo comunque alti standard per la formattazione e la lunghezza. Attraverso diverse dimensioni di modelli informatici, da quelli più piccoli con 1,5 miliardi di parametri a quelli più grandi con 7 miliardi, il nuovo approccio ha prodotto costantemente risultati più accurati senza la necessità di componenti di addestramento aggiuntivi costosi.

Le scoperte suggeriscono che il modo in cui combiniamo i diversi segnali di apprendimento è importante quanto i segnali stessi. Semplicemente cambiando l'ordine in cui il computer elabora i suoi premi e le sue regole, i ricercatori sono stati in grado di creare un sistema che rispetta i vincoli in modo molto più affidabile. Questo lavoro non offre solo un piccolo miglioramento; fornisce una via più chiara per addestrare l'intelligenza artificiale a operare in sicurezza nel mondo reale, dove seguire le regole è spesso importante quanto raggiungere l'obiettivo. Lo studio conferma che quando vogliamo che l'IA sia sia capace che sicura, dobbiamo fare attenzione a non lasciare che il modo in cui misuriamo il successo confonda il modello su ciò che deve effettivamente fare.

Sintesi Tecnica: Constrained Group Relative Policy Optimization

Definizione del Problema

La Group Relative Policy Optimization (GRPO) è emersa come un approccio dominante, privo di critic, per il fine-tuning di Large Language Models (LLM) e Vision-Language Models (VLM), particolarmente in domini come il ragionamento matematico e il decision-making incarnato (embodied). La GRPO elimina la necessità di una funzione di valore appresa (critic) stimando i vantaggi attraverso la normalizzazione intra-gruppo dei premi ottenuti da molteplici output campionati per una singola query.

Tuttavia, la compatibilità della GRPO con l'ottimizzazione di policy vincolata — essenziale per domini critici per la sicurezza dove devono essere imposti specifici intervalli comportamentali — non è stata rigorosamente esaminata. I metodi esistenti di GRPO multi-obiettivo spesso si affidano alla pesatura manuale dei termini di ricompensa, il che manca del framework principato dei Processi Decisionali di Markov Vincolati (CMDP). I CMDP impongono vincoli tramite soglie esplicite piuttosto che pesi fissi, tipicamente utilizzando la rilassazione Lagrangiana. La sfida centrale affrontata in questo lavoro è l'integrazione dell'imposizione di vincoli basata su Lagrangiani nel framework GRPO senza introdurre instabilità o distorcere i trade-off previsti tra gli obiettivi.

Metodologia: Constrained GRPO

Gli autori propongono la Constrained GRPO, un framework che combina la GRPO per l'ottimizzazione della policy con la rilassazione Lagrangiana per la gestione dei vincoli. Il metodo utilizza funzioni di costo indicatrici per definire i vincoli comportamentali (ad esempio, violazioni della sicurezza) e apprende i moltiplicatori per imporre i tassi di comportamento target.

Il Modo di Fallimento Critico: Scalarizzazione delle Ricompense

Un approccio diretto per combinare la GRPO con i metodi Lagrangiani prevede la scalarizzazione delle ricompense prima della normalizzazione. In questo approccio, i termini di ricompensa e di costo sono combinati linearmente utilizzando i moltiplicatori Lagrangiani correnti ( $\lambda$ ) per formare un singolo segnale scalare, che viene poi standardizzato (sottrazione della media e divisione per la deviazione standard) all'interno del gruppo.

Il documento identifica un modo di fallimento critico in questo approccio: il accoppiamento a denominatore condiviso (shared-denominator coupling).

Dipendenza dalla Normalizzazione: Il denominatore di standardizzazione (la deviazione standard del gruppo, $\hat{\sigma}_{S_\lambda}$ ) dipende dal segnale scalarizzato, che è una funzione dei moltiplicatori.
Sensibilità Accoppiata: Cambiare un singolo moltiplicatore $\lambda_k$ altera non solo il peso del suo corrispondente vincolo, ma anche il fattore di normalizzazione per tutti i componenti (ricompense e altri vincoli).
Conseguenza: Ciò introduce un accoppiamento mediato dalla covarianza in cui il peso effettivo di un vincolo diventa una funzione complessa e non lineare di tutti i moltiplicatori e delle statistiche correnti del batch. Questo porta a dinamiche instabili dei moltiplicatori, dove l'aumento di un moltiplicatore di penalità potrebbe involontariamente sopprimere il segnale di ricompensa o altri vincoli, impedendo l'efficace imposizione dei tassi di comportamento specificati.

La Soluzione Proposta: Scalarizzazione degli Advantage

Per risolvere questo problema, gli autori propongono di scalarizzare gli advantage standardizzati invece delle ricompense. La procedura è la seguente:

Standardizzazione per Componente: Ogni componente di ricompensa e di costo viene standardizzata indipendentemente all'interno del gruppo (sottraendo la media della componente e dividendo per la sua deviazione standard).
$Z_{R,i} = \frac{R_i - \bar{R}}{\hat{\sigma}_R}, \quad Z_{C_k,i} = \frac{C_{k,i} - \bar{C}_k}{\hat{\sigma}_{C_k}}$
Combinazione Lineare: I componenti standardizzati vengono poi combinati utilizzando i moltiplicatori Lagrangiani per formare l'advantage finale:
$A_i = \lambda_R Z_{R,i} - \sum_{k=1}^K \lambda_k Z_{C_k,i}$

Giustificazione Teorica:
Gli autori forniscono un'analisi di sensibilità (Teorema 4.1 e Corollario 4.2) dimostrando che la scalarizzazione degli advantage rimuove l'accoppiamento a denominatore condiviso. Sebbene i moltiplicatori normalizzati tramite softmax introducano comunque una competizione tra i componenti (poiché l'aumento di un logit riduce la massa degli altri), le direzioni dei componenti sono già normalizzate. Di conseguenza, l'aggiornamento del primo ordine risponde direttamente ai cambiamenti dei moltiplicatori senza l'effetto confondente di un denominatore di normalizzazione variabile. Ciò produce un aggiornamento meglio condizionato e assicura che l'aumento dei moltiplicatori Lagrangiani si traduca in modo affidabile in una più forte imposizione dei corrispondenti vincoli.

Contributi Chiave

Introduzione del Framework: L'introduzione di Constrained GRPO, un framework di ottimizzazione della policy che impone i vincoli comportamentali specificati dall'utente tramite costi indicatori e moltiplicatori Lagrangiani appresi, eliminando la necessità di una sintonizzazione manuale dei pesi della ricompensa.
Analisi Teorica: Una caratterizzazione formale della risposta locale dell'aggiornamento del primo ordine rispetto ai cambiamenti delle variabili duali. Gli autori dimostrano che la scalarizzazione delle ricompense prima della normalizzazione introduce un accoppiamento specifico che distorce i pesi effettivi degli obiettivi, mentre la scalarizzazione degli advantage evita questo problema.
Validazione Empirica: Dimostrazione attraverso tre domini distinti che la scalarizzazione degli advantage porta a un apprendimento più stabile e a un'imposizione dei vincoli più fedele rispetto alla scalarizzazione delle ricompense.

Risultati Sperimentali

Gli autori hanno valutato la Constrained GRPO su tre benchmark:

1. Ambiente Gridworld

In un ambiente gridworld 10x10 controllato con lava e vincoli di batteria:

Scalarized Advantages: Ha prodotto curve di apprendimento stabili e ha permesso ai tassi di violazione dei vincoli di adattarsi naturalmente verso le soglie specificate (0.01). I moltiplicatori Lagrangiani si sono regolati efficacemente per utilizzare il budget di costo disponibile.
Scalarized Rewards: Ha causato il collasso dei tassi di vincolo verso lo zero quasi subito durante l'addestramento, indipendentemente dai valori dei moltiplicatori. I pesi effettivi sono diventati rumorosi e scollegati dai moltiplicatori appresi, portando a un comportamento inconsistente.

2. NAVSIM-v2 (Guida Autonoma)

Valutato sulla split "Navhard" di NAVSIM-v2 utilizzando l'Extended PDM Score (EPDMS), che aggrega penalità di sicurezza (collisioni, area percorribile, ecc.) e metriche di performance.

Performance: La Constrained GRPO con advantage scalarizzati ha ottenuto il valore EPDMS più alto nello Stage 1 (scene reali) e il secondo più alto nello Stage 2 (scene sintetiche) tra i baseline GRPO, superando sia le varianti GRPO non vincolate che un baseline GRPO a vincolo rigido.
Imposizione dei Vincoli: A differenza della scalarizzazione delle ricompense, dove i moltiplicatori non riuscivano a guidare la soddisfazione dei vincoli (ad esempio, la conformità all'area percorribile rimaneva bassa nonostante gli alti moltiplicatori), la scalarizzazione degli advantage ha permesso ai moltiplicatori di esercitare la loro influenza prevista, migliorando rapidamente la soddisfazione dei vincoli (ad esempio, il DAC è migliorato entro circa 1000 step).
Confronto: Il metodo ha superato la GRPO non vincolata e ha eguagliato o superato la performance di PPO-Lagrangian, pur non richiedendo un critic appreso.

3. GSM8K (Ragionamento Matematico)

Valutato su problemi di matematica elementare utilizzando modelli Qwen2.5-Instruct (1.5B, 3B, 7B). I vincoli includevano correttezza, aderenza al formato e validità dell'intero; la ricompensa primaria era la minimizzazione della lunghezza.

Correttezza: La Constrained GRPO con advantage scalarizzati ha costantemente migliorato la correttezza rispetto al baseline multi-obiettivo GRPO (GDPO) in tutte le scale (ad esempio, da 0.770 $\to$ 0.802 a 3B; da 0.768 $\to$ 0.887 a 7B).
Trade-offs: Il metodo ha impedito al modello di ottimizzare eccessivamente la lunghezza a scapito della correttezza, un comune modo di fallimento nelle configurazioni multi-obiettivo non vincolate o con pesatura scarsa.
Efficienza: Alle scale 1.5B e 3B, la Constrained GRPO ha raggiunto prestazioni competitive o migliori rispetto a PPO-Lagrangian senza il costo computazionale di addestrare una funzione di valore.

Significato e Rivendicazioni

Il documento afferma che la Constrained GRPO fornisce un framework robusto e privo di critic per il fine-tuning di grandi modelli in scenari critici per la sicurezza. Il suo significato primario risiede nell'identificare e risolvere un'interazione sottile ma critica tra i moltiplicatori Lagrangiani e la normalizzazione intra-gruppo della GRPO.

Gli autori sostengono che la pratica standard di scalarizzare le ricompense prima della normalizzazione è fondamentalmente errata per l'ottimizzazione vincolata perché introduce un accoppiamento a denominatore condiviso, che scollega i moltiplicatori appresi dalla dinamica effettiva dell'aggiornamento della policy. Passando alla scalarizzazione degli advantage, il metodo assicura che i moltiplicatori Lagrangiani funzionino come previsto: controllando direttamente il trade-off tra obiettivi e vincoli. Ciò si traduce in un addestramento più stabile, un'aderenza affidabile alle soglie di sicurezza e un miglioramento delle performance del compito senza la necessità di costosi modelli critic o una pesatura manuale delle ricompense.