Riepilogo Tecnico: Ottimizzazione della Politica Isteretica (HPO) per l'Addestramento di LLM con Ricompense Sparse

1. Enunciato del Problema

Il documento investiga una specifica modalità di fallimento nell'Ottimizzazione della Politica Relativa di Gruppo (GRPO) quando applicata ai Modelli Linguistici di Grande Dimensione (LLM) in regimi di ricompensa verificabile sparsa (ad esempio, compiti di ragionamento in cui solo una piccola frazione delle risposte campionate è corretta). Gli autori identificano due distorsioni interdipendenti che destabilizzano l'addestramento in questo contesto:

1. Squilibrio del Segno (Dominanza Negativa): In scenari a ricompensa sparsa, la politica iniziale genera spesso prevalentemente risposte errate. Di conseguenza, la maggior parte delle traiettorie campionate cade al di sotto della media del gruppo, risultando in un'alta frequenza di vantaggi negativi ($p_- > p_+$). Un trattamento simmetrico di questi abbondanti campioni negativi può sopraffare i rari segnali positivi, sopprimendo traiettorie di ragionamento utili ma rumorose.
2. Distorsione Livello-Risposta per Lunghezza: La GRPO standard normalizza la perdita in base alla lunghezza di ciascuna risposta individuale ($1/|\tau_i|$). Ciò crea una relazione inversa tra lunghezza della risposta e magnitudine dell'aggiornamento:
   • Le brevi risposte corrette ricevono gradienti positivi sproporzionatamente grandi, orientando il modello verso la brevità.
   • Le lunghe risposte errate ricevono gradienti negativi sproporzionatamente piccoli, non penalizzando adeguatamente i fallimenti verbosi.
   • Questa interazione rende la pressione di ottimizzazione dipendente sia dalla ricompensa che dalla lunghezza, il che è particolarmente problematico per i compiti di ragionamento dove la lunghezza è correlata alla profondità di ricerca o alla spiegazione.

2. Metodologia

Gli autori propongono l'Ottimizzazione della Politica Isteretica (HPO), una modifica minima all'obiettivo GRPO progettata per affrontare queste distorsioni attraverso due meccanismi:

2.1 HPO Fissa

L'HPO introduce due cambiamenti strutturali all'obiettivo GRPO:

• Normalizzazione per Lunghezza Media: Invece di normalizzare ciascuna risposta per la sua stessa lunghezza ($|\tau_i|$), l'HPO normalizza l'intero batch per la lunghezza media delle risposte ($|\bar{\tau}|$). Ciò rimuove la scalatura inversa della magnitudine dell'aggiornamento rispetto alla lunghezza della risposta, garantendo che le lunghe risposte errate siano penalizzate in modo appropriato e che le brevi risposte corrette non dominino il gradiente.
• Pesatura Isteretica Asimmetrica: Gli aggiornamenti del gradiente della politica sono scalati in modo asimmetrico in base al segno del vantaggio ($\hat{A}_i$):
  • I vantaggi positivi ($\hat{A}_i \geq 0$) mantengono il peso completo (fattore = 1).
  • I vantaggi negativi ($\hat{A}_i < 0$) sono ridotti di un fattore isteretico $\alpha \in [0, 1]$.
  • La funzione obiettivo diventa:
    $$J_{HPO}(\theta) = \mathbb{E}_X \left[ \frac{1}{N|\bar{\tau}|} \sum_{i=1}^N \sum_{j=1}^{|\tau_i|} w_i \ell_{i,j}(\theta) \right]$$
    dove $w_i = 1$ se $\hat{A}_i \geq 0$, e $w_i = \alpha$ altrimenti.

2.2 HPO Adattiva (A-HPO)

Riconoscendo che l'ottimale $\alpha$ dipende dal regime di addestramento (richiedendo meno isteresi man mano che la politica migliora), gli autori introducono l'A-HPO. Questa variante regola dinamicamente $\alpha$ in base alle statistiche dei segni del batch corrente:

• Stima il rapporto tra le frequenze dei vantaggi positivi e negativi ($\hat{p}_+ / \hat{p}_-$).
• Il peso adattivo è impostato come:
  $$\alpha_{adaptive} = \text{clip}\left( \frac{\hat{p}_+}{\hat{p}_- + \epsilon}, \alpha_{min}, 1 \right)$$
• Meccanismo: Quando i campioni negativi dominano (regime sparsa), $\hat{p}_+ / \hat{p}_-$ è piccolo, causando una diminuzione di $\alpha$ e attenuando gli aggiornamenti negativi. Man mano che la politica migliora e la distribuzione si bilancia, $\alpha$ si avvicina a 1, recuperando un aggiornamento simmetrico. Ciò evita la sintonizzazione manuale di un $\alpha$ fisso.

3. Contributi Chiave

1. Identificazione delle Modalità di Fallimento: Il documento collega esplicitamente l'instabilità della GRPO nei regimi a ricompensa sparsa alla combinazione della dominanza dei vantaggi negativi e della normalizzazione della perdita a livello di risposta.
2. Algoritmo HPO: Un'interpolazione a un parametro tra l'apprendimento "solo positivo" (che scarta il feedback negativo) e aggiornamenti completamente simmetrici. Combina la normalizzazione per lunghezza media con la pesatura asimmetrica.
3. A-HPO: Una regola leggera e adattiva che sintonizza automaticamente il peso isteretico in base alle statistiche dei segni a livello di batch, eliminando la necessità di una ricerca manuale degli iperparametri.
4. Validazione Empirica: Studi di ablazione dimostrano che il comportamento ottimale risiede tra gli estremi degli aggiornamenti solo positivi ($\alpha=0$) e simmetrici ($\alpha=1$), validando la necessità di un'isteresi intermedia.

4. Risultati Sperimentali

Gli autori hanno valutato HPO e A-HPO su due compiti: TeleLogs (analisi della causa radice delle reti 5G) e Countdown (costruzione aritmetica), utilizzando modelli che vanno da 1,5B a 7B parametri.

• TeleLogs (Qwen2.5-1.5B):
  • L'A-HPO ha raggiunto una ricompensa finale di 0,84, superando GRPO (0,73, +15%), GSPO (0,76, +11%) e SAPO (0,80, +5%).
  • L'A-HPO ha raggiunto livelli di ricompensa elevati significativamente più velocemente (efficienza del campione) mantenendo una lunghezza di risposta comparabile ai baseline, evitando il "crollo della lunghezza" osservato nei metodi solo positivi.
• Countdown (modelli da 1,5B a 7B):
  • I guadagni sono stati più pronunciati nelle fasi iniziali dell'addestramento e nelle configurazioni più difficili (Countdown-4 con 4 numeri) dove le ricompense sono sparse.
  • Ad esempio, su Llama3.1-3B con Countdown-4, l'A-HPO ha migliorato la ricompensa a 200 passi da 0,40 (GRPO) a 0,54.
  • Nei regimi saturi (ad esempio, modelli da 7B su Countdown-3 più semplice), il divario di prestazioni si è ristretto, indicando che l'A-HPO è più critico quando la politica sta ancora imparando.
• Studi di Ablazione:
  • L'HPO fissa con $\alpha=0$ (solo positivo) è collassato verso output molto brevi (16 token) e ricompense inferiori (0,71).
  • L'HPO fissa con $\alpha=1$ (simmetrico) ha performato peggio (0,72) a causa della dominanza negativa.
  • La migliore prestazione fissa è stata ottenuta con $\alpha \approx 0,6$, che l'A-HPO ha raggiunto automaticamente senza sintonizzazione.
  • L'analisi dell'"equilibrio del contributo surrogato" ha confermato che l'A-HPO bilancia con successo la magnitudine dei contributi di aggiornamento positivi e negativi, mentre la GRPO rimane rumorosa e dominata dai negativi.

5. Significato e Affermazioni

Il documento afferma che HPO e A-HPO offrono una modifica pratica e a basso sovraccarico alla GRPO che migliora significativamente la stabilità e l'efficienza del campione nell'RL a ricompensa sparsa per gli LLM.

• Principio Fondamentale: Gli autori sostengono che nei regimi a ricompensa sparsa, gli aggiornamenti dei vantaggi negativi dovrebbero essere utilizzati ma non fidati simmetricamente quando sono estremamente frequenti.
• Bilanciamento: Il metodo previene con successo la soppressione delle traiettorie di ragionamento utili da parte di fallimenti abbondanti, evitando al contempo il comportamento degenerato di scartare completamente le prove negative.
• Adattività: L'A-HPO è presentato come una soluzione robusta che traccia automaticamente il regime intermedio tra aggiornamenti solo positivi e simmetrici, adattandosi man mano che la distribuzione di addestramento si sposta da ricompense sparse a dense.

Il lavoro posiziona l'HPO come un affinamento necessario per il fine-tuning efficiente in termini computazionali degli LLM quando non sono disponibili ricompense di processo dense o feedback di un critico.