Policy Split: Incentivizing Dual-Mode Exploration in LLM Reinforcement with Dual-Mode Entropy Regularization

1. Il Problema: Il Conflitto tra Esplorazione e Sfruttamento

L'applicazione del Reinforcement Learning (RL) ai Large Language Models (LLM), in particolare nei modelli di ragionamento (LRM) simili a o1 o R1, ha dimostrato grandi successi. Tuttavia, esiste un conflitto fondamentale nei metodi di RL guidati dall'entropia:

• Il Dilemma: I metodi esistenti che incentivano l'esplorazione massimizzando l'entropia (per evitare il collasso della diversità e trovare soluzioni migliori) tendono a degradare l'accuratezza del modello.
• La Limitazione Attuale: Studi recenti indicano che i guadagni di performance sono spesso correlati alla riduzione dell'entropia. Forzare un'entropia più alta su modelli già robusti (a bassa entropia) può portare a output incoerenti o privi di senso, minando le capacità consolidate del modello.
• L'Obiettivo: Mantenere un'alta accuratezza nelle task standard mentre si promuove un'esplorazione diversificata per task creative o di ragionamento complesso, senza compromettere l'uno per l'altro.

2. Metodologia: Policy Split

Gli autori propongono Policy Split, un nuovo paradigma che risolve il conflitto dividendo la politica del modello in due modalità distinte ma collaborative all'interno dello stesso insieme di parametri.

A. Biforcazione della Politica (Dual-Mode)

Il modello viene istanziato in due modalità operative:

1. Modalità Normale: Ottimizzata per l'accuratezza e la correttezza del task.
2. Modalità ad Alta Entropia (High-Entropy): Ottimizzata per l'esplorazione e la diversità, identificata tramite un prompt di sistema specifico (es. "You are now in the 'High Entropy' mode...").

B. Regularizzazione dell'Entropia Duale

Il cuore della metodologia risiede nella funzione di vantaggio (advantage function) differenziata per le due modalità:

• Modalità Normale: Utilizza il vantaggio standard (simile a GRPO) basato esclusivamente sulla correttezza della risposta ($r_i$).
• Modalità ad Alta Entropia: Introduce una regolarizzazione specifica composta da tre elementi:
  1. Termine di Entropia: Incentiva direttamente l'alta entropia nell'output.
  2. Divergenza KL: Penalizza la somiglianza con la modalità normale, forzando l'esplorazione di aree diverse dello spazio delle soluzioni.
  3. Clamping: Una tecnica di stabilizzazione per evitare che il termine di entropia cambi il segno del segnale di reward, prevenendo l'instabilità.

La funzione di vantaggio per la modalità ad alta entropia ($\tilde{A}_{i,t}$) è definita come:
$$\tilde{A}_{i,t} = A_{i,t} + \eta \cdot \text{clip}(\text{detach}(\tilde{B}_{i,t}), \pm |A_{i,t}|/\kappa)$$
Dove $\tilde{B}_{i,t}$ combina l'entropia e la divergenza KL.

C. Condivisione dei Rollout e Apprendimento Collaborativo

Nonostante le due modalità perseguano obiettivi diversi, condividono i parametri del modello e i dati di addestramento (rollout):

• La modalità normale impara dalle nuove risposte corrette scoperte dalla modalità ad alta entropia.
• La modalità ad alta entropia riceve segnali stabili dalla modalità normale per evitare di collassare in una politica priva di senso.
  Questo crea un ciclo di feedback positivo dove l'esplorazione alimenta l'accuratezza e viceversa.

3. Contributi Chiave

1. Framework Policy Split: Un nuovo approccio RL che permette la biforcazione della politica in due modalità (normale e ad alta entropia) con regolarizzazione dell'entropia duale, mantenendo una sinergia collaborativa.
2. Decoupling degli Obiettivi: Separazione efficace della pressione per l'accuratezza dalla necessità di esplorazione, risolvendo il trade-off tradizionale.
3. Generazione di Pattern Distinti: Dimostrazione che la modalità ad alta entropia genera pattern comportamentali unici, diversi dalla modalità normale, fornendo segnali di apprendimento unici.
4. Generalizzabilità: La capacità di controllare il comportamento del modello tramite prompt di sistema (mode-switching) si estende a prompt non visti durante l'addestramento.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli Qwen3 (1.7B, 4B, 8B) su task matematici/scientifici (MATH-500, AIME, GPQA) e task creativi.

• Task Generali (Matematica/Logica):

  • Policy Split supera consistentemente le baseline (GRPO, metodi di regolarizzazione dell'entropia, ecc.) in termini di accuratezza media.
  • Riesce a "revivificare" l'entropia di modelli a bassa entropia senza sacrificare significativamente l'accuratezza nella modalità normale.
  • I modelli più grandi (4B e 8B) mostrano miglioramenti particolarmente significativi.

• Task Creativi:

  • La modalità ad alta entropia supera di gran lunga le baseline e il modello base in metriche di diversità testuale (N-gram diversity, Self-BLEU) e valutazioni qualitative (Creatività, Originalità, Impatto Emotivo) effettuate da LLM come giudici.
  • Dimostra una capacità superiore di generare risposte uniche e diversificate.

• Analisi delle Modalità:

  • La divergenza KL tra le due modalità aumenta significativamente durante l'addestramento con Policy Split, confermando che il modello ha effettivamente appreso due comportamenti distinti.
  • La modalità ad alta entropia, pur avendo un'accuratezza media leggermente inferiore, scopre un numero maggiore di soluzioni corrette uniche (Best-of-N score più alto).

5. Significato e Implicazioni

Il lavoro di Policy Split è significativo perché:

• Supera il Trade-off Accuratezza-Diversità: Dimostra che non è necessario scegliere tra un modello preciso e uno creativo; si possono avere entrambi all'interno dello stesso modello attivando diverse modalità.
• Flessibilità Inference-Time: Offre agli utenti la possibilità di controllare il comportamento del modello (precisione vs. creatività) semplicemente cambiando il prompt di sistema, senza bisogno di addestrare modelli separati.
• Nuova Direzione per l'RL: Suggerisce che la modellazione multi-politica collaborativa è una strada promettente per migliorare la flessibilità, la steerability (guidabilità) e le prestazioni complessive dei LLM, andando oltre le limitazioni dei metodi di regolarizzazione dell'entropia tradizionali.

In sintesi, Policy Split rappresenta un avanzamento metodologico che permette ai modelli di ragionamento di essere sia "precisi" che "esplorativi", risolvendo il problema storico della degradazione delle prestazioni quando si cerca di aumentare la diversità nelle risposte.