Riepilogo Tecnico: Ottimizzazione della Politica Vettoriale (VPO)

Enunciato del Problema

I paradigmi attuali di post-addestramento per i Modelli Linguistici su Larga Scala (LLM), in particolare quelli che utilizzano l'Apprendimento per Rinforzo (RL) con l'Ottimizzazione della Politica Relativa di Gruppo (GRPO), ottimizzano una singola ricompensa scalare pre-specificata. Sebbene efficaci nel convergere verso una risposta ad alta probabilità specifica, questo approccio porta spesso al "collasso delle modalità", dove la politica produce distribuzioni di risposta a bassa entropia. Questa mancanza di diversità diventa un collo di bottiglia critico quando gli LLM vengono implementati all'interno di procedure di ricerca a tempo di esecuzione (ad esempio, campionamento di rifiuto, algoritmi evolutivi come AlphaEvolve, o selezione best-of-$k$).

Nei sistemi potenziati dalla ricerca, la fase di addestramento dovrebbe idealmente fornire un ricco pool di candidati diversificati e competenti da sfruttare per l'algoritmo di ricerca. Tuttavia, l'addestramento RL scalare standard collassa la distribuzione dei candidati verso un singolo compromesso ottimale, facendo sì che campioni aggiuntivi diventino quasi duplicati. Di conseguenza, la procedura di ricerca non può scoprire soluzioni superiori che richiedono compromessi diversi tra obiettivi in competizione (ad esempio, correttezza del codice rispetto all'efficienza, o diversi percorsi di ragionamento in domande multi-hop).

Metodologia: Ottimizzazione della Politica Vettoriale (VPO)

Gli autori propongono l'Ottimizzazione della Politica Vettoriale (VPO), un algoritmo RL progettato per addestrare esplicitamente le politiche a produrre insiemi diversificati di soluzioni che coprono il fronte di Pareto delle ricompense vettoriali. VPO opera sulla premessa che in molti compiti realistici (generazione di codice, ragionamento multi-hop, uso di strumenti), le ricompense si decompongono naturalmente in componenti vettoriali (ad esempio, correttezza per caso di test, valutazioni per criterio).

VPO è composto da due componenti fondamentali:

1. Catene Multi-Risposta come Esplorazione in Contesto:
   Invece di generare una singola risposta per prompt, il modello viene addestrato a emettere un insieme di $m$ completamenti candidati ($S = \{y_1, \dots, y_m\}$) all'interno di un singolo rollout autoregressivo. Ogni candidato successivo può prestare attenzione alle risposte precedentemente generate nel contesto, permettendo al modello di riconoscere esplicitamente quali regioni dello spazio delle soluzioni sono coperte e di indirizzare nuovi candidati verso aree inesplorate. Questo trasforma la diversità da un sottoprodotto del rumore di campionamento in un meccanismo esplicito, in contesto.

2. Ottimizzazione a Livello di Insieme tramite Scalarizzazione Stocastica:
   Per incentivare il modello a produrre insiemi diversificati invece di collassare su una singola modalità, VPO sostituisce la ricompensa scalare fissa con una distribuzione sulle ponderazioni delle ricompense.

   • Per ogni rollout, un vettore di pesi $w$ viene campionato da una distribuzione Dirichlet ($w \sim \text{Dir}(\alpha)$, dove $\alpha=1$ implica una distribuzione uniforme sul simplesso).
   • La ricompensa per l'insieme $S$ è calcolata come il massimo atteso della ricompensa scalarizzata attraverso i pesi campionati:
     $$R(S) = \mathbb{E}_{w \sim \text{Dir}(\alpha)} \left[ \max_{y \in S} w^\top r(x, y) \right]$$
   • Questo obiettivo premia il modello per la copertura del fronte di Pareto: diversi elementi nell'insieme $S$ sono incentivati a specializzarsi in diversi compromessi delle componenti di ricompensa.

VPO è implementato come un sostituto diretto ("drop-in") per lo stimatore di vantaggio GRPO. Utilizza il framework GRPO ma calcola i vantaggi basandosi sulla ricompensa a livello di insieme derivata dalle scalarizzazioni stocastiche, condividendo gli stessi $K$ vettori di pesi su un gruppo di $G$ rollout per garantire la comparabilità.

Contributi Chiave

1. Riformulazione dell'Addestramento RL Post-Training: Il documento sostiene che nei sistemi con ricerca a tempo di esecuzione, il ruolo dell'addestramento RL dovrebbe spostarsi dalla convergenza su una singola risposta migliore alla massimizzazione della diversità di un insieme di soluzioni competenti, lasciando lo sfruttamento alla procedura di ricerca.
2. Struttura della Ricompensa Vettoriale: Dimostra che la natura vettoriale delle ricompense in compiti pratici fornisce un meccanismo naturale per la diversità. Addestrando il modello a coprire il fronte di Pareto di diversi obiettivi, la politica mantiene una popolazione di alternative ottimali sotto diverse ponderazioni.
3. Algoritmo VPO: Gli autori propongono VPO, che combina la generazione multi-risposta con la scalarizzazione casuale delle ricompense. Ciò permette al modello di generare insiemi candidati diversificati all'interno di un singolo rollout, ottimizzando la copertura dello spazio delle ricompense invece di un singolo picco scalare.

Risultati Sperimentali

Gli autori hanno valutato VPO su quattro domini diversificati: Maze (navigazione con compromessi sugli oggetti), MuSiQue (QA multi-hop), EUREQA (ragionamento a catena) e ToolRL (chiamata di funzioni). Hanno confrontato VPO con diverse baseline, tra cui GRPO standard, Multi-RLVR (multi-risposta con ricompensa scalare fissa), GRPO con Ponderazione Casuale e addestramento Max-at-$k$.

• Scalabilità a Tempo di Esecuzione: In tutti i domini, VPO ha costantemente superato le baseline scalari sulle metriche best@k. Mentre le prestazioni di GRPO scalare si sono stabilizzate rapidamente all'aumentare di $k$ (indicando un collasso dei candidati), VPO ha continuato a migliorare con campioni aggiuntivi, mostrando un divario in espansione all'aumentare del budget di ricerca.
• Metriche di Diversità: VPO ha mantenuto un'alta diversità nello spazio delle ricompense (misurata dalla distanza L1 pairwise tra i vettori di ricompensa), mentre baseline come Multi-RLVR e GRPO standard sono collassate verso vettori di ricompensa quasi identici nelle prime fasi dell'addestramento.
• Problemi Difficili e Ricerca Evolutiva: In un caso di studio su LiveCodeBench (un benchmark di programmazione competitiva), un modello addestrato con VPO (Qwen2.5-Coder-7B) ha superato significativamente un modello GRPO con calcolo abbinato. Crucialmente, quando integrato in OpenEvolve (un ciclo di ricerca evolutiva), i modelli VPO hanno risolto problemi che i modelli GRPO non potevano risolvere a nessun budget di candidati, dimostrando che VPO sblocca soluzioni che richiedono compromessi complessi.
• Studi di Ablazione:
  • La generazione multi-risposta da sola (senza scalarizzazione stocastica) è stata insufficiente a mantenere la diversità.
  • La scalarizzazione stocastica da sola (senza catene multi-risposta) non ha prodotto gli stessi guadagni.
  • GRPO condizionato agli obiettivi (condizionato su pesi specifici) non è riuscito a eguagliare VPO, suggerendo che generare un insieme diversificato in contesto è più efficace che condizionare esplicitamente sui pesi al momento dell'inferenza.
  • I benefici di VPO sono stati più pronunciati quando le componenti di ricompensa erano non collineari (cioè, quando esistevano veri compromessi). In domini con ricompense quasi collineari (ad esempio, UltraFeedback), il vantaggio di VPO si è attenuato, allineandosi alla premessa teorica.

Significato e Affermazioni

Il documento ipotizza che, man mano che la ricerca a tempo di esecuzione diventa una componente standard dei sistemi di IA, l'ottimizzazione per la diversità deve diventare l'obiettivo predefinito di post-addestramento. Gli autori affermano che VPO fornisce un modo principiato per separare l'esplorazione (addestramento per un pool diversificato) dallo sfruttamento (selezione a tempo di ricerca).

Il significato di VPO risiede nella sua capacità di:

• Sbloccare Problemi Più Difficili: Preservando strategie diversificate che possono apparire localmente subottimali sotto una scalare fissa ma contengono pattern di ragionamento parziali utili per la ricerca, VPO permette la scoperta di soluzioni che le politiche addestrate scalarmente mancano completamente.
• Scalare con la Potenza di Calcolo: Il divario di prestazioni tra VPO e le baseline scalari si amplia all'aumentare del budget di ricerca a tempo di esecuzione, rendendo VPO particolarmente prezioso per scenari di inferenza ad alta intensità computazionale.
• Compatibilità "Drop-in": VPO non richiede modifiche architetturali agli LLM esistenti e funziona come un semplice sostituto dello stimatore di vantaggio nei framework RL standard come GRPO.

Gli autori concludono che, sebbene VPO sacrifichi le prestazioni pass@1 (poiché dà priorità all'esplorazione rispetto allo sfruttamento immediato), è l'approccio superiore per regimi in cui è disponibile la ricerca a tempo di esecuzione, trasformando efficacemente l'ottimizzazione della politica in un problema di copertura sul fronte di Pareto.