Sintesi Tecnica: Modellazione della Ricompensa (Reward Shaping) per l'Allineamento (al Tempo di Inferenza) tramite la Prospettiva del Gioco di Stackelberg

1. Definizione del Problema

Le attuali pipeline di allineamento dei Large Language Model (LLM) comportano tipicamente l'apprendimento di un modello di ricompensa ($r_U$) da dati di preferenza dell'utente e l'uso dello stesso per ottimizzare la policy dell'LLM. Questa ottimizzazione è vincolata da un regolarizzatore di divergenza di Kullback-Leibler (KL) per mantenere la policy appresa vicina al modello base ($\rho_{base}$), preservando la fluidità e la competenza linguistica.

Gli autori identificano un limite fondamentale in questa pipeline standard: ottimizzare direttamente per la ricompensa appresa $r_U$ sotto un vincolo KL è subottimale per massimizzare l'utilità dell'utente. Quando il modello base presenta forti bias (ad esempio, orientamenti politici) che contrastano con le preferenze dell'utente, il vincolo KL impedisce alla policy di spostarsi sufficientemente verso la distribuzione preferita, anche se il modello di ricompensa identifica correttamente la preferenza.

Al contrario, amplificare semplicemente le ricompense per forzare uno spostamento rischia di causare reward hacking, dove il modello genera output incoerenti o degeneri per massimizzare il segnale di ricompensa violando l'intento del vincolo KL. Il problema centrale affrontato è come progettare ottimamente la ricompensa (shaping) utilizzata per l'allineamento per bilanciare la massimizzazione dell'utilità dell'utente contro il rischio di reward hacking sotto regolarizzazione KL.

2. Metodologia: Formulazione del Gioco di Stackelberg

Gli autori formalizzano il problema della progettazione della ricompensa come un gioco di Stackelberg, un gioco a due giocatori sequenziali:

• Leader (Fornitore del Modello di Ricompensa): Seleziona un modello di ricompensa $r$ per massimizzare l'utilità attesa dell'utente (basata sulla funzione di utilità reale $r_U$), anticipando la risposta dell'LLM. Il leader non è costretto a usare direttamente $r_U$, ma può scegliere qualsiasi funzione di ricompensa $r: \mathcal{X} \times \mathcal{Y} \to \mathbb{R}$ limitata da $B$.
• Follower (LLM): Osserva il modello di ricompensa $r$ e ottimizza la sua policy $\rho_r$ per massimizzare la ricompensa attesa meno la divergenza KL dalla policy base:
  $$\rho_r(\cdot|x) = \arg\max_{\rho} \left( \mathbb{E}_{y \sim \rho}[r(x, y)] - \beta \cdot D_{KL}(\rho(\cdot|x) \parallel \rho_{base}(\cdot|x)) \right)$$

Caratterizzazione Teorica

Gli autori derivano una caratterizzazione in forma chiusa del modello di ricompensa ottimale $r^*$:

1. Struttura a Soglia: Il modello di ricompensa ottimale è una ricompensa a soglia (threshold reward). Per un dato prompt $x$, le risposte sono partizionate in base al fatto che la loro utilità reale $r_U(x, y)$ sia sopra o sotto una specifica soglia $m^*(x)$.
   • Se $r_U(x, y) > m^*(x)$, la ricompensa è impostata sul limite superiore $B$.
   • Se $r_U(x, y) < m^*(x)$, la ricompensa è impostata a $0$.
   • Se $r_U(x, y) = m^*(x)$, la ricompensa è nell'intervallo $[0, B]$.
2. Condizione di Auto-coerenza: La soglia ottimale $m^*(x)$ soddisfa la condizione per cui l'utilità attesa della policy risultante è uguale alla soglia stessa:
   $$m^*(x) = \mathbb{E}_{y \sim \rho_{r^*}(\cdot|x)} [r_U(x, y)]$$
3. Computazione: Poiché l'aspettativa esatta è intrattabile, gli autori propongono di calcolare la soglia tramite campionamento Monte Carlo dalla policy base. Definiscono una funzione ausiliaria $F_x(m)$ la cui radice unica corrisponde alla soglia ottimale. Questa radice può essere trovata efficientemente tramite un algoritmo di bisezione.

Implementazione Pratica: Soft Thresholding (SRS)

Sebbene la soglia netta (hard threshold) sia analiticamente ottimale, essa è discontinua e sensibile a piccole perturbazioni. Gli autori introducono lo Stackelberg Reward Shaping (SRS), una variante a soglia morbida (soft threshold) che utilizza una funzione sigmoide:
$$r_{\hat{m}^*, \alpha}(x, y) = B \cdot \sigma(\alpha \cdot (r_U(x, y) - \hat{m}^*(x)))$$
dove $\hat{m}^*(x)$ è la soglia stimata e $\alpha$ controlla la nitidezza della transizione. Ciò consente al metodo di interpolare tra nessun effetto di allineamento ($\alpha=0$) e l'ottimo analitico ($\alpha \to \infty$).

Integrazione con l'Allineamento al Tempo di Inferenza

Il framework è integrato in metodi esistenti di allineamento al tempo di inferenza (specificamente Controlled Decoding (CD) e Alignment as Reward-Guided Search (ARGS)):

1. Fase Offline: Campionare $M$ risposte dal modello base per un dataset di prompt. Calcolare $r_U$ per questi campioni. Stimare la soglia $\hat{m}^*(x)$ tramite bisezione. Applicare la trasformazione SRS per generare un dataset di ricompensa modellato (shaped). Addestrare un estimatore del valore Q su questi dati modellati.
2. Fase di Inferenza: Utilizzare l'estimatore del valore Q addestrato (che cattura la ricompensa attesa sotto la ricompensa modellata) per ripesare le probabilità dei token del modello base durante il decoding.

3. Contributi Chiave

1. Subottimalità delle Pipeline Standard: Dimostrato che l'uso diretto di un modello di ricompensa appreso dalle preferenze è subottimale sotto obiettivi regolarizzati KL, specialmente quando i bias del modello base contrastano con le preferenze dell'utente.
2. Formulazione del Gioco di Stackelberg: Formulato l'ottimizzazione del modello di ricompensa come un gioco di Stackelberg, derivando una soluzione in forma chiusa che mostra come il modello di ricompensa ottimale segua una struttura a soglia.
3. Approssimazione Efficiente: Sviluppato un algoritmo per approssimare la soglia ottimale tramite campionamento Monte Carlo dalla policy base, consentendo l'integrazione in metodi esistenti con un overhead minimo.
4. Validazione Empirica: Mostrato che il metodo SRS proposto migliora costantemente la ricompensa media e raggiunge alti tassi di vittoria-pareggio (win-tie rates) rispetto ai baseline in contesti di tempo di inferenza.

4. Risultati Sperimentali

Il metodo è stato valutato sui dataset HH-RLHF e SHP utilizzando backbone Qwen3-8B e Llama3-8B.

• Massimizzazione della Ricompensa: I metodi integrati con SRS (SRS-CD e SRS-ARGS) hanno costantemente ottenuto la ricompensa media più alta in tutte le configurazioni di valutazione rispetto ai baseline vanilla e agli schemi di reward shaping euristici (Minmax, Meanstd).
• Metriche di Qualità: I metodi hanno mantenuto diversità e coerenza comparabili ai baseline, indicando l'assenza di degradazione nella qualità del linguaggio.
• Valutazione GPT-4: Nei confronti diretti (head-to-head), i metodi SRS hanno ottenuto un tasso medio di Win-Tie superiore al 66% contro tutti i baseline, suggerendo che i miglioramenti non sono guidati da reward hacking.
• Robustezza:
  • Generalizzazione: SRS ha mostrato prestazioni superiori quando addestrato su una distribuzione (SHP) e valutato su prompt out-of-distribution (HH-RLHF e HarmfulQA).
  • Ablazione: La specifica struttura a soglia di SRS ha superato il semplice capping della ricompensa e la soglia basata sulla media, confermando l'importanza della soglia auto-coerente derivata dalla formulazione di teoria dei giochi.
• Overhead: Per SRS-CD, lo shaping della ricompensa è offline con zero overhead al tempo di inferenza. Per SRS-ARGS, l'overhead è trascurabile (~0,03 secondi per una risposta di 128 token).

5. Significato e Rivendicazioni

Il documento afferma che lo shaping della ricompensa non è meramente un'euristica, ma un problema di ottimizzazione che può essere risolto sistematicamente. Vedendo il processo di allineamento attraverso una lente di teoria dei giochi, gli autori dimostrano che il modello di ricompensa utilizzato per guidare l'LLM non deve essere (e non dovrebbe essere) un proxy diretto dell'utilità dell'utente. Invece, deve essere "modellato" (shaped) per tenere conto dei vincoli imposti dal modello base (divergenza KL).

La significatività risiede nel fornire un framework rigoroso per contrastare i bias del modello base senza indurre reward hacking. Gli autori sottolineano che il loro approccio è leggero, si integra perfettamente nei metodi esistenti di allineamento al tempo di inferenza e offre una soluzione robusta per adattare modelli fissi a diverse preferenze degli utenti.

Limitazioni notate dagli autori:

• Il framework assume un utente benigno le cui preferenze si allineano con i valori umani. Se il modello di ricompensa riflette preferenze malevole, la policy risultante potrebbe diventare disallineata.
• Il metodo dipende dalla disponibilità di un modello di ricompensa e di campioni Monte Carlo dalla policy base.
• L'attuale focus empirico è sull'allineamento al tempo di inferenza, sebbene gli autori notino il potenziale di estensione ad algoritmi di addestramento (es. GRPO) come lavoro futuro.