Riepilogo Tecnico: Apprendimento per Rinforzo KL-Regolarizzato Online con Approssimazione di Funzione sotto Misspecificazione

1. Formulazione del Problema

Questo lavoro affronta il problema dei bandit contestuali e dell'apprendimento per rinforzo (RL) episodico KL-regolarizzato sotto approssimazione di funzione generale quando la classe di modelli scelta è misspecificata.

Nelle impostazioni standard, le garanzie teoriche spesso si basano sull'assunzione di realizzabilità, la quale postula che la funzione di ricompensa o di valore reale giaccia esattamente all'interno della classe di funzioni del discente. Tuttavia, in applicazioni pratiche come l'RLHF (Reinforcement Learning from Human Feedback) e il post-training dei Large Language Models (LLM), i discenti utilizzano frequentemente classi di funzioni ristrette (ad esempio, modelli lineari o a basso rango) che non possono catturare perfettamente strutture di ricompensa non lineari e complesse. Ciò porta alla misspecificazione del modello, dove anche con dati infiniti, il miglior predittore nella classe scelta mantiene un bias di approssimazione non nullo.

Gli obiettivi specifici sono:

• Bandit Contestuali: Minimizzare il regret KL cumulativo rispetto a una politica di Gibbs KL-ottimale, definita da una politica di riferimento $\pi_{\text{ref}}$ e un parametro di regolarizzazione $\eta$.
• RL Episodico: Minimizzare il regret KL cumulativo in un setting MDP episodico, dove gli aggiornamenti della politica sono regolarizzati da una penalità KL rispetto alle politiche di riferimento per stadio.

La sfida principale è che le analisi esistenti sulla misspecificazione per le formulazioni standard del regret della ricompensa non si trasferiscono direttamente alle impostazioni KL-regolarizzate a causa delle differenze strutturali nella geometria dell'ottimizzazione e nei target di Bellman.

2. Metodologia

2.1 Formulazioni di Misspecificazione

Gli autori introducono specifiche condizioni di misspecificazione adattate all'obiettivo KL-regolarizzato:

• Bandit Contestuali: Una formulazione di misspecificazione puntuale dove l'errore quadratico tra la vera ricompensa $R^\star$ e il miglior approssimatore nella classe $\mathcal{R}$ è limitato da $\zeta_{\text{Bandit}}^2$.
• RL Episodico: Una condizione di misspecificazione per stadio allineata con i target di Bellman KL-regolarizzati. Questa limita l'errore tra il vero backup di Bellman (che coinvolge l'operatore di log-partizione) e il miglior approssimatore nella classe di funzioni per stadio $\mathcal{R}_h$, limitato da $\zeta_{\text{RL}}$.

2.2 Algoritmi

Il documento propone due algoritmi basati sulla regressione che incorporano l'ottimismo per gestire l'incertezza e la misspecificazione:

1. MR-KL-UCB (Bandit Contestuali):

   • Adatta un Minimizzatore del Rischio Empirico (ERM) sui dati osservati.
   • Calcola un bonus di incertezza basato sulla dimensione di eluder della classe di funzioni.
   • Aggiunge il livello di misspecificazione noto $\zeta_{\text{Bandit}}$ al bonus.
   • Aggiorna la politica utilizzando una distribuzione di Gibbs derivata dalla stima ottimistica della ricompensa: $\pi_t(a|x) \propto \pi_{\text{ref}}(a|x) \exp(\eta \hat{R}_t(x,a))$.

2. MR-KL-LSVI (RL Episodico):

   • Un'estensione della Least-Squares Value Iteration (LSVI) al setting KL-regolarizzato.
   • Esegue una pianificazione backward: ad ogni stadio $h$, ricalcola le etichette di regressione utilizzando il valore di continuazione dello stadio successivo.
   • Adatta un ERM per stadio, calcola un bonus di incertezza e aggiunge il livello di misspecificazione $\zeta_{\text{RL}}$.
   • Aggiorna la politica tramite miglioramento della politica di Gibbs rispetto alla politica di riferimento per stadio.
   • Utilizza un aggiornamento di soft-valore (operatore di log-partizione) per gestire la regolarizzazione KL.

2.3 Tecniche di Analisi Teorica

L'analisi combina diverse tecniche avanzate:

• Identità Variazionale di Gibbs: Utilizza la relazione esatta tra il gap KL e la differenza tra gli score per limitare il regret.
• Auto-limitazione Quadratica (Quadratic Self-Bounding): Stabilisce che il gap KL tra la politica del discente e la politica ottimale è limitato superiormente dalla differenza al quadrato delle loro funzioni di score (gap di ottimismo).
• Riduzione ai Residui di Bellman: Converte i gap Q on-policy quadratici in termini di residui di Bellman al quadrato, isolando i contributi specifici della KL.
• Disuguaglianza di Freedman: Utilizzata per allineare le somme prevedibili di bonus al quadrato con le somme realizzate, garantendo garanzie ad alta probabilità.

3. Contributi Chiave

1. Nuove Formulazioni di Misspecificazione: Il documento definisce le prime condizioni di misspecificazione allineate alla KL sia per i bandit contestuali (puntuale) che per l'RL episodico (per stadio lungo i percorsi di Bellman).
2. Design Algoritmico: Introduce MR-KL-UCB e MR-KL-LSVI, che calibrano esplicitamente i bonus di ottimismo ai livelli di misspecificazione noti ($\zeta$) mantenendo al contempo la struttura della politica di Gibbs richiesta per gli obiettivi KL-regolarizzati.
3. Garanzie di Regret ad Alta Probabilità: Gli autori stabiliscono limiti di KL-regret ad alta probabilità che separano esplicitamente la complessità statistica (tramite la dimensione di eluder) dall'errore di approssimazione dovuto alla misspecificazione.
   • Per i bandit: $O(\eta \sqrt{\log(N_R T/\delta) \cdot d(\mathcal{R}, \lambda, T)} + T\zeta_{\text{Bandit}}^2)$.
   • Per l'RL: $\tilde{O}(\eta H^2 \sqrt{d_{\text{RL}}(\lambda, T)} + \eta H^3 T \zeta_{\text{RL}}^2)$.
4. Recupero dei Casi Realizzabili: L'analisi dimostra che quando il livello di misspecificazione è zero ($\zeta = 0$), i limiti recuperano le garanzie allo stato dell'arte per i setting KL-regolarizzati realizzabili.

4. Risultati

I principali risultati teorici (Teorema 5.1 e Corollario 5.4) forniscono le seguenti garanzie:

• Bandit Contestuali: Sotto il modello di misspecificazione puntuale, il KL-regret cumulativo scala con la radice quadrata della dimensione di eluder della classe di funzioni e linearmente con l'orizzonte temporale totale $T$ moltiplicato per l'errore di misspecificazione al quadrato $\zeta_{\text{Bandit}}^2$.
• RL Episodico: Sotto la condizione di misspecificazione per stadio, il regret scala con l'orizzonte $H$, il parametro di regolarizzazione $\eta$, l'aggregato della dimensione di eluder e l'errore di misspecificazione al quadrato $\zeta_{\text{RL}}^2$. Il limite include un termine esplicito per la somma dei bonus al quadrato, che è controllato dal livello di misspecificazione.

Questi risultati valgono con alta probabilità ($1-\delta$) e assumono rumore sub-Gaussiano condizionale.

5. Significato e Rivendicazioni

Il documento sostiene di colmare una lacuna critica nella comprensione teorica di RLHF e dell'apprendimento basato sulle preferenze, dove la misspecificazione del modello è comune ma spesso ignorata nelle analisi teoriche.

• Colmare il divario tra Teoria e Pratica: Superando l'assunzione di realizzabilità, questo lavoro fornisce un framework teorico più realistico per le moderne applicazioni di RL dove vengono utilizzate classi di funzioni semplici (come i modelli lineari) per approssimare paesaggi di ricompensa complessi.
• Intuizione Strutturale: L'analisi evidenzia come gli obiettivi KL-regolarizzati introducano sfide geometriche specifiche (ad esempio, operatori di log-partizione e politiche di Gibbs) che richiedono condizioni di misspecificazione distinte rispetto alle formulazioni standard del regret della ricompensa.
• Robustezza: Si dimostra che gli algoritmi proposti sono robusti agli errori di approssimazione, degradando con grazia all'aumentare del livello di misspecificazione, invece di fallire completamente come potrebbero suggerire alcuni limiti dipendenti dalla realizzabilità.

Gli autori osservano che il loro modello assume una misspecificazione puntuale e un rumore a code leggere. Riconoscono che l'estensione di queste garanzie a misure di misspecificazione on-policy, contesti a code pesanti e modelli di feedback più ampi (come le formulazioni basate sulle preferenze oltre l'attuale ambito) rimane un importante direzione per il lavoro futuro.