Sintesi Tecnica: Il Tradeoff tra Rappresentazione e Razionalizzabilità nell'Apprendimento dei Reward

Definizione del Problema

Nel Reinforcement Learning da Feedback Umano (RLHF), il compito centrale di apprendimento consiste nel convertire preferenze di coppia eterogenee provenienti da molteplici annotatori in una singola funzione di reward scalare $r(x, y)$. La teoria classica della scelta sociale stabilisce che, quando i campioni degli annotatori sono eterogenei, le preferenze aggregate possono indurre cicli di Condorcet (ad es., $A \succ B$, $B \succ C$, $C \succ A$), rendendo impossibile per qualsiasi reward scalare classificare coerentemente tutte le coppie di risposte.

Sebbene la letteratura recente abbia analizzato l'RLHF attraverso la lente della scelta sociale, tali lavori assumono tipicamente un insieme finito di alternative pre-enumerato e fisso. Nei moderni pipeline, tuttavia, le risposte vengono valutate tramite una rappresentazione appresa $\phi(x, y)$ seguita da una testa scalare $g$, tale che $r(x, y) = g(\phi(x, y))$. L'embedding $\phi$ determina quali risposte sono trattate come alternative distinguibili e quali confronti sono visibili al modello di reward. Questo articolo indaga la domanda fondamentale: l'aumento della ricchezza rappresentazionale di $\phi$ migliora sempre l'adattamento alle preferenze umane?

Gli autori sostengono che l'intuizione comune — secondo cui rappresentazioni più ricche forniscono più segnali e quindi un migliore adattamento — è incompleta. Invece, l'embedding stesso altera il problema dell'aggregazione. Perfezionare $\phi$ riduce il numero di risposte collassate, trasformando coppie precedentemente indistinguibili in alternative distinte. Sebbene ciò riduca la perdita di informazione, espone simultaneamente un maggior numero di confronti di coppia che possono formare cicli irriducibili, i quali nessun reward scalare può razionalizzare.

Metodologia e Quadro Teorico

1. Decomposizione dell'Errore in Eccesso

Il documento formalizza il problema dell'apprendimento sotto un modello di utilità casuale (RUM) con arbitraria eterogeneità degli annotatori. Gli autori definiscono la perdita di cross-entropy in eccesso di un reward appreso $r$ rispetto alla perdita Bayes-ottimale $L^*$ (la migliore prestazione possibile data la conoscenza perfetta delle preferenze aggregate).

Essi dimostrano che questo eccesso di perdita si decompone esattamente in due termini:
$$L(r) - L^* = E_{\text{emb}}(\phi) + E_{\text{agr}}(\phi, r)$$

• Errore di Embedding ($E_{\text{emb}}$): Misura l'informazione scartata quando l'embedding $\phi$ collassa risposte distinguibili sullo stesso punto. Questo termine diminuisce man mano che $\phi$ diventa più ricco (più dimensionale o più espressivo).
• Costo di Accordo ($E_{\text{agr}}$): Misura l'irriducibilità delle preferenze aggregate. Anche se $\phi$ preservasse perfettamente tutte le distinzioni (sia iniettivo), le preferenze aggregate potrebbero contenere cicli che impediscono a qualsiasi reward scalare di razionalizzarle simultaneamente. Questo termine aumenta man mano che $\phi$ diventa più ricco perché espone potenziali cicli aggiuntivi.

2. Limiti Inferiori e Analisi del Tradeoff

Gli autori derivano un limite inferiore sulla perdita in eccesso che quantifica esplicitamente la tensione tra questi due termini:
$$L(r) - L^* \geq 2e_d + \frac{\ell_\delta^2}{2} \bar{P}_d^\delta$$
Dove:

• $e_d$ è l'errore di embedding (relativo a $E_{\text{emb}}$), che è monotonicamente non crescente con la dimensione dell'embedding $d$.
• $\bar{P}_d^\delta$ è una probabilità pesata dalla curvatura dei cicli di Condorcet visibili alla dimensione $d$, che è non decrescente con $d$.
• $\ell_\delta$ è una costante dipendente dal margine.

Sotto ipotesi deboli (specificamente, che la $\sigma$-algebra generata dall'embedding cresca con la dimensione), il documento mostra che i limiti inferiori dei due termini si muovono in direzioni opposte. Di conseguenza, sia le rappresentazioni estremamente grossolane che quelle estremamente fini possono essere subottimali, implicando l'esistenza di una dimensione di embedding ottimale che dipende dal dataset.

3. Estensioni a DPO e Addestramento Congiunto

• Direct Preference Optimization (DPO): Gli autori mostrano che la stessa struttura di decomposizione e di limite inferiore si applica a DPO, dimostrando che il tradeoff tra rappresentazione e razionalizzabilità governa l'apprendimento della policy basato sulle preferenze anche senza un esplicito modello di reward.
• Addestramento Congiunto: Il documento analizza la dinamica dell'addestramento congiunto dell'embedding e della testa di reward. Dimostrano che gli aggiornamenti congiunti non garantiscono una diminuzione di nessuno dei due termini di tradeoff per round. Nello specifico, le dinamiche di ottimizzazione spostano l'errore di embedding e la probabilità di ciclo tramite le covarianze del reward-tilt. In qualsiasi punto fisso dell'aggiornamento congiunto, il reward diventa costante sui dati, non fornendo alcun segnale di preferenza. Pertanto, l'addestramento congiunto non converge implicitamente al "punto ideale" del tradeoff.

Risultati Chiave

Risultati Teorici

1. Decomposizione Esatta: La perdita in eccesso è strettamente la somma di una perdita di embedding (perdita di informazione) e di un costo di accordo (fallimento della razionalizzabilità).
2. Monotonicità: Sotto ipotesi standard (ad es., $\sigma$-algebre annidate), l'aumento della dimensione dell'embedding riduce la perdita di embedding ma aumenta il limite inferiore del costo di accordo (probabilità di ciclo).
3. Non-Convessità dell'Ottimizzazione: L'addestramento congiunto di embedding e reward non è garantito trovare il tradeoff ottimale; può stagnare in punti degeneri dove il reward è costante.

Validazione Empirica

Gli esperimenti sono stati condotti su:

• Dati Sintetici: Generati con componenti di utilità transitive, cicliche e rumorose.
• Dataset del Mondo Reale: Jester (valutazioni di barzellette), Sushi (preferenze sul sushi) e MT-Bench (preferenze di dialogo LLM).

Osservazioni:

• All'aumentare della dimensione dell'embedding, la perdita di embedding diminuisce mentre il costo di accordo aumenta.
• La perdita totale in eccesso presenta spesso un minimo in una dimensione intermedia dell'embedding, validando il tradeoff teorico.
• Queste tendenze valgono sia per l'esplicito modellamento del reward (RLHF) che per l'estrazione implicita del reward (DPO) attraverso diversi encoder pre-addestrati (ad es., all-MiniLM-L6-v2, mpnet).
• Le visualizzazioni dei dati sintetici mostrano che, all'aumentare della dimensione, la regione dello spazio di embedding in cui le risposte formano cicli di Condorcet si espande, confermando che rappresentazioni più ricche espongono preferenze più irconciliabili.

Significato e Rivendicazioni

Il documento sostiene che il lavoro sposti la comprensione della modellazione del reward nell'RLHF da una pura sfida rappresentazionale a un problema di aggregazione. La principale significatività risiede nell'identificare che l'embedding appreso non è solo un estrattore di caratteristiche, ma un componente strutturale che definisce l'insieme di alternative disponibili per il confronto.

Le rivendicazioni chiave includono:

1. Limitazione dei Reward Scalari: L'impossibilità di una classificazione scalare coerente in presenza di preferenze eterogenee non è solo un artefatto statistico, ma una proprietà regolabile dipendente dalla rappresentazione.
2. Complessità Ottimale: Non esiste una regola "più è meglio" per la ricchezza della rappresentazione nell'RLHF; la dimensione ottimale è un equilibrio tra la cattura delle distinzioni di preferenza ed evitare l'esposizione di cicli irriducibili.
3. Dinamiche di Addestramento: Le procedure standard di addestramento congiunto non navigano automaticamente questo tradeoff, suggerendo che gli attuali pipeline di RLHF potrebbero essere subottimali senza una considerazione esplicita di questa tensione tra rappresentazione e aggregazione.

Gli autori mantengono una posizione modesta, sottolineando che il loro lavoro è principalmente teorico e non propone nuovi modelli o sistemi implementabili, ma piuttosto chiarisce un limite fondamentale degli attuali approcci di modellazione del reward scalare sotto il feedback umano eterogeneo.