Owen-Shapley Policy Optimization: A Principled RL Algorithm for Generative Search LLMs

Il documento introduce l'Ottimizzazione della Politica Owen-Shapley (OSPO), un nuovo framework di apprendimento per rinforzo che affronta il divario di assegnazione del credito nei LLM generativi per la ricerca ridistribuendo i ricorsi a livello di sequenza a segmenti di token semanticamente coerenti mediante attribuzioni Shapley-Owen, consentendo così un'inferenza robusta e priva di etichette dell'intento utente latente senza richiedere modelli parametrici di valore.

L'essenziale

Immagina di insegnare a un robot a scrivere la lista della spesa perfetta per un cliente. Il robot scrive una frase lunga, come: "Ho bisogno di una giacca nera slim-fit, jeans slim-fit e un top color crema per un look da ufficio casual."

Nel vecchio modo di insegnare a questo robot (usando metodi come GRPO), aspetteresti che il robot finisse l'intera frase, controlleresti se il cliente ha acquistato qualcosa e poi assegneresti al robot un unico voto (una "ricompensa"). Se il cliente avesse acquistato la giacca, il robot riceverebbe un punteggio alto. Se non l'avesse fatto, riceverebbe un punteggio basso.

Il Problema:
Il robot non sa quale parte della frase ha meritato il voto. Ha funzionato la parte "giacca nera"? O erano i "jeans slim-fit"? O forse il "top color crema"? Poiché il robot riceve lo stesso voto per ogni singola parola che ha scritto, potrebbe accidentalmente imparare che la parola "la" o "e" è la parte più importante della frase. È come un insegnante che dà a uno studente un 'A' per un intero saggio senza dirgli quale paragrafo era il migliore, così lo studente continua a scrivere gli stessi paragrafi mediocri all'infinito.

La Soluzione: OSPO (Ottimizzazione della Politica Owen-Shapley)
Gli autori di questo articolo hanno creato un nuovo metodo chiamato OSPO. Usano un concetto della teoria dei giochi (matematica su come le squadre condividono i crediti) per capire esattamente quali parole o frasi hanno aiutato il robot a avere successo.

Ecco come funziona, usando una semplice analogia:

1. L'esperimento della "Degustazione"

Immagina che la frase del robot sia una zuppa fatta di diversi ingredienti (frasi).

• Metodo Vecchio: Assaggi l'intera zuppa alla fine e dici: "Questa è buona!". Non sai se il sale, il pepe o le carote l'hanno resa buona.
• Metodo OSPO: Esegui una serie di mini-degustazioni.
  • Assaggi la zuppa con solo le carote. (Forse è insipida.)
  • Assaggi la zuppa con solo il sale. (Forse è troppo salata.)
  • Assaggi la zuppa con carote e sale. (Ah! È deliziosa!)
  • Assaggi la zuppa con carote, sale e pepe. (Ancora meglio!)

Confrontando queste diverse combinazioni, OSPO può calcolare matematicamente esattamente quanto credito merita il "sale" (una frase specifica come "slim-fit") per il risultato finale delizioso.

2. L'analogia della "Carta di Credito"

Nel vecchio metodo, la "carta di credito" del robot (il suo segnale di apprendimento) è divisa equamente tra tutte le parole che ha scritto. Se ha scritto 100 parole, ogni parola riceve l'1% del credito.

In OSPO, la carta di credito è divisa in base al contributo marginale.

• Se la frase "giacca nera" è stata la chiave per trovare il prodotto giusto, quella frase riceve una grossa fetta del credito.
• Se la frase "e poi" non ha aiutato affatto, riceve quasi zero credito.
• Questo dice al robot: "Concentrati a scrivere più frasi tipo 'giacca nera' e smetti di perdere tempo con parole di riempimento."

3. Perché questo conta per lo Shopping

L'articolo ha testato questo su dati reali di shopping (Amazon e H&M).

• Il Risultato: Il robot addestrato con OSPO ha imparato due volte più velocemente del robot addestrato con il vecchio metodo.
• La Robustezza: Anche quando il robot è stato testato su un motore di ricerca completamente nuovo (uno che non aveva mai visto prima), ha funzionato bene. Il vecchio metodo tendeva a "barare" memorizzando schemi specifici del vecchio motore di ricerca, ma OSPO ha imparato il significato reale delle parole, quindi ha potuto adattarsi a nuove situazioni.

Riepilogo

Pensa a OSPO come a un allenatore intelligente che non dice solo "Buona partita!" alla fine di una partita. Invece, l'allenatore guarda la replay, mette in pausa ogni passaggio e dice: "Quel passaggio a sinistra era perfetto (alto credito), ma quella corsa al centro era inutile (basso credito)."

Fornendo al robot un feedback preciso su quali parti specifiche della sua risposta hanno funzionato, OSPO lo aiuta a imparare a scrivere raccomandazioni di acquisto migliori e più accurate senza bisogno di un "giudice" AI complesso che osservi ogni passo del processo. Rende il processo di apprendimento più veloce, intelligente e affidabile.

Sommario tecnico

Riepilogo Tecnico: Ottimizzazione della Politica Owen-Shapley (OSPO)

1. Enunciato del Problema

I Modelli Linguistici su Larga Scala (LLM) sono sempre più implementati in sistemi di raccomandazione generativi, dove sintetizzano le preferenze degli utenti, affinano le query e generano artefatti in linguaggio naturale per condizionare il recupero e il ranking a valle. Questi sistemi fanno spesso affidamento sull'Apprendimento per Rinforzo (RL) per ottimizzare segnali verificabili a livello di sequenza (ad esempio, NDCG di recupero) provenienti da componenti black-box come recuperatori o ranker, bypassando la necessità di costose annotazioni umane.

Tuttavia, i metodi standard di RL privi di modello di valore, come l'Ottimizzazione della Politica Relativa al Gruppo (GRPO), affrontano un divario critico nell'assegnazione dei crediti. In questi framework, un singolo vantaggio scalare viene assegnato uniformemente a tutti i token in una sequenza generata basandosi sulla ricompensa terminale. Questo approccio oscura quali frasi o segmenti semantici specifici abbiano effettivamente guidato l'utilità a valle. Di conseguenza, i modelli faticano a distinguere tra segmenti di ragionamento utili e scorciatoie sfruttative, portando a:

• Apprendimento inefficiente: Gli aggiornamenti del gradiente sono diluiti su token irrilevanti.
• Hacking della ricompensa: I modelli possono adattarsi eccessivamente a segnali superficiali nei recuperatori black-box piuttosto che apprendere rappresentazioni semantiche robuste.
• Scarsa generalizzazione: L'assegnazione uniforme dei crediti non riesce a catturare la natura compositiva dell'intento dell'utente, risultando in prestazioni scarse sotto spostamenti di distribuzione o quando si affrontano recuperatori mai visti.

2. Metodologia: Ottimizzazione della Politica Owen-Shapley (OSPO)

OSPO affronta il divario nell'assegnazione dei crediti ridistribuendo i vantaggi a livello di sequenza basandosi sui contributi marginali di segmenti di token semanticamente coerenti. Opera senza modelli di valore parametrici (critici), affidandosi invece alla teoria dei giochi cooperativa per attribuire il valore.

Meccanismo Principale

1. Segmentazione e Coalizioni:
   Una risposta generata $y$ viene decomposta in $N$ segmenti semanticamente significativi (ad esempio, frasi, frasi intere). OSPO tratta questi segmenti come "giocatori" in un gioco di coalizione. A differenza dei valori di Shapley classici che considerano tutti i $2^N$ sottoinsiemi (computazionalmente intrattabili), OSPO impone un vincolo di contiguità. Valuta solo le coalizioni contigue $S = \{i, i+1, \dots, i+w-1\}$, dove $w$ è un iperparametro per la larghezza massima della coalizione. Questo riduce la complessità da $O(2^N)$ a $O(N \cdot w_{max})$, rendendo fattibile la valutazione online durante l'addestramento RL.

2. Calcolo del Valore Owen:
   Per ogni segmento $j$, OSPO calcola il valore Owen $\phi_j^{Owen}$, che rappresenta il suo contributo marginale atteso alla ricompensa totale. Questo è calcolato mediando la differenza nella ricompensa $v(S \cup \{j\}) - v(S)$ su tutte le coalizioni contigue $S$ in cui $j$ può essere aggiunto mantenendo la contiguità. La ricompensa $v(S)$ è ottenuta interrogando il sistema a valle (ad esempio, un recuperatore denso) con la sequenza parziale formata concatenando i segmenti in $S$.

3. Ridistribuzione del Vantaggio:
   OSPO colma il divario tra le attribuzioni a livello di segmento e gli aggiornamenti della politica a livello di token attraverso la ridistribuzione del vantaggio:

   • Vantaggio di Gruppo: Viene calcolato un vantaggio relativo al gruppo standard $\hat{A}^{(g)}$ per l'intera sequenza basandosi sulla ricompensa terminale (simile a GRPO).
   • Mappatura dei Token: I valori Owen a livello di segmento sono mappati in pesi a livello di token. Per evitare il bias di lunghezza (dove sequenze più lunghe ricevono gradienti sproporzionatamente deboli), il vantaggio del token $A_t^{(g)}$ è calcolato come:
     $$A_t^{(g)} = T \cdot \tilde{\phi}_t^{(g)} \cdot \hat{A}^{(g)}$$
     dove $T$ è la lunghezza della sequenza e $\tilde{\phi}_t$ è il valore Owen normalizzato per il token $t$. Questo garantisce che il vantaggio medio del token sia uguale al vantaggio originale della sequenza, indipendentemente dalla lunghezza.
   • Obiettivo: L'obiettivo surrogato standard PPO/GRPO viene modificato per utilizzare questi vantaggi di token ponderati con Owen, focalizzando gli aggiornamenti del gradiente sui segmenti ad alto contributo.

Varianti

Il documento valuta tre strategie di ridistribuzione:

• OSPO-PROP: Ridistribuzione proporzionale basata sui valori Owen.
• OSPO-RANK: Mappa i valori Owen in ranghi ordinali prima della ridistribuzione per migliorare la robustezza rispetto a stime rumorose.
• OSPO-CLIP: Vincola i vantaggi ridistribuiti utilizzando la disuguaglianza di Chebyshev per limitare i valori anomali.

3. Contributi Chiave

• Assegnazione dei Crediti Principiata senza Critici: OSPO introduce un framework che raggiunge un'assegnazione dei crediti fine-granulare in RL privo di modello di valore sfruttando i valori Owen-Shapley, eliminando la necessità di reti di valore apprese o modelli di ricompensa di processo che richiedono etichette per passaggi intermedi.
• Attribuzione Basata su Coalizioni: Modellando segmenti semanticamente coerenti come coalizioni contigue, OSPO cattura come le combinazioni di frasi influenzino congiuntamente le ricompense a valle, allineandosi alla struttura linguistica delle uscite degli LLM nei compiti di raccomandazione.
• Ridistribuzione Invariante alla Lunghezza: Il metodo introduce una garanzia teorica (Lemma A.1) che lo schema di ridistribuzione è invariante alla lunghezza, prevenendo il bias di addestramento in cui sequenze più lunghe sono sistematicamente sottopenalizzate o sovraricompensate.
• Generalizzazione Agnostica al Recuperatore: L'approccio apprende rappresentazioni di query che si trasferiscono efficacemente attraverso diversi spazi di embedding e recuperatori mai visti, affrontando una limitazione chiave dei metodi standard RLHF.

4. Risultati Sperimentali

OSPO è stato valutato su due compiti di e-commerce: Affinamento della Query di Ricerca di Prodotti (dataset ESCI) e Sintesi del Profilo Utente (dataset H&M Fashion).

• Miglioramenti delle Prestazioni:

  • Sul dataset ESCI, OSPO-PROP (modello 7B) ha raggiunto un NDCG di 0.522, superando GRPO (0.418) del 24.9% e DPO (0.431) del 21.1%.
  • Sul dataset H&M Fashion, più complesso, OSPO-PROP ha raggiunto un NDCG di 0.436, superando GRPO (0.379) del 15.0%.
  • Notevolmente, OSPO-PROP a 7B parametri ha superato un modello da 32B su ESCI e quasi lo ha eguagliato su H&M, dimostrando un'efficienza del campione superiore.

• Efficienza del Campione:
  La dinamica di addestramento ha mostrato che OSPO raggiunge le prestazioni target (85% NDCG) in circa 400 step, mentre GRPO richiedeva oltre 800 step per avvicinarsi a prestazioni simili, nonostante dati di addestramento identici.

• Generalizzazione e Robustezza:

  • Spostamento del Recuperatore: Quando valutato su recuperatori mai visti (spostamenti di embedding cross-domain), OSPO ha mantenuto prestazioni di ranking forti, mentre GRPO e baseline offline (SFT, DPO) si sono degradati significativamente.
  • Mitigazione dell'Hacking della Ricompensa: GRPO ha esibito comportamenti di "hacking della ricompensa", come la riduzione del conteggio dei token di ragionamento e la convergenza verso soluzioni subottimali a bassa varianza. OSPO ha mantenuto tracce di ragionamento più lunghe e diversificate e una varianza della ricompensa più alta, indicando un apprendimento stabile.
  • Validità dell'Attribuzione: L'analisi di correlazione ha mostrato che le assegnazioni dei crediti Owen-Shapley erano 3.3 volte più correlate con la qualità di recupero ground-truth delle frasi singole rispetto a proxy basati sull'attenzione o TF-IDF.

• Studi di Ablazione:

  • Struttura della Coalizione: Coalizioni contigue di larghezza moderata (ad esempio, $w=4$ a $8$) hanno prodotto i migliori risultati. Coalizioni strette hanno portato a un overfitting su co-occorrenze locali, mentre coalizioni non contigue hanno causato un collasso delle prestazioni a causa di incoerenza semantica.
  • Profondità di Campionamento: Un campionamento Monte Carlo sufficiente (rollout) è stato critico; ridurre le generazioni da 8 a 2 ha causato un calo netto dell'accuratezza.

5. Significato e Affermazioni

Il documento afferma che OSPO rappresenta un passo significativo in avanti nell'allineamento degli LLM per compiti basati sul recupero risolvendo il problema dell'assegnazione dei crediti intrinseco nel RL privo di modello di valore. Il suo significato risiede in:

1. Efficienza: Raggiungere prestazioni all'avanguardia con modelli più piccoli (7B) rispetto a baseline molto più grandi, riducendo i costi computazionali per il deployment.
2. Interpretabilità: Fornire un meccanismo principiato per identificare quali parti di una risposta guidano il successo, andando oltre l'assegnazione uniforme dei crediti "black box".
3. Robustezza: Dimostrare che le attribuzioni basate su coalizioni apprendono segnali trasferibili che generalizzano attraverso diversi backbones di recupero e spostamenti di distribuzione, un requisito critico per i sistemi di raccomandazione reali dove l'intento dell'utente è latente e il feedback è scarso.

Gli autori concludono che OSPO non impara memorizzando i pattern di feedback, ma sfruttando attribuzioni basate su coalizioni principiate, promuovendo comportamenti stabili, trasferibili e interpretabili negli LLM di ricerca generativi. Viene suggerito un lavoro futuro per estendere questi crediti basati su coalizioni alle interazioni multi-turno e al coordinamento multi-agente.