Riepilogo Tecnico: POETS (Insiemi di Politiche per il Campionamento di Thompson)

Enunciato del Problema

Bilanciare esplorazione e sfruttamento rimane una sfida fondamentale nel processo decisionale sequenziale e nell'ottimizzazione a scatola nera, in particolare quando applicato ai Modelli Linguistici di Grande Dimensione (LLM). Un'esplorazione efficace richiede una quantificazione dell'incertezza basata su principi. Sebbene l'assemblaggio di modelli addestrati indipendentemente sia un metodo provato e agnostico rispetto al modello per stimare l'incertezza epistemica, l'applicazione diretta di un assemblaggio ingenuo agli LLM è proibitiva dal punto di vista computazionale a causa dei vincoli di memoria e di calcolo. Inoltre, i metodi di esplorazione esistenti per gli LLM spesso si basano su modelli di ricompensa espliciti (che introducono complessità di ottimizzazione nidificate) o dipendono fortemente dalle capacità di follow-up delle istruzioni del modello.

Metodologia

Il documento introduce POETS (Insiemi di Politiche per il Campionamento di Thompson), un framework che colma il divario tra quantificazione dell'incertezza e ottimizzazione della politica senza richiedere un modello di ricompensa probabilistico esplicito.

Insight Fondamentale: Codifica Implicita della Ricompensa

POETS si fonda sulla dualità tra funzioni di ricompensa e politiche ottimali sotto obiettivi regolarizzati. Nello specifico, le politiche addestrate con regolarizzazione Kullback-Leibler (KL) codificano implicitamente una funzione di ricompensa sottostante. Invece di apprendere un modello di ricompensa e poi adattare una politica ad esso (un processo in due fasi), POETS adatta direttamente le funzioni di ricompensa implicite codificate da un insieme di politiche ai dati online osservati.

L'Algoritmo

1. Insieme di Politiche: POETS mantiene un insieme di $n$ politiche indipendenti, $\Pi = \{\pi_1, \dots, \pi_n\}$.
2. Bootstrapping di Poisson: Per catturare l'incertezza epistemica, i membri dell'insieme vengono diversificati tramite bootstrapping di Poisson. Per ogni batch di dati in arrivo, ogni membro dell'insieme riceve un peso intero indipendente estratto da una distribuzione Poisson(1). Ciò permette all'insieme di apprendere una distribuzione a posteriori approssimata sulle funzioni di ricompensa senza richiedere un dataset statico.
3. Funzione di Perdita: Il metodo ottimizza una funzione di perdita che allinea la ricompensa implicita di una singola politica con la ricompensa vera. La derivazione teorica dimostra che l'ottimizzazione di questa perdita è matematicamente equivalente a un aggiornamento del gradiente della politica (nello specifico, una variante di GRPO) scalato dai pesi di Poisson.
4. Campionamento di Thompson: Adattando un insieme di ricompense implicite alle ricompense vere utilizzando bootstrap indipendenti, POETS apprende una distribuzione a posteriori sulle funzioni di ricompensa. L'esecuzione del campionamento di Thompson regolarizzato KL è ottenuta semplicemente campionando uniformemente una politica dall'insieme $\Pi$ e agendo di conseguenza.

Architettura Efficiente: "Tronco e Ramo"

Per superare il costo proibitivo del mantenimento di $n$ copie complete di LLM, POETS utilizza un'architettura efficiente in termini di parametri:

• Tronco Condiviso: Un backbone pre-addestrato (la maggior parte dei pesi) è condiviso tra tutti i membri dell'insieme e valutato una sola volta per ogni passaggio in avanti/inverso.
• Rami Indipendenti: La diversità dell'insieme è interamente racchiusa in moduli indipendenti di adattamento a basso rango (LoRA) che agiscono come strati di lettura finali.
• Efficienza: Questo design garantisce che la generazione di risposte e l'accumulo di gradienti per $n$ politiche richiedano virtualmente lo stesso tempo reale di una singola politica, con un sovraccarico di memoria che scala solo con la dimensione dei rami LoRA.

Contributi Chiave

1. Nuovo Framework: Introduzione di POETS, che cattura l'incertezza epistemica tramite insiemi di politiche e conduce implicitamente un campionamento di Thompson regolarizzato KL senza un modello di ricompensa esplicito.
2. Garanzie Teoriche: Dimostrazione che POETS eredita i forti limiti di rimorso cumulativo morbido di $O(\sqrt{T\gamma_T})$ associati al campionamento di Thompson regolarizzato KL, dove $\gamma_T$ è il guadagno informativo massimo.
3. Efficienza Computazionale: Dimostrazione che un'architettura LoRA "Tronco e Ramo" permette un ensemble profondo con un sovraccarico minimo (ad esempio, un aumento del tempo di esecuzione di circa il 7,7% per $n=16$ su una GPU H200).
4. Prestazioni Empiriche: Efficienza di campionamento all'avanguardia in diversi domini di ottimizzazione combinatoria a scatola nera (raffinamento di FAQ, ricerca di proteine, progettazione di circuiti quantistici) e maggiore robustezza negli scenari di apprendimento per rinforzo, in particolare in scenari off-policy con replay dell'esperienza.

Risultati Sperimentali

Gli autori hanno valutato POETS rispetto a baseline tra cui GRPO, TOSFIT (che utilizza un modello di ricompensa esplicito), FIBO (campionamento di Thompson in contesto) ed EVOSEARCH (ricerca evolutiva).

• Ottimizzazione a Scatola Nera: POETS ha raggiunto un'efficienza di campionamento all'avanguardia nella ricerca di proteine, nella progettazione di circuiti quantistici e nel raffinamento di FAQ. In modo notevole, ha superato le baseline anche senza un buffer di replay, mentre il GRPO standard non è riuscito a mantenere la diversità e ha sofferto di overfitting sui candidati iniziali.
• Apprendimento per Rinforzo (RL): Nel setting del dataset AIME (bandit contestuale con ricompense verificabili), POETS ha migliorato le traiettorie di ottimizzazione sia per gli setting on-policy che off-policy (replay dell'esperienza). Ha mitigato con successo i problemi di overfitting osservati nel GRPO quando esposto a contesti ripetuti.
• Diversità: L'insieme ha mantenuto la diversità di generazione (misurata dalla divergenza di Jensen-Shannon) durante tutto l'addestramento, prevenendo il collasso dell'entropia comune nei metodi standard di gradiente della politica.
• Ablazioni: Gli esperimenti hanno confermato che il bootstrapping di Poisson è essenziale per la diversità, che piccoli insiemi ($n=8$) sono sufficienti per alte prestazioni e che l'architettura "Tronco e Ramo" cattura efficacemente l'incertezza con un costo computazionale minimo.

Significato e Affermazioni

Il documento afferma che POETS rappresenta un avanzamento significativo consentendo un'esplorazione basata su principi e consapevole dell'incertezza per gli LLM nella scoperta scientifica e nell'RL, senza il carico computazionale della modellazione esplicita della ricompensa o la fragilità del follow-up delle istruzioni in contesto.

• Teorico: Stabilisce che gli insiemi di politiche con bootstrapping sono sufficienti per implementare il campionamento di Thompson regolarizzato KL, ereditando limiti di rimorso ottimali.
• Pratico: Fornisce una soluzione scalabile che rende fattibile l'ensemble profondo per gli LLM, permettendo un uso efficace del replay dell'esperienza e un'esplorazione robusta in regimi ad alta incertezza.
• Ambito: Il lavoro è posizionato come un contributo algoritmico fondamentale per il post-addestramento degli LLM e la scoperta scientifica, mirando specificamente a problemi di ottimizzazione combinatoria dove le valutazioni sono costose.

Gli autori notano che, sebbene POETS migliori l'efficienza di campionamento e la robustezza, non affronta la specificazione errata della ricompensa, l'equità o l'allineamento, che rimangono responsabilità dei progettisti del sistema. Si suggerisce un lavoro futuro per estendere il framework dai bandit contestuali a setting multi-step con assegnazione del credito granulare.