Sintesi Tecnica: Inferenza Strutturata con Large Language Gibbs

Definizione del Problema

I Large Language Models (LLM) sono sempre più utilizzati per rappresentare distribuzioni su oggetti strutturati, come assegnazioni di etichette, record tabulari e oggetti combinatori. Tuttavia, accedere alla conoscenza codificata negli LLM per l'inferenza probabilistica strutturata presenta una sfida significativa. L'approccio standard di generazione di oggetti strutturati tramite la decodifica autoregressiva a singolo passaggio introduce bias dipendenti dall'ordine, come gli effetti di recenza e l'ignoranza del contesto, che distorcono la distribuzione congiunta intesa. Inoltre, gli LLM spesso falliscono nel campionare correttamente da distribuzioni semplici (ad es. uniformi o gaussiane) quando generano campioni in modo indipendente o in batch, mostrando o un alto bias o un'alta autocorrelazione. Il problema centrale è come sfruttare le credenze condizionali degli LLM su singole variabili per estrarre maggiori informazioni e produrre campioni congiunti coerenti senza gli artefatti degli ordini di generazione fissi.

Metodologia: Large Language Gibbs

Gli autori propongono Large Language Gibbs, un framework per l'inferenza probabilistica strutturata che tratta le distribuzioni condizionali di un LLM come operatori di transizione all'interno di uno schema di campionamento Gibbs. Inveve di generare un intero oggetto in un unico passaggio, il metodo risamina iterativamente le singole variabili condizionate dai valori correnti di tutte le altre variabili.

Meccanismo Core

L'approccio definisce una catena di Markov in cui lo stato è un insieme di variabili $X = (X_1, \dots, X_n)$. Ad ogni passo, una variabile $X_i$ viene selezionata e risampionata da una distribuzione condizionale approssimativa $q_i(X_i | X_{-i})$ derivata dall'LLM.

1. Basic Large Language Gibbs (Sezione 3.1):
Per definire il kernel di risampionamento $q^{LM}_i(X_i | X_{-i})$, il metodo affronta il fatto che gli LLM autoregressivi forniscono solo probabilità del prossimo token per un ordine di sequenza specifico. Gli autori propongono di definire il kernel come l'aspettativa dei kernel autoregressivi sotto permutazioni casuali delle restanti variabili:
$$q^{LM}_i(X_i | X_{-i}) \triangleq \mathbb{E}_{\sigma_{-i}} \left[ p_{LM}(X_i | \text{seq}(X_{-i}, \sigma_{-i}) \oplus [c_i]) \right]$$
dove $\sigma_{-i}$ è una bijezione casuale che rimescola le altre variabili, e $c_i$ è il contesto in linguaggio naturale che descrive $X_i$. Questo rimescolamento casuale rimuove i bias dipendenti dall'ordine, puntando a una distribuzione stazionaria che rifletta un compromesso tra tutti i condizionali locali.

2. Kernel Discriminativi (Sezione 3.2):
Riconoscendo che gli LLM possono essere migliori nella discriminazione che nella generazione (specialmente dopo il fine-tuning tramite reinforcement learning), gli autori introducono due varianti che utilizzano l'output discriminativo dell'LLM per accettare o rifiutare candidati:

• Barker Gibbs: Utilizza l'LLM per scegliere tra il valore corrente e un valore candidato. Se l'LLM è calibrato secondo la regola di Barker, la distribuzione stazionaria è preservata.
• Gambling Gibbs: Inquadra la decisione di accettazione come una scommessa. All'LLM viene chiesto se scommetterebbe sulla maggiore plausibilità del candidato rispetto al valore corrente. Ciò consente l'uso di una decodifica greedy (giudizio con soglia deterministica) piuttosto che fare affidamento su probabilità calibrate.

3. Varianti Pratiche (Sezione 3.3):
Il framework supporta Sweeping Gibbs (ciclo attraverso le variabili in un ordine fisso) e Block Gibbs (risampionamento di insiemi di $B > 1$ variabili simultaneamente) per migliorare la convergenza o uscire da mode locali.

Contributi Chiave

1. Un Nuovo Schema di Inferenza: Il documento introduce Large Language Gibbs, un metodo che trasforma gli LLM in operatori di transizione per l'inferenza probabilistica strutturata, andando oltre la generazione autoregressiva a singolo passaggio.
2. Analisi Teorica: Gli autori forniscono un quadro teorico che stabilisce l'esistenza di una distribuzione stazionaria unica per la catena di Gibbs. Identificano una condizione sufficiente (Assunzione 3.1) sotto la quale la distribuzione stazionaria corrisponde a una distribuzione congiunta simmetrizzata dell'LLM, dimostrando che il rimescolamento casuale è essenziale per rimuovere i bias di ordinamento.
3. Varianti Algoritmiche: La proposta dei kernel Barker e Gambling Gibbs offre alternative per scenari in cui le probabilità generative sono mal calibrate, sfruttando le capacità discriminative dell'LLM.
4. Validazione Empirica: Il metodo viene applicato a tre domini distinti:
   • Distribuzioni Sintetiche: Campionamento da distribuzioni uniformi e gaussiane.
   • Ragionamento Coerente: Risoluzione di set di domande correlate (TruthfulQA, GSM8K) per trovare risposte coerenti.
   • Apprendimento Strutturale Bayesiano: Utilizzo di dati sintetici generati da LLM per informare i prior per la scoperta di grafi causali.

Risultati

Gli esperimenti dimostrano che Large Language Gibbs mitiga efficacemente i limiti del campionamento standard degli LLM:

• Distribuzioni Semplici: Nei compiti sintetici (uniforme e gaussiana), il campionamento indipendente mostrava un alto bias, e il campionamento in batch mostrava un'alta autocorrelazione. Il campionamento Gibbs ha corretto sostanzialmente entrambi i problemi, producendo campioni con bias e autocorrelazione inferiori rispetto ai metodi baseline.
• Ragionamento Coerente: Su TruthfulQA e GSM8K-Verification, gli aggiornamenti condizionali iterativi tramite campionamento Gibbs hanno superato i baseline zero-shot, autoregressivi a singolo passaggio e persino l'Internal Coherence Maximization (ICM). I risultati suggeriscono che il rimescolamento delle variabili durante il risampionamento porta a una migliore coerenza tra domande correlate.
• Apprendimento Strutturale Bayesiano: Quando utilizzato per generare dati sintetici ($D_{LLM}$) per definire un prior guidato dalla conoscenza del mondo, Large Language Gibbs ha migliorato le prestazioni dell'apprendimento strutturale (misurate tramite Expected Structural Hamming Distance e AUROC) su dataset reali rispetto ai prior uniformi e al campionamento autoregressivo diretto. Il metodo ha sfruttato con successo i metadati per disambiguare le strutture causali.

Significato e Rivendicazioni

Il documento sostiene che l'uso dei condizionali degli LLM all'interno di un framework di Markov Chain Monte Carlo (MCMC) è un'alterna pratica alla generazione a singolo passaggio per l'inferenza probabilistica strutturata. Gli autori argomentano che questo approccio permette di estrarre più informazioni dalle credenze interne del modello rispetto a quanto consentito dalla generazione autoregressiva.

La significatività risiede nel fornire un framework probabilistico rigoroso per gestire i condizionali "rumorosi" degli LLM. Attraverso il risampionamento iterativo e la mediazione tra gli ordini delle variabili, il metodo produce una distribuzione stazionaria che rappresenta un compromesso tra i condizionali locali, rimuovendo efficacementmente il bias di qualsiasi ordine di generazione fisso. Gli autori pongono questo lavoro come un passo verso il trattamento degli LLM come prior all'interno di programmi probabilistici, in particolare per compiti che richiedono coerenza tra molteplici variabili o passaggi di ragionamento.

Il documento rimane modesto riguardo ai propri limiti, notando che l'approccio richiede più computazione rispetto alla generazione a singolo passaggio ed è attualmente limitato a modelli relativamente piccoli (fino a 32 miliardi di parametri) a causa di vincoli computazionali. Riconosce inoltre che la qualità dei risultati dipende fortemente dalla capacità informativa dei metadati forniti all'LLM.