Riepilogo Tecnico: Modelli Linguistici di Grande Formato per la Decisione Sequenziale tramite Affinamento Supervisionato

Enunciato del Problema

La decisione sequenziale in condizioni di incertezza è fondamentale in ambiti ad alto rischio come la pianificazione dei trattamenti clinici e la gestione delle risorse. Sebbene i Regimi di Trattamento Dinamico (DTR) offrano un quadro per apprendere da dati osservazionali, spesso si basano sull'assunzione forte di ignorabilità sequenziale (tutti i confonditori sono osservabili). Nella realtà, i confonditori non osservabili rendono necessari i Regimi di Trattamento Dinamico Ambigui (ADTR), che valutano le politiche rispetto a un insieme di modelli plausibili (ambiguità del modello) piuttosto che a un singolo modello. Ciò corrisponde ai Processi Decisionali di Markov Parzialmente Osservabili Ambigui (APOMDP).

Sebbene i Modelli Linguistici di Grande Formato (LLM) abbiano dimostrato capacità straordinarie di Apprendimento in Contesto (ICL), la loro applicazione alla decisione sequenziale è stata limitata. I lavori precedenti addestrano tipicamente i transformer da zero, si concentrano su Processi Decisionali di Markov (MDP) completamente osservabili e trascurano le sfide dell'osservabilità parziale e dell'ambiguità del modello presenti negli scenari reali. Questo articolo colma il divario nello sfruttamento di LLM preaddestrati per la decisione sequenziale in MDP, POMDP e APOMDP utilizzando dati offline etichettati da un oracolo.

Metodologia

Gli autori propongono un quadro che adatta l'Affinamento Supervisionato (SFT) per consentire ai LLM preaddestrati di eseguire decisioni sequenziali few-shot.

1. Panoramica del Quadro

Invece di addestrare un transformer da zero, gli autori affinano un LLM preaddestrato open-source (nello specifico Llama-2-7B) utilizzando QLoRA (Low-Rank Adapters Quantizzati) efficiente in termini di parametri. Il modello viene addestrato su traiettorie offline generate da un oracolo di azioni ottimali (o subotimali).

• Addestramento: Il modello impara a prevedere il token dell'azione successiva data una storia di osservazioni, azioni e ricompense, serializzate in un formato testuale. La funzione di perdita è la standard perdita di previsione del token successivo su queste traiettorie serializzate.
• Inferenza: Al momento del test, al modello viene fornito un contesto few-shot (traiettorie di dimostrazione da un nuovo compito) e la storia corrente. Genera azioni per il nuovo compito senza ulteriori aggiornamenti dei parametri, agendo efficacemente come una politica condizionata agli esempi in contesto.

2. Analisi Teorica

Il paper fornisce un'analisi teorica focalizzata sugli MDP lineari per comprendere perché l'SFT migliori le prestazioni.

• Interpretazione: Gli autori interpretano uno strato di auto-attenzione lineare (LSA) addestrato come una stima implicita dei parametri della funzione Q ottimale dai dati in contesto.
• Limite di Subottimalità: Derivano un limite di subottimalità end-to-end per la politica indotta. Questo limite scompone l'errore in due componenti distinte:
  1. Errore di stima in contesto: Diminuisce all'aumentare del numero di traiettorie di supporto few-shot ($K_{test}$).
  2. Bias della lunghezza di addestramento: Diminuisce all'aumentare del numero di traiettorie di addestramento ($K$).
• Insight Chiave: L'analisi suggerisce che, sebbene aumentare le traiettorie di supporto aiuti a stimare il compito specifico, aumentare il volume dei dati di addestramento riduce il bias introdotto dalla lunghezza finita della sequenza di addestramento, il che è cruciale per compiti a orizzonte lungo.

Contributi Chiave

1. Quadro SFT per la Decisione Sequenziale: Gli autori introducono un metodo per affinare LLM preaddestrati su traiettorie offline, consentendo loro di generalizzare a nuovi compiti tramite dimostrazioni few-shot senza ulteriori aggiornamenti dei parametri.
2. Utilizzo di Dati Offline da Oracolo: Il quadro sfrutta dataset offline combinati con un oracolo di azioni ottimali per sintetizzare traiettorie di addestramento di alta qualità. Ciò è particolarmente rilevante per domini come l'assistenza sanitaria, dove la sperimentazione è costosa o non etica, e la supervisione derivata da esperti può essere costruita da dati registrati.
3. Decomposizione Teorica dell'Errore: Il paper fornisce un limite teorico che separa l'errore di stima in contesto dal bias della lunghezza di addestramento, offrendo una spiegazione formale per i guadagni di prestazioni osservati con l'SFT.
4. Valutazione Empirica in Ambienti Complessi: Lo studio estende la valutazione oltre gli MDP standard per includere POMDP (osservabilità parziale) e APOMDP (ambiguità del modello), dimostrando robustezza in questi ambienti più realistici e impegnativi.

Risultati Sperimentali

Gli autori valutano il loro approccio su compiti sintetici attraverso impostazioni MDP, POMDP e APOMDP, confrontando l'SFT-LLM con baselines casuali, baselines solo ICL e il Decision-Pretrained Transformer (DPT).

• Guadagni di Prestazioni: I LLM affinati raggiungono gap di ottimalità sostanzialmente più piccoli rispetto sia alle politiche casuali che alle baselines solo ICL.
  • Negli MDP, l'SFT riduce approssimativamente a metà il gap di ottimalità in impostazioni a orizzonte lungo (ad esempio, riducendo il gap da ~43% a ~15% all'orizzonte $T=15$).
  • Nei POMDP e APOMDP, i guadagni sono ancora più pronunciati, con gli SFT-LLM che mantengono bassi gap di ottimalità anche sotto osservabilità parziale ($q=0.8$) e ambiguità del modello.
• Confronto con DPT: L'approccio SFT supera costantemente il DPT in tutte le impostazioni. In particolare, sotto il criterio pessimistico negli APOMDP ($\alpha=1.0$), il gap di prestazioni tra DPT e l'SFT-LLM si amplia all'aumentare della dimensione dell'insieme di ambiguità, mentre l'SFT-LLM rimane stabile.
• Robustezza: Il modello dimostra robustezza a condizioni di test fuori distribuzione (OOD), mantenendo bassi gap di ottimalità quando testato su parametri al di fuori della distribuzione di addestramento (ad esempio, diverse probabilità di transizione o livelli di rumore nelle osservazioni).
• Compito Darkroom: Sul impegnativo compito Darkroom (ricompense sparse, obiettivi nascosti), l'SFT-LLM raggiunge circa il 95% delle prestazioni dell'oracolo, superando significativamente le politiche casuali.

Significato e Affermazioni

Il paper afferma che l'affinamento supervisionato fornisce una via efficace per dotare i LLM preaddestrati di capacità di decisione sequenziale derivate da dati offline. Ciò è significativo perché:

• Sfrutta la vasta capacità rappresentativa acquisita durante il preaddestramento, potenzialmente migliorando la generalizzazione attraverso compiti diversificati.
• Offre una soluzione pratica per domini come l'assistenza sanitaria, dove i dati offline sono abbondanti ma la sperimentazione online è limitata.
• Dimostra che i LLM possono gestire scenari complessi di decisione che coinvolgono osservabilità parziale e ambiguità del modello, aspetti spesso trascurati nella letteratura esistente sulla decisione tramite ICL.
• La decomposizione teorica dell'errore offre una comprensione principiale di come il volume dei dati di addestramento e gli esempi in contesto interagiscano per determinare la qualità della politica.

Gli autori riconoscono limitazioni, inclusi i costi computazionali dell'affinamento, la dipendenza da un oracolo ottimale (che può essere difficile da calcolare per problemi complessi) e il focus sugli MDP lineari per l'analisi teorica. Suggeriscono che il lavoro futuro dovrebbe concentrarsi sull'applicazione di questo quadro a dataset clinici reali, sulla riduzione della dipendenza dalla supervisione dell'oracolo e sull'esplorazione di impostazioni multimodali.