Riepilogo Tecnico: Emergenza della Sensibilità alle Caratteristiche del Contesto nei Large Language Models

Problema

I Large Language Models (LLM) possiedono la capacità di utilizzare il contesto fornito per rispondere a quesiti, una caratteristica essenziale per applicazioni come la generazione aumentata dal recupero (RAG) e l'uso di strumenti (tool use). Tuttavia, questo utilizzo è spesso fragile; i modelli possono ignorare il contesto a favore della conoscenza parametrica o essere distratti da informazioni irrilevanti. Sebbene ricerche precedenti abbiano stabilito correlazioni tra specifiche caratteristiche del contesto (es. lunghezza, fluidità, somiglianza) e l'uso del contesto durante l'inferenza, i meccanismi attraverso i quali i modelli acquistano queste sensibilità durante l'addestramento rimangono inesplorati. Nello specifico, non è chiaro come le fasi di fine-tuning delle istruzioni (IFT) modellino la dipendenza del modello da queste caratteristiche.

Metodologia

Gli autori investigano l'evoluzione della "sensibilità alle caratteristiche del contesto" — definita come il grado in cui il valore di una caratteristica influenza il fatto che un modello utilizzi il contesto fornito — attraverso tre distinte fasi di IFT: Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO) e Reinforcement Learning with Verifiable Rewards (RLVR).

Configurazione Sperimentale

• Modelli: Lo studio valuta quattro modelli: Llama-3.1-8B, Llama-3.2-1B, OLMo-2-1B e OLMo-2-7B. Per l'analisi step-wise (tracciare i cambiamenti all'interno di una fase), Llama-3.2-1B viene sottoposto a fine-tuning sugli stessi dataset utilizzati per OLMo-2-1B.
• Dataset: Vengono utilizzati tre dataset per garantire la diversità nei formati dei task e nelle relazioni contesto-conoscenza:
  • ConflictQA e Context-Reliance: Task di QA a risposta aperta con contesti controfattuali, garantendo che l'accuratezza rifletta il puro uso del contesto.
  • DRUID: Un task di verifica di affermazioni che riflette interazioni realistiche tra contesto e conoscenza.
• Caratteristiche del Contesto: Tre famiglie di caratteristiche vengono estratte e misurate:
  1. Somiglianza: Somiglianza di Jaccard (sovrapposizione di token) e sovrapposizione query-entità.
  2. Fluidità: Punteggio di facilità di lettura di Flesch e Perplessità.
  3. Lunghezza: Conteggi dei caratteri grezzi per contesto e query.
• Metrica di Valutazione: La sensibilità è quantificata utilizzando l'Area Under the Receiver Operating Characteristic (AUROC). Questa misura quanto bene il valore di una specifica caratteristica sia in grado di classificare gli esempi accurati (dove il modello ha usato correttamente il contesto) sopra quelli inaccurati. Un'AUROC > 0,5 indica che valori più elevati della caratteristica correlano con un corretto uso del contesto.

Risultati Chiave

1. Formazione della Sensibilità durante lo SFT

Lo studio scopre che lo SFT instilla costantemente un set specifico di sensibilità in tutti i modelli e dataset. Durante lo SFT, i modelli sviluppano una forte preferenza per contesti "facili da comprendere":

• Somiglianza: L'AUROC per la somiglianza di Jaccard tra contesto e query aumenta, indicando che i modelli fanno affidamento maggiormente sulla sovrapposizione lessicale.
• Fluidità: L'AUROC per la Perplessità diminuisce (il che significa che una minore perplessità correla con l'accuratezza), mostrando che i modelli preferiscono testi fluidi e naturali.
• Lunghezza: L'AUROC per la lunghezza del contesto diminuisce, suggerendo che i modelli favoriscono contesti più brevi, probabilmente perché sono più facili da integrare.

Crucialmente, gli autori notano che, sebbene queste sensibilità aumentino durante lo SFT, esse non si traducono in un miglioramento dell'accuratezza. Ciò suggerisce che i modelli stiano sfruttando queste caratteristiche come scorciatoie per segnalare l'uso del contesto, piuttosto che valutare realmente la rilevanza o la veridicità del contenuto.

2. DPO e Caratteristiche del Dataset

L'impatto del DPO non è uniforme; dipende fortemente dalle caratteristiche del dataset di preferenza (la differenza tra le risposte "scelte" e quelle "rifiutate").

• Risoluzione vs. Rinforzo: In alcuni casi (es. Llama-3.2-1B), il DPO risolve le sensibilità apprese durante lo SFT, riportandole verso i livelli pre-SFT.
• Squilibrio del Dataset: In altri casi (es. Llama-3.1-8B), il DPO amplifica le sensibilità esistenti. Gli autori attribuiscono questo fenomeno alle differenze statistiche ($\Delta$) nelle caratteristiche lessicali delle risposte scelte rispetto a quelle rifiutate nel training data. Se le risposte scelte nel dataset di preferenza differiscono significativamente per lunghezza o fluidità rispetto a quelle rifiutate, il DPO rinforza il bias del modello verso quelle specifiche caratteristiche.
• Dipendenza dal Task: L'effetto del DPO appare meno costante nel task di verifica delle affermazioni DRUID rispetto ai task di QA a risposta aperta.

3. Tendenze RLVR

Sebbene l'RLVR non sia stato analizzato step-wise a causa dei costi computazionali, i risultati indicano che l'RLVR preserva ampiamente la direzione degli effetti stabiliti dal DPO, in linea con i loro obiettivi comuni basati sulla regolarizzazione KL.

Significato e Contributi

Il contributo primario del paper è la dimostrazione che l'uso del contesto non è una proprietà statica del modello, ma viene attivamente rimodellato ad ogni fase di IFT.

• Lo SFT come Apprendimento di Scorciatoie (Shortcut Learner): Gli autori rivelano che lo SFT insegna ai modelli a sfruttare caratteristiche superficiali (fluidità, lunghezza, sovrapposizione) come proxy della rilevanza, piuttosto che promuovere una valutazione robusta del contesto.
• Imperativo della Curatela dei Dati: Le scoperte sottolineano che la progettazione del dataset di preferenza nel DPO è critica. Per contrastare i bias formati durante lo SFT e garantire un utilizzo robusto del contesto, le risposte scelte e rifiutate nel dataset di preferenza devono essere accuratamente curate affinché condividano caratteristiche di contesto simili. Gli squilibri in questi dataset possono involontariamente rinforzare comportamenti non robusti.

Limitazioni

Gli autori riconoscono che lo studio è limitato a due famiglie di modelli (Llama e OLMo) con due scale ciascuna. Sebbene appropriato per analizzare le dinamiche di addestramento, una copertura più ampia attraverso diverse architetture rimane un'area aperta per ricerche future. Inoltre, lo studio si concentra su tre famiglie di caratteristiche ben fondate (somiglianza, fluidità, lunghezza), sebbene possano esistere altri fattori che influenzano l'uso del contesto.