Letting Tutor Personas Speak Up for LLMs: Learning Steering Vectors from Dialogue via Preference Optimization

Sintesi Tecnica: Permettere alle Personae dei Tutor di Esprimersi per gli LLM

Problematica
Sebbene i Large Language Models (LLM) siano diventati prominenti nel tutoring educativo, gli approcci esistenti tipicamente apprendono una singola, monolitica policy di tutoring. Questi metodi spesso non riescono a catturare l'inerente diversità degli stili di tutoring umani. Nelle interazioni del mondo reale, l'intento pedagogico si realizza attraverso strategie adattive in cui i tutor variano il loro livello di scaffolding, direttività, feedback e supporto affettivo in base alle necessità dello studente. Le tecniche attuali, come il prompting con specifiche policy o l'addestramento tramite Supervised Fine-Tuning (SFT) e Reinforcement Learning (RL), ottimizzano la qualità pedagogica generale ma non modellano né controllano esplicitamente le specifiche variazioni stilistiche esibite dai singoli tutor umani. La domanda di ricerca centrale affrontata è come catturare queste differenze negli stili di tutoring e guidare gli LLM a esibire comportamenti specifici, allineati al tutor, senza fare affidamento su istruzioni di prompting esplicite e artigianali.

Metodologia
Gli autori propongono un approccio di activation steering che apprende un "vettore di guida" (steering vector) dai dialoghi tra tutor e studenti umani per guidare il comportamento dell'LLM verso specifiche personae di tutor. La metodologia procede in tre fasi principali:

1. Costruzione dei Dati e Modellazione Baseline:
   Gli autori utilizzano il dataset Question-Anchored-Tutoring-Dialogues-2k, composto da dialoghi tra 21 tutor e studenti unici. In primo luogo, un LLM (Llama-3.1-8B-Instruct) viene sottoposto a Supervised Fine-Tuning (SFT) su questo dataset per fungere da proxy per il comportamento del "tutor medio della popolazione". Questo modello è condizionato sul contesto del dialogo per generare una risposta del tutor generica e media per ogni turno.

2. Costruzione delle Coppie Contrastive:
   Per ogni turno di dialogo, viene costruita una coppia contrastiva:

• Risposta Preferita: L'enunciato reale di un tutor umano specifico ($t_{i,j,k}$).
• Risposta Sgradita: La risposta generata dal modello SFT ($\bar{t}_{j,k}$), che rappresenta la media della popolazione.
  Questa configurazione definisce esplicitamente la direzione dal comportamento del tutor medio verso il comportamento specifico del tutor $i$.

3. Apprendimento del Vettore di Guida e dei Coefficienti:
   Gli autori impiegano un obiettivo di ottimizzazione delle preferenze ispirato a BiPO (Building on Direct Preference Optimization). Essi apprendono:

• Un vettore di guida condiviso ($v$) nello spazio delle attivazioni del modello (specificamente nell'ultimo layer del transformer).
• Coefficienti di scala specifici per il tutor ($\delta_i$) che scalano il vettore condiviso per ogni tutor.

L'ottimizzazione minimizza una perdita logistica che incoraggia il modello guidato ad assegnare una maggiore verosimiglianza all'enunciato reale del tutor e una minore verosimiglianza all'enunciato medio della popolazione. I coefficienti $\delta_i$ sono parametrizzati tramite scalari apprendibili $u_i$ e normalizzati per avere una media unitaria tra i tutor per risolvere l'ambiguità di scala. La funzione obiettivo è:
$$\min_{v,u} \mathbb{E}_{i,j,k} \left[ -\log \sigma \left( \beta \log \frac{\pi_\theta(t_{i,j,k} | \mathcal{A}_L + \delta_i v)}{\pi_\theta(t_{i,j,k} | \mathcal{A}_L)} - \beta \log \frac{\pi_\theta(\bar{t}_{j,k} | \mathcal{A}_L + \delta_i v)}{\pi_\theta(\bar{t}_{j,k} | \mathcal{A}_L)} \right) \right]$$
dove $\mathcal{A}_L$ rappresenta le attivazioni latenti al layer $L$, e $\beta$ è un iperparametro che controlla la similarità con il modello base.

In fase di inferenza, viene introdotto un fattore di scala globale $\alpha$ ($\mathcal{A}_L \leftarrow \mathcal{A}_L + \alpha \delta_i v$) per consentire una regolazione fluida dell'intensità dell'intervento.

Contributi Chiave

• Estrazione Implicita della Persona: Il paper dimostra che le personae specifiche del tutor, incorporate nei dialoghi umani, possono essere estratte e utilizzate per guidare gli LLM senza un esplicito prompting testuale.
• Activation Steering per il Tutoring: Gli autori introducono un metodo per apprendere una direzione di guida condivisa e coefficienti specifici per il tutor che spostano il comportamento del modello dalla media della popolazione verso gli stili dei singoli tutor.
• Variazione Controllabile e Interpretabile: I coefficienti di scala ($\delta_i$) appresi rivelano una struttura interpretabile corrispondente a differenze coerenti nel comportamento di tutoring (ad esempio, dallo scaffolding ad alto contenuto affettivo alla istruzione minimale e focalizzata sul compito).
• Guadagni di Performance: L'approccio migliora l'allineamento semantico con gli enunciati reali dei tutor e aumenta i tassi di vittoria basati sulle preferenze, preservando ampiamente la similarità lessicale.

Risultati Sperimentali
Gli autori hanno valutato il metodo su un set di test non utilizzato sia tramite metriche lessicali (ROUGE-L, BLEU) che semantiche (Similarità del Coseno, Win Rate di LLM-as-a-Judge).

• Allineamento Semantico: Lo steering ha migliorato significativamente l'allineamento semantico con i tutor reali. Nella fase "mid" dei dialoghi (dove avviene il core del problem-solving), la similarità del coseno è aumentata da 0.385 (non guidato) a 0.426 (guidato). L'LLM judge ha preferito gli enunciati guidati rispetto alla baseline non guidata nel 58.7% dei confronti.
• Similarità Lessicale: La sovrapposizione lessicale (ROUGE-L e BLEU) è rimasta ampiamente preservata, con solo lievi riduzioni, indicando che lo steering altera la formulazione e la struttura del discorso piuttosto che forzare un adattamento esatto delle parole.
• Fattore di Scala ($\alpha$): La variazione di $\alpha$ ha rivelato un compromesso. Valori moderati (ad esempio, $\alpha=0.5$) hanno offerto il miglior equilibrio, migliorando l'allineamento stilistico pur mantenendo la similarità lessicale. Valori più alti ($\alpha=1.0$) hanno aumentato il Win Rate (0.582) ma hanno ridotto i punteggi lessicali, suggerendo che uno steering troppo forte può degradare la fluidità superficiale.
• Analisi Qualitativa: L'analisi dei coefficienti appresi ($\delta_i$) ha mappato i tutor su uno spettro di stili. I tutor con $\delta_i$ più bassi esibivano uno "scaffolding ricco di rapport" (uso di emoji, lodi, guida passo-passo), mentre quelli con $\delta_i$ più alti dimostravano stili "orientati all'efficienza" o "minimalisti" (correzioni concise, prompt focalizzati sul compito, meno linguaggio affettivo). L'LLM guidato ha replicato con successo questi stili distinti, come il passaggio da spiegazioni generiche a specifiche mosse correttive concise o a uno scaffolding empatico a seconda del target del tutor.

Significatività e Rivendicazioni
Il paper sostiene che l'activation steering offra un meccanismo efficace e interpretabile per controllare la variazione specifica del tutor negli LLM utilizzando segnali derivati direttamente dai dati di dialogo umano. Gli autori affermano che il loro metodo consente il recupero coerente dello steering specifico del tutor attraverso i contesti di dialogo, spostando il modello dal comportamento medio della popolazione verso i comportamenti specifici esibiti dai singoli tutor.

La significatività risiede nella capacità di catturare la "diversità degli stili di tutoring" che spesso si perde nei modelli a policy singola. Gli autori notano che la direzione di guida appresa codifica un continuum di comportamenti pedagogici, da uno scaffolding ad alto investimento e costruzione del rapporto, fino a un'istruzione a basso investimento e orientata al completamento del compito. Concludono che questo approccio fornisce un modo per controllare l'intento pedagogico oltre lo stile superficiale, permettendo simulazioni di tutoring personalizzate che riflettono le sfumature trovate nelle reali interazioni umane.

Limitazioni e Direzioni Future
Gli autori riconoscono diverse limitazioni:

• Generalizzabilità: La valutazione è limitata a un singolo dataset di dialoghi matematici; la generalizzazione ad altri domini non è verificata.
• Baseline: I confronti sono limitati a SFT; il lavoro futuro dovrebbe includere baseline basate sul prompting.
• Valutazione: Lo studio si affida a metriche automatiche e giudizi basati su modelli piuttosto che a una valutazione umana.

Le direzioni future proposte includono l'integrazione di rubriche pedagogiche esplicite o reward basati sui risultati degli studenti per allineare meglio i modelli con pratiche efficaci, l'apprendimento di vettori di guida complementari per le personae degli studenti per simulare le interazioni, e l'estensione del metodo per apprendere molteplici direzioni di guida disaccoppiate per un controllo più fine su distinti attributi pedagogici.