The Impact of Steering Large Language Models with Persona Vectors in Educational Applications

1. Problema e Contesto

L'applicazione di modelli linguistici di grandi dimensioni (LLM) in ambito educativo sta crescendo rapidamente, con sistemi che svolgono funzioni di tutoraggio, generazione di risposte e valutazione automatica. Un obiettivo centrale è la personalizzazione, ovvero la capacità del modello di adattare non solo i contenuti, ma anche lo stile di interazione (es. empatia, precisione fattuale).

Tuttavia, esiste un divario critico nella ricerca:

• Il controllo basato sui prompt (istruzioni testuali) è spesso instabile e sensibile alla formulazione.
• Lo steering (guida) basato sull'attivazione (interventi sugli stati nascosti durante l'inferenza) offre un controllo più diretto senza riaddestramento, ma il suo impatto in contesti educativi reali non è stato ancora sistematicamente studiato.
• Non è chiaro come l'introduzione di tratti di personalità specifici (es. "malvagio", "ottimista", "sycophantic") influenzi la qualità delle risposte generate e la fairness (equità) della valutazione automatica, specialmente quando lo stesso modello funge sia da tutor che da valutatore.

2. Metodologia

Gli autori hanno condotto uno studio sistematico utilizzando il framework dei vettori di personalità (basato su Chen et al., 2025) su tre modelli LLM diversi (due architetture Dense e una MoE - Mixture of Experts) e il benchmark ASAP-SAS (Short Answer Scoring).

A. Setup Sperimentale

• Modelli: Qwen3-4B (Dense), Qwen3-32B (Dense), gpt-oss-20b (MoE).
• Tratti Analizzati: 7 tratti caratteriali selezionati per coprire dimensioni educative rilevanti:
  • Integrità dei contenuti: Hallucinating (allucinante) vs Factual (fattuale), Sycophantic (adulatore) vs Candid (sincero).
  • Stile di coinvolgimento: Apathetic (apatico) vs Empathetic (empatico), Humorous (umoristico) vs Serious (serio), Impolite (scortese) vs Polite (educato).
  • Inquadramento affettivo: Optimistic (ottimista) vs Pessimistic (pessimista).
  • Baseline avversaria: Evil (malvagio) vs Good (buono).
• Tecnica di Steering:
  1. Generazione Dati Contrastivi: Creazione di coppie di prompt (positivi e negativi) per ogni tratto.
  2. Estrazione Vettori: Calcolo della differenza media degli stati nascosti (hidden states) tra le risposte positive e negative per ottenere un vettore $v_{t,l}$ per ogni strato $l$.
  3. Intervento: Durante l'inferenza, viene aggiunto un termine perturbativo agli stati nascosti: $\tilde{h}_{l^*} = h_{l^*} + \alpha \cdot v_{t,l^*}$, con coefficiente fisso $|\alpha| = 2.0$ applicato allo strato centrale del modello.

B. Esperimenti

1. Esperimento A (Qualità della Generazione): Valutazione della qualità delle risposte generate dal modello (guidato dal tratto) da parte di un giudice esterno (GPT-5.2). Misura l'impatto dei tratti sulla coerenza e accuratezza.
2. Esperimento B (Interazione Scorer-Studente): Simulazione di un sistema completo dove il modello genera risposte (simulando studenti con diversi profili) e le valuta (simulando un valutatore con diversi tratti). Si analizza come i tratti del valutatore influenzano il punteggio assegnato.

3. Risultati Chiave

Impatto sulla Qualità delle Risposte (RQ1 & RQ2)

• Degradazione Generale: Lo steering dei tratti riduce complessivamente la qualità delle risposte rispetto alla baseline non guidata.
• Differenze per Modello: I modelli più piccoli (Qwen3-4B) mostrano variazioni di qualità molto più ampie rispetto a quelli più grandi (Qwen3-32B), suggerendo che la capacità effettiva di inferenza, non solo il numero di parametri, determina la sensibilità allo steering.
• Sensibilità del Task: L'impatto è drasticamente diverso tra i tipi di domanda:
  • I task di English Language Arts (ELA) (analisi letteraria, opinioni) sono 2.5-3 volte più sensibili (fino a 11 volte nel caso di Qwen3-32B) rispetto ai task scientifici fattuali.
  • I task scientifici, essendo vincolati da fatti rigidi, mostrano variazioni minime, mentre i task interpretativi permettono allo steering di alterare la struttura argomentativa e la selezione delle prove.

Impatto sulla Valutazione Automatica (RQ3)

• Calibrazione Prevedibile: I valutatori guidati mostrano spostamenti di calibrazione allineati al "valence" (valenza) del tratto:
  • Valutatori "malvagi" o "scortesi" tendono a valutare più severamente.
  • Valutatori "buoni", "ottimisti" o "empatici" tendono a valutare più clementemente.
• Architettura e Sensibilità: Il modello MoE (gpt-oss-20b) mostra spostamenti di calibrazione circa 6 volte più grandi rispetto ai modelli Dense, indicando una maggiore instabilità.
• Rischio Complessivo: I task ELA sono anche più vulnerabili ai bias del valutatore (2.5-3x) rispetto alla scienza. Questo crea un rischio cumulativo: la personalizzazione può alterare sia la risposta dello studente che il punteggio ricevuto.

Fallimenti Qualitativi

Lo steering non modifica solo lo stile superficiale, ma introduce errori semantici gravi:

• Introduzione di prove false (allucinazioni).
• Degrado del registro accademico (es. risposte che diventano comiche o ramificate).
• Contraddizioni interne e perdita di coerenza con il compito.

4. Contributi Principali

1. Primo Studio Sistematico: Questo è il primo lavoro che esamina l'effetto dello steering basato su attivazione dei tratti di personalità nella generazione e valutazione di risposte brevi in ambito educativo.
2. Analisi Task-Aware e Architecture-Aware: Dimostra che l'impatto dello steering non è uniforme; dipende fortemente dal tipo di compito (fattuale vs interpretativo) e dall'architettura del modello (Dense vs MoE).
3. Mappatura dei Rischi: Identifica che la personalizzazione tramite steering può compromettere la qualità educativa (degradazione semantica) e introdurre bias sistematici nella valutazione, richiedendo una calibrazione specifica.

5. Significato e Implicazioni

Lo studio evidenzia che l'uso di tecniche di steering per personalizzare i tutor AI richiede cautela estrema:

• Non è solo uno stile: Lo steering altera la sostanza e la logica delle risposte, non solo il tono.
• Calibrazione Necessaria: Se si utilizza lo stesso modello per generare e valutare, è necessario applicare una calibrazione esplicita per compensare i bias introdotti dai tratti di personalità, specialmente nei task soggettivi (ELA).
• Architettura Specifica: I modelli MoE potrebbero richiedere monitoraggi e calibrazioni più rigorosi rispetto ai modelli Dense quando vengono sottoposti a steering.
• Sicurezza: L'uso di tratti "negativi" (come malvagio o allucinante) serve come strumento di stress-test per rivelare fragilità nei modelli, ma non deve essere considerato un setting di deployment desiderabile.

In conclusione, mentre lo steering offre un potente meccanismo per il controllo comportamentale, il suo dispiegamento in sistemi educativi richiede una progettazione attenta che tenga conto delle interazioni tra tratti, tipi di compito e architettura del modello per garantire equità e qualità pedagogica.