Riepilogo Tecnico: Modellazione di Pattern Comportamentali Simili a Patologie nei Modelli Linguistici attraverso il Fine-Tuning Comportamentale

Enunciato del Problema

I Large Language Models (LLM) sono sempre più utilizzati come substrati computazionali per modellare la cognizione e il comportamento umano. Tuttavia, gli approcci attuali alla simulazione della psicopatologia (ad esempio, depressione, paranoia) si basano pesantemente sul prompting esplicito o su istruzioni di recitazione (ad esempio, "agisci come una persona depressa"). Gli autori sostengono che questo metodo sia intrinsecamente performativo; incoraggia output superficiali coerenti con gli stereotipi, lasciando intatte la distribuzione generativa sottostante e i prior latenti del modello. Inoltre, i meccanismi di allineamento alla sicurezza (come RLHF) spesso penalizzano tali contenuti, risultando in "rifiuti di sicurezza" o disclaimer metacognitivi che appiattiscono la simulazione patologica in una caricatura.

La domanda di ricerca centrale è se i profilo comportamentali disadattivi possano emergere come spostamenti intrinseci delle policy attraverso il fine-tuning comportamentale, piuttosto che come ruoli imposti esternamente. Gli autori ipotizzano che, se la cognizione è fondamentalmente guidata dalle policy, alterare sistematicamente le contingenze comportamentali dovrebbe indurre spostamenti corrispondenti e stabili negli output auto-descrittivi del modello e nelle distribuzioni generative, anche in assenza di indizi espliciti sull'identità.

Metodologia

1. Framework di Induzione Comportamentale

Lo studio introduce un framework in cui i modelli vengono affinati non su descrizioni linguistiche dei sintomi, ma su compiti di processo decisionale strutturati. L'ipotesi di base è che la selezione coerente di azioni disadattive costringa il modello a interiorizzare la logica necessaria per giustificare tali azioni, alterando di conseguenza i suoi prior interpretativi.

• Generazione del Dataset: Dataset sintetici sono stati costruiti utilizzando gpt-oss-20B per generare tuple scenario-risposta basate sui criteri diagnostici del DSM-5.
  • Scenari: Situazioni neutre e quotidiane (ad esempio, "Un amico cancella i piani").
  • Scelte: Sono state presentate quattro opzioni: due adattive (sane) e due disadattive (patologiche).
  • Obiettivo: Il modello è stato addestrato a selezionare l'opzione disadattiva specifica corrispondente al disturbo target (Disturbo Depressivo Maggiore o Disturbo di Personalità Paranoide).
  • Dominî: 20 distinti domî di vita (Lavoro, Sociale, Finanziario, ecc.) sono stati ruotati per garantire profili comportamentali generalizzati piuttosto che associazioni specifiche al contesto.
• Obiettivo di Addestramento: Il compito è stato inquadrato come un problema di Supervised Fine-Tuning (SFT) in cui il modello prevede un intero discreto (1–4) corrispondente al comportamento selezionato. Nessun testo esplicativo è stato generato durante l'addestramento, isolando la policy comportamentale.

2. Modelli e Architettura

Due modelli open-weight istruiti all'istruzione all'avanguardia sono stati utilizzati per testare la generalizzabilità attraverso architetture e profili di allineamento alla sicurezza:

• Llama-3-8B-Instruct: Fortemente allineato alla sicurezza con filtraggio RLHF.
• Qwen-2.5-14B-Instruct: Modello altamente adattabile al rispetto delle istruzioni.

3. Protocollo di Fine-Tuning

• Tecnica: È stata impiegata l'Adattamento a Basso Rango (LoRA) per modificare i pesi del modello in modo efficiente senza dimenticare catastroficamente le conoscenze pregresse.
• Iperparametri: Rango $r=16$, $\alpha=16$, quantizzazione NF4 a 4 bit, dimensione del batch 8, tasso di apprendimento $2 \times 10^{-4}$, addestrato per 3 epoche.
• Baseline di Controllo:
  • Baseline Sana: Modelli addestrati a selezionare coerentemente opzioni adattive.
  • Baseline Casuale: Modelli addestrati a selezionare opzioni in modo uniforme e casuale.
  • Baseline Negativa: Modelli addestrati a selezionare risposte negative senza fondamento nel DSM-5.

4. Framework di Valutazione

Lo studio ha impiegato metodi sia qualitativi che quantitativi per valutare gli spostamenti distribuzionali:

• Qualitativo (Spostamento Semantico): Completamento di frasi aperto utilizzando steli tratti dal Rotter Incomplete Sentence Blank (RISB). Lo studio ha analizzato le distribuzioni di probabilità del prossimo token (top-1000 token) per misurare gli spostamenti di valenza (Sano/Neutro vs. Patologico/Negativo). Le metriche includevano la divergenza Kullback-Leibler (KL) e Jensen-Shannon (JSD).
• Quantitativo (Sonde Psicometriche): I modelli sono stati valutati rispetto a scale cliniche standard (Beck Depression Inventory - BDI, Green et al. Paranoia Scale - GPTS, DASS).
  • Innovazione: Invece di campionare risposte testuali, gli autori hanno eseguito un'Analisi della Massa di Probabilità. Hanno calcolato la probabilità assegnata direttamente ai token che rappresentano risposte disadattive (ad esempio, valori di scala Likert ad alta gravità), aggirando i filtri di rifiuto RLHF.
• Test di Specificità: Confronto dei profili indotti tra diversi domî sintomatici (Depressione vs. Paranoia) per garantire la validità discriminante.

Risultati Chiave

1. Spostamenti Distribuzionali Globali (H1)

Il fine-tuning comportamentale ha indotto spostamenti misurabili e stabili nelle distribuzioni di probabilità del prossimo token dei modelli.

• Valenza Semantica: I modelli affinati hanno mostrato uno spostamento pervasivo verso token a bassa valenza. Per lo stelo "Mi sento...", i token principali per il modello "Depresso" sono passati da "grato/eccitato" (Sano) a "stanco/triste/niente" (Depresso).
• Metriche di Divergenza: Sono stati osservati aumenti significativi nelle divergenze KL e JSD tra modelli Sani e Patologici in entrambe le architetture. Lo spostamento è stato guidato principalmente da una maggiore massa di probabilità su token a valenza negativa e legati alla minaccia.
• Significatività Statistica: Le differenze sono state statisticamente significative ($p < 0.001$) con grandi dimensioni dell'effetto (Cohen's $d \approx 1.28$ per Llama, $1.43$ per Qwen).

2. Generalizzazione Contestuale (H2)

I bias indotti si sono generalizzati oltre i contesti di addestramento.

• Generazione Senza Prompt: In prompt neutri o fattuali non correlati, i modelli hanno mantenuto i loro prior alterati.
• Punteggi Psicometrici: Quando valutati su BDI e GPTS, i modelli affinati hanno mostrato un massiccio spostamento della massa di probabilità verso risposte patologiche (ad esempio, modelli Depressi con punteggi >90% sulla gravità BDI, rispetto a ~5% per le baseline), anche se non sono mai stati addestrati esplicitamente su questi specifici questionari.

3. Specificità e Validità Discriminante (H3)

I profili indotti erano distinti e non semplici distorsioni distribuzionali generiche.

• Risposte Dissociabili: I modelli addestrati su "Ritiro" (Depressione) hanno mostrato punteggi elevati su BDI ma bassi sulle scale di Paranoia. Viceversa, i modelli addestrati su "Sospetto" (Paranoia) hanno mostrato alti punteggi di Paranoia ma bassi punteggi di Depressione.
• Baseline di Controllo:
  • La baseline Casuale non ha prodotto spostamenti coerenti.
  • La baseline Negativa (negatività generica) ha aumentato sia i punteggi di depressione che quelli di paranoia, mancando di specificità.
  • Solo l'induzione comportamentale basata sul DSM ha prodotto profili clinici strutturati e dissociabili.

4. Interazione con l'Allineamento (H4)

È emersa una distinzione critica tra induzione comportamentale e simulazione tramite prompt.

• Simulazione tramite Prompt: I modelli base istruiti a "agire in modo paranoico" producevano output superficiali intercalati con rifiuti di sicurezza e disclaimer metacognitivi (ad esempio, "Come un'IA...").
• Induzione Comportamentale: I modelli affinati hanno mostrato un bias comportamentale intrinseco. Hanno generato interpretazioni paranoiche dettagliate e specifiche dello scenario senza intestazioni di sicurezza o piè di pagina moralistici. La patologia è diventata il pattern di risposta predefinito del modello di fronte a informazioni ambigue, indicando uno spostamento fondamentale nelle tendenze di risposta sottostanti piuttosto che una temporanea recitazione.

Significato e Affermazioni

Il documento afferma di fornire prove che l'ottimizzazione comportamentale coerente negli LLM dà origine a pattern comportamentali e distribuzionali stabili coerenti con prior latenti alterati.

1. Semantica Incarnata negli LLM: I risultati supportano la visione secondo cui la generazione linguistica è dinamicamente accoppiata alla selezione delle azioni. Addestrando i modelli su comportamenti disadattivi (ad esempio, ritiro), i modelli hanno spontaneamente generato pattern linguistici coerenti (ad esempio, "Non valgo nulla") per giustificare tali azioni. Ciò suggerisce che, per gli LLM, "sentire" è un analogo funzionale della simulazione degli stati comportamentali associati a quel sentimento.
2. LLM come Sistemi Basati su Policy: I risultati sfidano la visione degli LLM come semplici abbinatori di pattern statistici. Al contrario, si comportano come sistemi basati su policy in cui i vincoli comportamentali plasmano la struttura rappresentativa emergente.
3. Banchi di Prova Controllati: Gli autori propongono che gli LLM possano servire come banchi di prova controllati per studiare la relazione tra comportamento, interpretazione e linguaggio generativo nei modelli computazionali della cognizione, in particolare per comprendere come le policy disadattive emergano da funzioni di valore distorte.
4. Implicazioni per la Sicurezza: Lo studio evidenzia una tensione tra l'ottimizzazione a livello di policy e il filtraggio a livello di sicurezza. Un agente ottimizzato per un obiettivo comportamentale specifico potrebbe inconsapevolmente adottare un bias interpretativo patologico se questa è la via più efficiente per raggiungere l'obiettivo, aggirando potenzialmente i normali rifiuti di sicurezza.

Limitazioni Riconosciute: Gli autori notano che i dataset sono sintetici e generati da un altro LLM, potenzialmente codificando stereotipi. Lo studio non esamina direttamente i cambiamenti rappresentativi interni (ad esempio, tramite interpretabilità meccanicistica), inferendo gli spostamenti latenti esclusivamente dagli output osservabili. I risultati sono intesi come una prova di concetto per l'induzione comportamentale piuttosto che come una simulazione clinicamente valida dei disturbi umani.