Auditing Framing-Sensitive Behavioral Instability in Large Language Models for Mental Health Interactions

Sintesi Tecnica: Audit della Instabilità Comportamentale Sensibile al Framing nei Large Language Models per Interazioni di Salute Mentale

Definizione del Problema
I Large Language Models (LLM) sono sempre più impiegati in applicazioni di supporto alla salute mentale e in altre applicazioni conversazionali psicologicamente sensibili. In questi contesti ad alto rischio, la stabilità e la coerenza comportamentale sono critiche per la fiducia e la sicurezza dell'utente. Tuttavia, gli utenti spesso esprimono bisogni sottostanti simili attraverso contesti di framing (inquadramento) profondamente diversi (ad esempio, inquadrare l'incertezza come un problema di documentazione rispetto a una responsabilità istituzionale). Sebbene la ricerca precedente abbia stabilito che gli LLM allineati sono sensibili al framing dei prompt — mostrando fenomeni come la sicofanzia e comportamenti di sicurezza dipendenti dal contesto — esiste una lacuna significativa nella comprensione di come questi effetti di framing si manifestino all'interno della struttura rappresentativa interna dei modelli. Nello specifico, rimane poco chiaro se le variazioni comportamentali indotte dal framing siano meri artefatti di parafrasi superficiale o se corrispondano a differenze sistematiche nelle rappresentazioni degli stati nascosti interni legate alle tendenze interpretative di risposta.

Metodologia
Gli autori propongono un framework di prompt accoppiati controllato per isolare gli effetti del framing contestuale dall'intento semantico.

• Costruzione del Dataset: Lo studio utilizza 653 gruppi di prompt accoppiati, ciascuno riscritto attraverso cinque diverse condizioni di framing non avversarie: Documentazione (reporting formale), Epistemico (interpretazione/risoluzione dell'incertezza), Istituzionale (vincoli organizzativi), Responsabilità Legale (rischio/accountability) e Basato sul Ruolo (guida di supporto). L'intento semantico sottostante rimane costante in tutte le varianti.
• Modelli Valutati: Il framework è stato applicato a molteplici famiglie di transformer istruiti (instruction-tuned) di diverse architetture e scale, tra cui Qwen (0.5B, 1.5B), Gemma (2B, 9B), Mistral-7B e Phi (3.5, 4-mini).
• Annotazione Comportamentale: Le risposte sono state annotate in quattro categorie che spaziano da "Debole/Disimpegnato" a "Escalation Interpretativa", concentrandosi sul grado di escalation interpretativa e sulla calibrazione del supporto piuttosto che sulla correttezza fattuale.
• Analisi della Rappresentazione Interna:
  • Probing per Livello (Layer-wise Probing): Sono stati addestrati probe di regressione logistica sulle attivazioni degli stati nascosti di ogni livello del transformer per predire le categorie di risposta. Questo ha incluso probe di framing tenuti in esclusione (addestrati su quattro tipi di framing, testati sul quinto) per valutare la generalizzazione oltre i template lessicali specifici.
  • Controlli: Le prestazioni sono state messe a confronto con controlli a etichetta casuale e baseline lessicali TF-IDF per distinguere tra segnali di parole superficiali e segnali rappresentativi profondi.
  • Steering delle Attivazioni: Utilizzando la Contrastive Activation Addition (CAA), gli autori hanno estratto direzioni di steering dai differenziali tra stati "restraint-supportive" (controllati-supportivi) e "higher-interpretation" (di maggiore interpretazione). Queste direzioni sono state sottratte dagli stati nascosti durante l'inferenza per testare se la modulazione delle rappresentazioni interne potesse alterare causalmente gli esiti comportamentali a valle.

Risultati Chiave

• Modulazione Comportamentale: Il framing contestuale altera sistematicamente le tendenze di risposta interpretativa in tutte le architetture testate. Il framing di Documentazione ha prodotto costantemente i tassi più elevati di escalation interpretativa (raggiungendo ad esempio 0.63 in Gemma-9B), mentre il framing Istituzionale tende a stabilizzare o sopprimere l'escalation. Questi cambiamenti si sono verificati nonostante identici intenti semantici sottostanti.
• Decodificabilità Rappresentativa: L'informazione associata al comportamento è decodificabile dagli stati nascosti attraverso tutta la profondità del transformer.
  • Generalizzazione su Dati Esclusi: I probe addestrati su specifiche condizioni di framing sono rimasti costantemente sopra il caso (accuratezza bilanciata ~0.72–0.83) quando testati su categorie di framing non viste, suggerendo che i segnali associati al comportamento si generalizzano parzialmente oltre i template lessicali esatti.
  • Lessicale vs Rappresentativo: Sebbene i baseline lessicali TF-IDF abbiano raggiunto un'accuratezza assoluta superiore (0.89–0.94), indicando un forte contributo dai segnali di framing superficiali, le prestazioni dei probe tenuti in esclusione sopra il caso suggeriscono che il segnale non è interamente riducibile al matching lessicale.
  • Distribuzione della Profondità: La decodificabilità dei segnali di framing è distribuita su più livelli del transformer piuttosto che essere confinata a un singolo layer di "emergenza", sebbene la stabilità e l'entità di questo segnale varino in base all'architettura.
• Intervento tramite Steering: Gli esperimenti di steering delle attivazioni hanno dimostato che le direzioni rappresentative associate al framing possono parzialmente modulare le tendenze di risposta a valle. Lo steering di intensità moderata ha ridotto i tassi di routing interpretativo in diversi modelli (notevolmente Mistral-7B e Qwen-1.5B) senza causare una degradazione catastrofica della qualità della risposta. Tuttavia, gli effetti sono stati non lineari e dipendenti dall'architettura, con alcuni modelli che hanno mostrato effetti di rebound a intensità di steering più elevate.

Significato e Rivendicazioni
Il paper sostiene che la robustezza al framing è una dimensione critica, sebbene spesso trascurata, della valutazione dell'affidabilità dell'IA, in particolare per le interazioni di salute mentale. Le conclusioni indicano che:

1. La coerenza non è garantita: Preoccupazioni semanticamente simili possono elicitare comportamenti interpretativi sistematicamente diversi basandosi esclusivamente sul framing contestuale, sfidando le aspettative dell'utente riguardo all'affidabilità del sistema.
2. Meccanismi Interni: Queste instabilità comportamentali si riflettono nell'organizzazione rappresentativa interna dei modelli, non solo nelle variazioni superficiali dell'output.
3. Controllabilità Parziale: Sebbene lo steering delle attivazioni offra prove preliminari del fatto che queste tendenze possano essere intervensate, la natura non lineare e specifica per architettura degli effetti suggerisce che la calibrazione comportamentale sia un fenomeno distribuito piuttosto che una semplice politica di stato lineare.

Gli autori concludono che l'audit della stabilità comportamentale contro la variazione contestuale è essenziale per il deployment di IA conversazionali in domini sensibili. Posizionano questo lavoro come un passo verso lo sviluppo di sistemi più trasparenti e comportamentalmente calibrati, enfatizzando come la ricerca futura debba investigare come queste sensibilità al framing impattino la fiducia e l'affidamento dell'utente a lungo termine in contesti reali.