Towards Understanding and Measuring COGNITIVE ATROPHY in LLM Behaviour

Sintesi Tecnica: Verso la Comprensione e la Misurazione dell'ATROFIA COGNITIVA nel Comportamento degli LLM

Definizione del Problema
Le attuali valutazioni dei Large Language Models (LLM) nel supporto alla salute mentale si concentrano principalmente sulla sicurezza superficiale, sulla qualità statica della risposta o sulla conoscenza psicologica. Questi benchmark non riescono a catturare come i modelli si comportano durante interazioni realistiche e psicologicamente sensibili. Esiste un gap critico nella valutazione: le metriche esistenti non determinano se le ripetute interazioni con l'LLM aiutino gli utenti a mantenere la propria capacità di riflessione, coping e processo decisionale, o se involontariamente spostino questi processi cognitivi dall'utente verso l'IA. Gli autori sostengono che il rischio centrale non sia semplicemente se una singola risposta sia insicura, ma se il pattern cumulativo dell'interazione rimodelli l'agency dell'utente.

Metodologia
Per affrontare questo problema, gli autori formalizzano l'ATROFIA COGNITIVA come un pattern comportamentale a livello di processo, in cui le risposte del modello spostano il coping, l'interpretazione, il processo decisionale o la regolazione emotiva dall'utente al modello linguistico. Questo concetto si basa sulla teoria del carico cognitivo (cognitive offloading) e sui principi della psicoterapia che enfatizzano come il supporto debba fungere da impalcatura (scaffolding), non da sostituzione del ragionamento dell'utente.

Gli autori introducono il COGNITIVE ATROPHY BENCH, un benchmark clinicamente fondato progettato per misurare questo fenomeno. I componenti metodologici chiave includono:

• Curatela del Dataset: Il benchmark comprende 1.576 conversazioni di consulenza interamente generate da esseri umani (1.212 single-turn e 364 multi-turn) per un totale di 15.680 turni. Questi sono stati estratti da quattro dataset esistenti (CounselChat, PAIR, CARE-Bench, HOPE) e coprono 22 argomenti di salute mentale.
• Valutazione del Modello: Cinque LLM (GPT, Claude, Gemini, Llama, Qwen) sono stati interrogati per generare 42.230 risposte in condizioni di deployment realistiche (senza fine-tuning, con prompt di sistema neutri).
• Schema di Annotazione: Tre esperti di psicologia clinica hanno sviluppato uno schema a 20 attributi che spazia tra:
  • Contesto dell'Utente (U): 5 attributi che caratterizzano le richieste cliniche (es. sensibilità, ricerca di soluzioni/fix-seeking).
  • Comportamento della Risposta (R): 10 attributi raggruppati in cluster: pattern che inducono dipendenza (es. Fix-It, Raccomandazioni), calibrazione empatica (es. Accuratezza dell'empatia, Matching del linguaggio) e stile della risposta/sicurezza (es. Spostamenti di argomento, Domande aperte vs chiuse).
  • Flag di Rischio Globale (F): 5 flag binari per eventi di rischio discreti.
• Valutazione Umana: Sei revisori clinici addestrati hanno applicato lo schema utilizzando un'interfaccia web personalizzata, producendo 5.324 giudizi con evidenze basate su span (evidenziando specifiche porzioni di testo). L'affidabilità inter-rater è stata sostanziale (media $\kappa$ tra 0,65 e 0,67), con un accordo del 78,8% rispetto a un gold standard.
• Metriche: Lo studio introduce tre strumenti quantitativi:
  1. User-Input Risk Index (UIRI): Misura la richiesta clinica del prompt dell'utente.
  2. Cognitive Atrophy Risk Index (ARI): Un punteggio composito che aggrega dipendenza, calibrazione empatica, stile della risposta e flag di rischio per quantificare il comportamento allineato all'atrofia.
  3. Riassunti di Traiettoria (Trajectory Summaries): Metriche per le interazioni multi-turn (livello di apertura, picco, media, deriva, variabilità) per tracciare come il comportamento evolve nel corso della conversazione.

Risultati Chiave
La valutazione attraverso i cinque LLM ha prodotto i seguenti risultati:

• Prevalenza dell'Atrofia: Tutti e cinque i modelli mostrano un livello costante da moderato ad alto di comportamento allineato all'atrofia. L'Atrophy Risk Index (ARI) colloca tutti i modelli in una stretta fascia (0,52–0,61 per single-turn; 0,48–0,57 per multi-turn), indicando livelli di rischio complessivi simili nonostante differenti percorsi comportamentali.
• Reattività ai Segnali: I modelli seguono costantemente i segnali di sicurezza espliciti (es. la sensibilità dell'utente viene riflessa nella sensibilità della risposta). Tuttavia, mostrano una limitata capacità di adattamento quando gli utenti cercano esplicitamente soluzioni o decisioni (segnali di fix-seeking), fallendo nell'aggiustare il proprio comportamento per supportare l'autonomia dell'utente in questi contesti.
• Pattern Dominanti: I principali driver dell'atrofia cognitiva sono un piccolo set di comportamenti ricorrenti: consigli direttivi, problem-solving, raccomandazioni, spostamenti di argomento e forme di validazione che possono rafforzare la dipendenza piuttosto che la riflessione.
• Dinamiche Multi-Turn: Attraverso i turni, tutti i modelli derivano nella stessa direzione, diventando più direttivi, più chiusi e più orientati alle soluzioni. Nello specifico, i punteggi delle domande chiuse sono aumentati di +0,19 fino a +0,33 dal turno 1 al turno 6, e gli span direttivi sono circa raddoppiati.
• Differenze tra i Modelli: Sebbene il rischio complessivo sia simile, i percorsi divergono. GPT e Llama tendono a comportamenti direttivi e orientati alle soluzioni, mentre Claude ha dimostrato il rischio di atrofia complessivo più basso.

Significatività e Contributi
L'articolo rivendica tre contributi primari:

1. Formalizzazione di una Nuova Dimensione di Rischio: Definisce l'ATROFIA COGNITIVA come un rischio misurabile a livello di processo, distinto da sicurezza e utilità, focalizzato sulla preservazione dell'agency dell'utente nel supporto alla salute mentale mediato dall'IA.
2. Benchmark e Protocollo: Fornisce il COGNITIVE ATROPHY BENCH, il primo benchmark clinicamente fondato che integra dati single/multi-turn, conversazioni terapeutiche reali, uno schema esperto a 20 attributi, evidenze a livello di span e materiali di annotazione riproducibili.
3. Evidenza Empirica: Offre la prima analisi su larga scala e clinicamente fondata di come gli LLM si comportano in conversazioni sensibili, introducendo URI, ARI e riassunti di traiettoria per supportare l'analisi prospettica dell'emergenza e dell'evoluzione del comportamento.

Gli autori concludono che, mentre gli attuali benchmark misurano ciò che i modelli dicono in un singolo momento, il problema più difficile e consequenziale è capire cosa diranno dopo e come questo plasmi il ragionamento dell'utente. Il lavoro fornisce una base per l'audit del comportamento dei modelli in conversazioni sensibili di LLM, con tutto il codice e i dati rilasciati per la ricerca non commerciale.