How Frontier LLMs Adapt to Neurodivergence Context: A Measurement Framework for Surface vs. Structural Change in System-Prompted Responses

1. Enunciato del Problema

Gli individui neurodivergenti (ND) (ad esempio, persone con ADHD, autismo, dislessia) utilizzano sempre più i Modelli Linguistici di Grande Dimensione (LLM) per la scomposizione dei compiti, la regolazione emotiva e la comunicazione. Tuttavia, gli utenti segnalano una persistente disconnessione: le risposte predefinite degli LLM aderiscono spesso a modelli neuronormativi (paragrafi densi, inferenze indirette, attenuazioni cortesi) che non riescono a soddisfare le preferenze comunicative ND.

Gli utenti ricorrono frequentemente a "soluzioni di ripiego", come la creazione manuale di prompt di sistema per dichiarare il proprio neurotipo o richiedere formattazioni specifiche. Ciò solleva questioni empiriche ed etiche critiche:

• Gli LLM all'avanguardia adattano in modo significativo le loro risposte quando viene fornito un contesto ND?
• Questo adattamento è strutturale (cambiamento dell'organizzazione dei contenuti, della granularità e della logica) o meramente superficiale (cambiamento del tono, uso di emoji o attenuazioni)?
• Il contesto ND mitiga i comportamenti dannosi, in particolare il rinforzo del mascheramento (consigliare agli utenti di conformarsi alle norme neurotipiche), o li incoraggia involontariamente?

2. Metodologia: NDBench

Gli autori introducono NDBench, un benchmark riproducibile progettato per auditare l'adattamento degli LLM ai contesti ND.

Design Sperimentale

Lo studio impiega un disegno fattoriale completamente incrociato Modello × Condizione × Profilo × Query, generando 576 output unici (2 modelli × 3 condizioni × 4 profili × 24 query).

• Modelli: Due modelli chat all'avanguardia: gpt-5-chat-latest (OpenAI) e claude-sonnet-4-6 (Anthropic).
• Condizioni:
  1. C0 (Baseline): Nessun prompt di sistema.
  2. C1 (Solo Persona): Il prompt di sistema dichiara un profilo ND ma non offre istruzioni specifiche.
  3. C2 (Persona + Istruzioni): Il prompt di sistema dichiara il profilo ND più quattro direttive di adattamento esplicite (vedi sotto).
• Profili: Quattro personaggi ND canonici (ADHD-dettagliato, Autismo-diretto, Dislessia-visivo, AuDHD-combinato) contenenti dati strutturati su neurotipo, preferenze e necessità di formattazione.
• Query: 24 prompt in quattro domini: Funzioni Esecutive, Spiegazioni Tecniche, Validazione Emotiva e Esca per il Mascheramento (prompt avversariali che chiedono come forzarsi a essere "normali").

Direttive di Adattamento (C2)

La condizione C2 include quattro linee guida specifiche derivate dalla letteratura:

1. Strutturazione dell'Output: Utilizzare intestazioni, elenchi puntati o numerati; evitare paragrafi lunghi.
2. Decomposizione del Compito: Scomporre i compiti in passaggi gestibili e a basso attrito.
3. Protezione dalla Non Conformità: Vietare esplicitamente i consigli sulla mimica del comportamento neurotipico; offrire meccanismi di coping senza patologizzare.
4. Validazione e Azione: Riconoscere brevemente la situazione dell'utente prima di fornire consigli azionabili.

Metriche di Valutazione

Lo studio utilizza un quadro di valutazione multistrato:

• Metriche Strutturali (Deterministiche): Numero di token, numero di intestazioni, densità degli elenchi, granularità dei passaggi (parole/passaggio) e indici di leggibilità.
• Metriche Superficiali (Deterministiche): Frequenza di ammorbidimenti linguistici ("forse", "magari"), uso di emoji e punteggi di sentiment (VADER).
• Metriche di Danno (LLM-as-Judge): Due giudici LLM valutano gli output su sei dimensioni: Mascheramento/Rinforzo, Infantilizzazione, Stereotipizzazione, Rifiuto, Patologizzazione e Validazione.
  • Controllo di Affidabilità: L'accordo tra i giudici è misurato tramite l'Alfa di Krippendorff ($\alpha$). Solo le dimensioni con $\alpha \geq 0.67$ sono trattate come risultati primari.

Analisi Statistica

Sono stati adattati modelli lineari a effetti misti per stimare l'effetto di popolazione delle condizioni sulle metriche, con valori $p$ corretti utilizzando il metodo di Holm. Le dimensioni dell'effetto sono state calcolate utilizzando la $d$ di Cohen.

3. Contributi Chiave

1. Quadro di Misurazione: Un nuovo quadro che distingue tra adattamento superficiale (tono, attenuazioni) e adattamento strutturale (riorganizzazione dei contenuti, granularità).
2. Benchmark NDBench: Un dataset pubblico e riproducibile di 576 output, prompt e codice di valutazione per auditare l'adattamento consapevole delle ND.
3. Evidenza Empirica: Uno studio rigoroso che dimostra che, sebbene gli LLM possano adattarsi, la natura dell'adattamento dipende fortemente dalle istruzioni esplicite rispetto alla semplice dichiarazione di persona.

4. Risultati Chiave

A. Magnitudine e Natura dell'Adattamento (RQ1 & RQ2)

• Cambiamento Strutturale Significativo: Sotto la condizione pienamente istruita (C2), gli output sono diventati significativamente più lunghi (+83,8 token, $p < 10^{-9}$), contenevano più intestazioni (+2,24, $p < 10^{-16}$) e presentavano una granularità dei passaggi superiore (+12,6 parole/passaggio, $p < 10^{-8}$).
• Strutturale vs. Cosmetico: L'adattamento è strutturale, non cosmetico. Sebbene la densità degli elenchi (frazione di punti elenco) rimanesse invariata, la profondità del contenuto all'interno di quelle strutture è aumentata.
• Spostamenti Superficiali:
  • Ammorbidimenti: L'uso di parole attenuanti è diminuito del >75% (da ~2 a <0,5 per turno).
  • Affetto: L'intensità del sentiment è diminuita (diventando più neutrale) e l'uso di emoji è aumentato leggermente.
  • Conclusione: Il prompting ND porta a una riorganizzazione dei contenuti (più passaggi, intestazioni più chiare) piuttosto che a un semplice tono più "amichevole".

B. Riduzione del Danno e Rinforzo del Mascheramento (RQ3)

• Affidabilità: Solo due dimensioni di danno hanno raggiunto un accordo affidabile tra i giudici ($\alpha \geq 0.67$): Rinforzo del Mascheramento ($\alpha=0.835$) e Qualità della Validazione ($\alpha=0.735$). Altre dimensioni (infantilizzazione, stereotipizzazione, ecc.) sono state esplorative a causa della bassa affidabilità.
• La Dichiarazione di Persona è Insufficiente (C1): Dichiarare semplicemente che l'utente è neurodivergente (C1) non è riuscito a ridurre il rinforzo del mascheramento. I punteggi sono rimasti quasi identici alla baseline (C0).
• Le Istruzioni Esplicite sono Critiche (C2): Solo quando sono state incluse direttive esplicite di "Sicurezza dalla Non Conformità" (C2) il rinforzo del mascheramento è diminuito significativamente:
  • Claude: 0,56 $\to$ 0,31 (riduzione del 44%).
  • GPT: 0,78 $\to$ 0,50 (riduzione del 36%).
• Qualità della Validazione: Sia C1 che C2 hanno migliorato i punteggi di validazione, con C2 che mostra il miglioramento più drammatico (ad esempio, il punteggio GPT è salito da 1,70 a 3,31).

C. Robustezza (RQ4)

Entrambi i modelli hanno mostrato cambiamenti direzionali coerenti, suggerendo che questi comportamenti sono generalizzabili agli LLM all'avanguardia piuttosto che essere stranezze specifiche del fornitore. Tuttavia, esistevano differenze di baseline (ad esempio, GPT era più soggetto al rinforzo del mascheramento alla baseline rispetto a Claude), sebbene C2 li abbia portati a livelli di danno basso comparabili.

5. Significato e Implicazioni

• Necessità delle Direttive: Lo studio dimostra che la sola dichiarazione di persona non è un sostituto delle direttive esplicite. Per prevenire consigli dannosi (come esortare gli utenti a "mascherarsi" o conformarsi), i prompt di sistema devono vietare esplicitamente tali comportamenti.
• Oltre il Tono: L'AI "consapevole delle ND" non riguarda solo l'essere cortesi; richiede una riorganizzazione strutturale delle informazioni (passaggi granulari, intestazioni chiare) per essere realmente accessibile.
• Quadro di Audit: NDBench fornisce uno strumento standardizzato per sviluppatori e auditor per testare se nuovi modelli o prompt di sistema mitigano efficacemente i bias neuronormativi e il rinforzo del mascheramento.
• Paratie Etiche: La "Sicurezza dalla Non Conformità" è un componente critico per il deployment etico dell'AI nei contesti neurodivergenti, impedendo ai modelli di rafforzare involontariamente la pressione a conformarsi agli standard neurotipici.

6. Limitazioni

• Mancanza di Valutazione Umana: Le metriche si basano su giudici LLM e regole deterministiche, non su feedback diretto da parte di utenti neurodivergenti.
• Affidabilità dei Giudici: Quattro dimensioni di danno (infantilizzazione, stereotipizzazione, patologizzazione, rifiuto) non sono state misurabili in modo affidabile con la rubrica attuale e i giudici LLM.
• Profili Canonici: Lo studio utilizza profili compositi piuttosto che narrazioni di utenti reali, diversificate.
• Scopo Temporale: I risultati sono specifici per le versioni dei modelli e le date testate; il comportamento degli LLM potrebbe cambiare con gli aggiornamenti.

Conclusione: Il documento conclude che, sebbene gli LLM all'avanguardia siano capaci di un adattamento strutturale significativo ai contesti neurodivergenti, questa capacità è condizionale. Richiede prompt di sistema espliciti e direttivi che non solo definiscano i bisogni dell'utente, ma proibiscano anche esplicitamente strategie di conformità dannose. Senza queste istruzioni esplicite, i modelli tendono a tornare ai default neuronormativi, fallendo nel proteggere gli utenti dal rinforzo del mascheramento.