How Frontier LLMs Adapt to Neurodivergence Context: A Measurement Framework for Surface vs. Structural Change in System-Prompted Responses

1. Probleemstelling

Neurodivergente (ND) individuen (bijvoorbeeld mensen met ADHD, autisme of dyslexie) gebruiken Large Language Models (LLM's) steeds vaker voor taakontleding, emotionele regulatie en communicatie. Gebruikers rapporteren echter een aanhoudende disconnectie: standaard LLM-outputs houden vaak vast aan neuronormatieve patronen (dichte alinea's, indirecte inferentie, beleefde verzachtingen) die geen rekening houden met ND-communicatievoorkeuren.

Gebruikers grijpen vaak naar "workarounds", zoals het handmatig opstellen van systeemprompts om hun neurotype te declareren of specifieke opmaak te vragen. Dit roept kritische empirische en ethische vragen op:

• Adaptëren geavanceerde LLM's hun outputs op zinvolle wijze wanneer ND-context wordt geboden?
• Is deze adaptatie structureel (verandering van inhoudsorganisatie, granulariteit en logica) of slechts oppervlakkig (verandering van toon, emoji's of verzachtingen)?
• Mitigeert ND-context schadelijk gedrag, specifiek maskering-versterking (gebruikers adviseren om zich aan te passen aan neurotypische normen), of moedigt het dit onbedoeld juist aan?

2. Methodologie: NDBench

De auteurs introduceren NDBench, een reproduceerbaar benchmarkontworpen om LLM-adaptatie aan ND-contexten te auditeren.

Experimenteel Ontwerp

De studie hanteert een volledig gekruist Model × Conditie × Profiel × Query factorieel ontwerp, waarbij 576 unieke outputs worden gegenereerd (2 modellen × 3 condities × 4 profielen × 24 queries).

• Modellen: Twee geavanceerde chatmodellen: gpt-5-chat-latest (OpenAI) en claude-sonnet-4-6 (Anthropic).
• Condities:
  1. C0 (Basislijn): Geen systeemprompt.
  2. C1 (Alleen Persona): Systeemprompt declareert een ND-profiel maar biedt geen specifieke instructies.
  3. C2 (Persona + Instructies): Systeemprompt declareert het ND-profiel plus vier expliciete adaptatierichtlijnen (zie hieronder).
• Profielen: Vier canonieke ND-persona's (ADHD-gedetailleerd, Autisme-direct, Dyslexie-visueel, AuDHD-gecombineerd) met gestructureerde data over neurotype, voorkeuren en opmaakbehoeften.
• Queries: 24 prompts over vier domeinen: Executieve Functies, Technische Uitleg, Emotionele Validering en Masking Bait (adversarische prompts die vragen hoe men zichzelf kan dwingen "normaal" te zijn).

Adaptatierichtlijnen (C2)

De C2-conditie bevat vier specifieke richtlijnen afgeleid van literatuur:

1. Outputstructurering: Gebruik koppen, opsommingstekens of nummers; vermijd lange alinea's.
2. Taakdecompositie: Breek taken op in beheersbare, laagdrempelige stappen.
3. Bescherming tegen Non-conformiteit: Verbied expliciet advies over het nabootsen van neurotypisch gedrag; bied copingmechanismen aan zonder te pathologiseren.
4. Validering & Actie: Erken de situatie van de gebruiker kort voordat er actiegericht advies wordt gegeven.

Evaluatiemetrics

De studie maakt gebruik van een meerlagig evaluatiekader:

• Structurele Metrics (Deterministisch): Tokenaantal, aantal koppen, dichtheid van lijsten, stapgranulariteit (woorden/stap) en leesbaarheidsindices.
• Oppervlakkige Metrics (Deterministisch): Frequentie van linguïstische verzachters ("misschien", "wellicht"), gebruik van emoji's en sentiment-scores (VADER).
• Schade-metrics (LLM-as-Judge): Twee LLM-judges evalueren outputs op zes dimensies: Maskering/Versterking, Infantiliseren, Stereotypering, Weigering, Pathologisering, en Validering.
  • Betrouwbaarheidstest: Inter-judge overeenstemming wordt gemeten via Krippendorff's Alpha ($\alpha$). Alleen dimensies met $\alpha \geq 0.67$ worden behandeld als primaire resultaten.

Statistische Analyse

Lineaire mixed-effects modellen werden gefit om het populatie-effect van condities op metrics te schatten, waarbij $p$-waarden werden gecorrigeerd met de Holm-methode. Effectgroottes werden berekend met Cohen's $d$.

3. Belangrijkste Bijdragen

1. Meetkader: Een nieuw kader dat onderscheid maakt tussen oppervlakkige adaptatie (toon, verzachtingen) en structurele adaptatie (herorganisatie van inhoud, granulariteit).
2. NDBench Benchmark: Een publiek beschikbaar, reproduceerbaar dataset van 576 outputs, prompts en evaluatiecode voor het auditeren van ND-bewuste adaptatie.
3. Empirisch Bewijs: Een rigoureuze studie die aantoont dat hoewel LLM's kunnen adaptëren, de aard van de adaptatie sterk afhankelijk is van expliciete instructies versus loutere persona-declaratie.

4. Belangrijkste Resultaten

A. Adaptatiegrootte en -aard (RV1 & RV2)

• Significante Structurele Verandering: Onder de volledig geïnstrueerde conditie (C2) werden outputs significant langer (+83,8 tokens, $p < 10^{-9}$), bevatten meer koppen (+2,24, $p < 10^{-16}$) en hadden een hogere stapgranulariteit (+12,6 woorden/stap, $p < 10^{-8}$).
• Structureel vs. Cosmetisch: Adaptatie is structureel, niet cosmetisch. Hoewel de lijstdichtheid (fractie van opsommingstekens) onveranderd bleef, nam de diepte van de inhoud binnen die structuren toe.
• Oppervlakkige Verschuivingen:
  • Verzachters: Gebruik van verzachtende woorden daalde met >75% (van ~2 naar <0,5 per beurt).
  • Affect: Sentimentintensiteit nam af (werd neutraler) en emoji-gebruik nam licht toe.
  • Conclusie: ND-prompting leidt tot een herorganisatie van inhoud (meer stappen, duidelijkere koppen) in plaats van slechts een "vriendelijkere" toon.

B. Schadereductie en Maskering-Versterking (RV3)

• Betrouwbaarheid: Slechts twee schade-dimensies bereikten een betrouwbare inter-judge overeenstemming ($\alpha \geq 0.67$): Maskering-Versterking ($\alpha=0.835$) en Valideringskwaliteit ($\alpha=0.735$). Andere dimensies (infantiliseren, stereotyperen, etc.) waren exploratief vanwege lage betrouwbaarheid.
• Persona-declaratie is onvoldoende (C1): Het louter stellen dat de gebruiker neurodivergent is (C1) faalde om maskering-versterking te verminderen. Scores bleven bijna identiek aan de basislijn (C0).
• Expliciete Instructies zijn Cruciaal (C2): Alleen wanneer expliciete "Non-conformiteit Veiligheids"-richtlijnen werden opgenomen (C2) daalde maskering-versterking significant:
  • Claude: 0,56 $\to$ 0,31 (44% reductie).
  • GPT: 0,78 $\to$ 0,50 (36% reductie).
• Valideringskwaliteit: Zowel C1 als C2 verbeterden valideringsscores, waarbij C2 de meest dramatische verbetering liet zien (bijv. GPT-score steeg van 1,70 naar 3,31).

C. Robuustheid (RV4)

Beide modellen vertoonden consistente directionele veranderingen, wat suggereert dat deze gedragingen generaliseerbaar zijn naar geavanceerde LLM's in plaats van leveranciers-specifieke eigenaardigheden. Er waren echter basislijndifferenties (bijv. GPT was bij de basislijn vatbaarder voor maskering-versterking dan Claude), hoewel C2 hen bracht naar vergelijkbare lage-schade niveaus.

5. Betekenis en Implicaties

• Noodzaak van Directives: De studie bewijst dat persona-declaratie alleen geen vervanging is voor expliciete directives. Om schadelijk advies te voorkomen (zoals gebruikers aansporen om te "maskeren" of zich aan te passen), moeten systeemprompts dergelijk gedrag expliciet verbieden.
• Voorbij de Toon: "ND-bewuste" AI gaat niet alleen over beleefdheid; het vereist structurele herorganisatie van informatie (granulaire stappen, duidelijke koppen) om echt toegankelijk te zijn.
• Auditkader: NDBench biedt een gestandaardiseerd hulpmiddel voor ontwikkelaars en auditors om te testen of nieuwe modellen of systeemprompts neuronormatieve biases en maskering-versterking effectief mitigeren.
• Ethische Veiligheidsmaatregelen: De "Non-conformiteit Veiligheid" is een kritiek onderdeel voor ethische AI-implementatie in ND-contexten, waardoor modellen onbedoeld de druk om zich aan te passen aan neurotypische standaarden niet versterken.

6. Beperkingen

• Gebrek aan Menselijke Evaluatie: Metrics zijn gebaseerd op LLM-judges en deterministische regels, niet op directe feedback van neurodivergente gebruikers.
• Judge Betrouwbaarheid: Vier schade-dimensies (infantiliseren, stereotyperen, pathologiseren, weigering) konden niet betrouwbaar worden gemeten met de huidige rubriek en LLM-judges.
• Canonieke Profielen: De studie gebruikt samengestelde profielen in plaats van diverse, real-world gebruikersverhalen.
• Temporele Scope: Resultaten zijn specifiek voor de geteste modelversies en datums; LLM-gedrag kan verschuiven met updates.

Conclusie: Het artikel concludeert dat hoewel geavanceerde LLM's in staat zijn tot significante structurele adaptatie aan neurodivergente contexten, deze capaciteit conditioneel is. Het vereist expliciete, directive systeemprompts die niet alleen de behoeften van de gebruiker definiëren, maar ook expliciet schadelijke conformiteitsstrategieën verbieden. Zonder deze expliciete instructies neigen modellen terug te vallen op neuronormatieve defaults, waardoor ze gebruikers niet beschermen tegen maskering-versterking.