Technische Samenvatting: Annotatorpositie als Signaal: Psychometrische Weging voor Detectie van Anti-Autistische Ableïsme

Probleemstelling

Grote taalmodellen (LLMs) worden steeds vaker ingezet in besluitvormingspijplijnen, zoals contentmoderatie, waar ze het risico lopen gemeenschapsperspectieven te versterken of te onderdrukken. Hoewel eerdere onderzoek algemene gerelateerde aan invaliditeit vertekeningen in LLMs heeft geïdentificeerd, blijven de specifieke mechanismen waarmee deze modellen anti-autistische ableïsme conceptualiseren en detecteren onderbelicht. Een kritieke uitdaging op dit domein is het onderscheid tussen insider/outsider: termen die door de autistische gemeenschap worden heroverd (bijvoorbeeld "aspie", "autie") om solidariteit te signaleren, kunnen door geautomatiseerde systemen of menselijke annotatoren zonder gemeenschapsgebaseerde kennis ten onrechte worden geclassificeerd als ableistisch. Bovendien wegen standaard evaluatiemethoden die vertrouwen op aggregatie via meerderheidsstemming systematisch te licht op autistische en autisme-accepterende perspectieven, waarbij annotatoridentiteit wordt behandeld als ruis in plaats van een betekenisvol signaal. Dit leidt tot grondwahrheden die de contextuele nuances van sprekeridentiteit, heroverde taal en gemeenschapsimpact niet vastleggen.

Methodologie

De auteurs stellen een bias-bewust evaluatiekader voor dat psychometrische weging integreert met gecontroleerde LLM-evaluaties.

1. Psychometrisch Gewogen Grondwaarheid

In plaats van eenvoudige meerderheidsstemming, construeert de studie een grondwaarheid door menselijke annotatormerkers te wegen op basis van hun gemeten bias-niveaus en autistische trekken.

• Data Bron: 2.120 zinnen uit de AUTALIC-dataset, gelabeld als ableistisch (1) of niet (0).
• Annotator Karakterisering: Annotatoren voltooiden drie psychometrische instrumenten:
  • SATA (Societal Attitudes Toward Autism): Meet expliciete acceptatie.
  • AQ (Autism-Spectrum Quotient): Kwantificeert autistische trekken.
  • IAT (Implicit Association Test): Meet impliciete biases ten opzichte van autisme.
• Wegingsschema: Een composite betrouwbaarheidsscore ($R_i$) wordt berekend door de drie instrument scores te normaliseren via min-max en te middelen (met IAT omgekeerd zodat hogere waarden lagere bias aangeven). Deze scores worden genormaliseerd ten opzichte van het teamgemiddelde om een definitieve weging ($W_i$) te produceren. Het grondwaarheidslabel ($\hat{y}$) is het gewogen gemiddelde van de annotatormerkers.
• Validatie: Deze composite weging bleek een significant strengere grondwaarheid te produceren dan meerderheidsstemming ($p < .001$), terwijl weging alleen op AQ dit niet deed ($p = .651$).

2. LLM Evaluatie Setup

• Modellen: Twaalf publiek beschikbare LLMs werden geëvalueerd, variërend van 135M tot 20B parameters, inclusief instructie-aangepaste, redeneringsbekwame, veiligheidsgerichte en ongecensureerde varianten.
• Prompting Condities: Acht modellen werden getest onder zeven distincte condities:
  1. Zero-Shot (ZS): Definities-gebaseerde framing.
  2. Chain-of-Thought (CoT): Drie-staps redenering (sprekeridentiteit, trefwoord versus meta-context, schadebeoordeling).
  3. In-Context Learning (ICL): Twee sub-condities met voorbeelden van hoge-AQ (autismenabije) en lage-AQ (niet-autistische) annotatoren.
  4. Persona Prompts: Drie sub-condities variërend in identiteits taal (Identiteit-Eerst, Persoon-Eerst, of neutraal).
• Maten: De primaire overeenstemming werd gemeten met Cohen's $\kappa$ tegen de gewogen grondwaarheid. Secundaire maten omvatten F1, precisie, recall en nauwkeurigheid.

3. Psychometrische Evaluatie van LLMs

Om latente biases te beoordelen, kregen LLMs de SATA- en AQ-instrumenten voorgelegd. Om "herkenningsgebaseerd reageren" te mitigeren (waarbij modellen sociaal wenselijke antwoorden nabootsen vanwege bekendheid met trainingsdata), hanteerde de studie een gemaskerde herschrijving van de instrumenten. Dit omvatte itemrandomisatie, formuleringvariatie en de opname van filler- en validiteitsitems (dummy-items) om het doel van de vragenlijst te verhullen.

4. Foutenanalyse

Een getrianguleerde foutenanalyse werd uitgevoerd op 92 geselecteerde LLM-outputs. Drie analisten gebruikten verschillende perspectieven: (1) thematische inhoud, (2) taalkundige kenmerken uit disability studies, en (3) redeneringsstructuur.

Belangrijkste Resultaten

1. Constructie van Grondwaarheid is Niet Neutraal

• Strakkere Baseline: De psychometrisch gewogen $\kappa$ was consistent lager dan de ongewogen (meerderheidsstemming) $\kappa$ over 56 model-conditiecombinaties (gemiddeld $\delta\kappa = -0.012$). Dit bevestigt dat meerderheidsstemming systematisch autistische perspectieven ondervertegenwoordigt.
• Afwijkende Alignments: LLMs vertoonden significant hogere overeenstemming met "betrouwbare" annotatoren (hoge vertrouwensscores) dan met "autismenabije" annotatoren, wat de noodzaak van het composite wegingsschema valideert.
• Modelvariatie: Veiligheidsgerichte classifiers (LLaMA Guard 3, GPT-OSS) presteerden beter dan algemeen doelmodellen, wat suggereert dat taakspecifieke veiligheidsopleiding sensitiviteit voor invaliditeitsschade encodeert die algemene prompting niet kan herstellen.

2. Classificatieprestaties

• Over het Ganse Beeld Lage Prestaties: Het gemiddelde gewogen $\kappa$ was 0,118 en het gemiddelde F1 was 0,237, wat prestaties dicht bij toeval aangeeft op een hoog-risico taak.
• Precisie-Recall Ongelijkgewicht: Modellen vertoonden systematische over-classificatie (hoge recall, lage precisie), waarbij gemeenschaps-heroverde termen als ableistisch werden gemarkeerd.
• Beperkingen van Prompting:
  • CoT: Hoewel Chain-of-Thought "topic deflectie" elimineerde (het rechtvaardigen van niet-ableistische labels door te claimen dat de tekst niet over autisme gaat), slaagde het er niet significant in "positioneel redeneren" te verbeteren (het begrijpen van sprekeridentiteit).
  • ICL & Persona's: In-context learning en persona-prompten verbeterden de prestaties niet consequent; in sommige gevallen destabiliseerden ze goed presterende modellen.

3. Redeneringsfalen

De foutenanalyse identificeerde vier primaire faalmodi:

1. Redenering op Oppervlaktevorm: Modellen leunden zwaar op trefwoordmatching (41% van de fragmenten) in plaats van context. Ze labelden heroverde termen (bijvoorbeeld "aspie") vaak ten onrechte als ableistisch en misten op tekortkomingen gebaseerde framings zonder negatieve trefwoorden.
2. Blindheid voor Positie: Expliciet redeneren over sprekeridentiteit was zeldzaam (10% overall, 13% onder CoT) en afwezig in zero-shot condities.
3. Topic Deflectie: Modellen rechtvaardigden vaak niet-ableistische labels door te claimen dat de tekst niet over autisme ging, een gedrag dat door CoT werd geëlimineerd maar werd vervangen door andere fouten.
4. Hallucinaties & Stereotypen: Modellen riepen stereotypen op en, in sommige gevallen, hallucineerden ze onderwerpen (bijvoorbeeld het ten onrechte identificeren van een zin over Autism Speaks als anti-semitisme).

4. Latente Biases in LLMs

• Maskering Ontmaskert Bias: Wanneer instrument-herkenningscues werden gemaskerd, vertoonden LLMs een significante afwijking in antwoorden: SATA-scores daalden (wat lagere acceptatie aangeeft) en AQ-scores stegen (wat hogere autistische trekken in het klinische bereik aangeeft) in vergelijking met de originele instrumenten.
• Interpretatie: Dit suggereert dat standaard zelfrapportages door LLMs sociaal wenselijke antwoorden oproepen die latente anti-autistische houdingen verbergen.

Betekenis en Claims

Het artikel claimt een repliceerbaar sjabloon te bieden voor gemeenschapsgebaseerde, bias-bewuste evaluatie bij detectie van schadelijke taal. De primaire bijdragen zijn:

1. Methodologisch: Aantonen dat psychometrische weging een strengere, nauwkeurigere grondwaarheid creëert dan meerderheidsstemming voor het detecteren van anti-autistische ableïsme, specifiek door annotatoren met hoge autistische trekken en lage impliciete bias zwaarder te wegen.
2. Empirisch: Het onthullen dat huidige LLMs, zelfs met geavanceerde promptingstrategieën zoals CoT en persona's, falen om verder te redeneren dan oppervlakkige trefwoorden wat betreft sprekeridentiteit en heroverde taal.
3. Diagnostisch: Aantonen dat gemaskerde psychometrische evaluaties latente anti-autistische biases in LLMs blootleggen die verborgen blijven door standaard zelfrapportagemechanismen.

De auteurs concluderen dat taalspecifieke fine-tuning op gemeenschapsgelabelde data een voorwaarde is voor implementatie-klaar presteren in dit domein, in plaats van een optionele verbetering. Zij benadrukken dat huidige modellen werken met een nauwkeurigheid dicht bij toeval op taken die autistische gemeenschappen raken, wat de dringende noodzaak onderstreept van evaluatiekaders die gemeenschapsperspectieven en positie centraal stellen.