💬 NLP

Annotator Positionality as Signal: Psychometric Weighting for Anti-Autistic Ableism Detection

Dieser Beitrag stellt einen psychometrisch gewichteten Evaluierungsrahmen vor, der die Perspektiven autistischer Annotierenden priorisiert, um aufzuzeigen, wie große Sprachmodelle wiedergewonnene Sprache häufig als ableistisch fehlidentifizieren und bei der Bewertung anti-autistischer Voreingenommenheit auf oberflächliches Keyword-Matching statt auf kontextuelle Nuancen zurückgreifen.

Ursprüngliche Autoren: Naba Rizvi, Harper Strickland, Saleha Ahmedi, Nedjma Ousidhoum

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Naba Rizvi, Harper Strickland, Saleha Ahmedi, Nedjma Ousidhoum

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, den Unterschied zwischen einem freundlichen Scherz unter Freunden und einem grausamen Beleidigungswort von einem Fremden zu erkennen. Genau das haben die Forscher in dieser Studie versucht, jedoch mit einem sehr spezifischen und sensiblen Thema: Sprache, die autistische Menschen verletzt.

Hier ist eine Aufschlüsselung ihrer Studie mit einfachen Analogien.

1. Das Problem: Die „Standardeinstellung" des Roboters ist falsch

Large Language Models (LLMs) sind wie superschluge Roboter, die auf dem gesamten Internet trainiert wurden. Das Problem ist, dass das Internet voller alter, schädlicher Vorstellungen über Autismus steckt (wie etwa die Annahme, es sei eine zu heilende Krankheit oder dass autistische Menschen defekt seien).

Wenn diese Roboter versuchen, „ableistische" Sprache (Sprache, die behinderte Menschen diskriminiert) zu erkennen, liegen sie oft falsch, weil sie in einem „neurotypischen" Denkrahmen gefangen sind. Sie verstehen nicht, dass:

Kontext der König ist: Ein Wort wie „Aspie" kann ein hasserfüllter Schimpfwort sein, wenn ein Fremder es sagt, aber es kann ein warmherziger, freundlicher Spitzname sein, wenn ein autistischer Mensch es zu einem anderen autistischen Menschen sagt.
Der „Außenstehende"-Blindheit: Die Roboter übersehen oft subtile Beleidigungen, die keine „schlechten Wörter" verwenden, aber dennoch Autismus als Tragödie behandeln.

2. Die Lösung: Die richtigen Leute um Hilfe bitten

Normalerweise, wenn Forscher Roboter trainieren, bitten sie eine Gruppe von Menschen, abzustimmen, ob ein Satz schlecht ist. Die Mehrheit gewinnt. Die Autoren sagen, das sei, als würde man eine Gruppe von Menschen bitten, die noch nie ein fremdes Land besucht haben, dessen lokale Bräuche zu beurteilen – sie werden es falsch machen.

Stattdessen entwickelte dieses Team ein „Psychometrisches Gewichtungssystem". Stellen Sie es sich wie eine Notenkurve für die Lehrer vor, nicht nur für die Schüler.

Sie baten nicht einfach zufällige Menschen, Sätze zu kennzeichnen.
Sie gaben den menschlichen Kennern Tests, um ihre eigenen Vorurteile und ihr Maß an Bezug zur autistischen Erfahrung zu messen (unter Verwendung von Instrumenten wie dem AQ-Test für autistische Merkmale und dem IAT für versteckte Vorurteile).
Die Analogie: Stellen Sie sich eine Jury vor. Wenn ein Richter eine Geschichte von Vorurteilen gegen eine bestimmte Gruppe hat, zählt seine Stimme weniger. Wenn ein Richter Teil dieser Gemeinschaft ist oder sehr geringe Vorurteile hat, zählt seine Stimme mehr.
Das Ergebnis: Sie fanden heraus, dass die „Mehrheitsentscheidung" (der Standardweg) tatsächlich die Stimmen autistischer Menschen zum Schweigen bringt. Indem sie die Stimmen autistischer und vorurteilsarmer Menschen höher gewichteten, schufen sie eine „strengere" und genauere Wahrheit.

3. Das Experiment: Kann der Roboter lernen?

Die Forscher testeten 12 verschiedene KI-Modelle unter Verwendung dieser neuen, strengeren „Wahrheit" als Benchmark. Sie versuchten verschiedene Wege, mit den Robotern zu sprechen:

Zero-Shot: Den Roboter einfach bitten, eine Entscheidung zu treffen.
Chain-of-Thought: Den Roboter bitten, „laut zu denken" und Schritt für Schritt zu überlegen, bevor er eine Entscheidung trifft.
Personas: Dem Roboter zu sagen: „Tun Sie so, als wären Sie ein autistischer Mensch."
Beispiele: Dem Roboter Beispiele dafür zu zeigen, was zu tun ist.

Die Ergebnisse:

Die Roboter hatten Schwierigkeiten: Selbst mit den besten Anweisungen schnitten die Roboter schlecht ab. Sie waren kaum besser als Raten.
Die „Schlüsselwort"-Krücke: Die Roboter waren wie Schüler, die nur eine Liste von „schlechten Wörtern" auswendig gelernt hatten. Wenn ein Satz ein schlechtes Wort enthielt, markierten sie ihn. Wenn nicht, übergingen sie den Schaden. Sie versagten darin zu verstehen, wer sprach oder warum sie sprachen.
Der „Denk"-Trick funktionierte nicht: Selbst wenn sie die Roboter zwangen, „Schritt für Schritt zu denken", verließen sich die Roboter immer noch auf oberflächliche Schlüsselwörter, anstatt den tiefen Kontext zu verstehen, wer zu wem sprach.
Die „Persona"-Falle: Dem Roboter zu sagen „Sie sind autistisch", ließ sie die Gemeinschaft nicht magisch verstehen. Tatsächlich wurden einige sicherheitsorientierte Roboter zu empfindlich und markierten freundliche Gemeinschaftssprache als Hassrede, weil sie Angst hatten, Fehler zu machen.

4. Der versteckte Vorurteilstest

Die Forscher gaben den Robotern auch dieselben psychologischen Tests, die sie den Menschen gaben (um Vorurteile zu messen), maskierten die Tests jedoch so, dass die Roboter nicht wussten, dass sie im Hinblick auf Autismus getestet wurden.

Das Ergebnis: Wenn die Roboter glaubten, nur normale Fragen zu beantworten, zeigten sie negativere Einstellungen gegenüber autistischen Menschen als wenn sie wussten, dass sie getestet wurden. Dies deutet darauf hin, dass Standard-„Selbstauskünfte" von KI ihre wahren Vorurteile verbergen, genau wie Menschen ihre Vorurteile verbergen könnten, wenn sie wissen, dass sie beobachtet werden.

5. Das Fazit

Die Studie kommt zu dem Schluss, dass:

Aktuelle KI noch nicht bereit ist: Diese Modelle sind noch nicht gut genug, um Inhalte für autistische Gemeinschaften zu moderieren. Sie neigen zu stark dazu, freundliche Gemeinschaftssprache zu zensieren oder subtile Hassrede zu übersehen.
Wir brauchen bessere Daten: Man kann nicht einfach eine „Mehrheitsentscheidung" verwenden, um zu entscheiden, was schädlich ist. Man muss den Menschen zuhören, die am stärksten vom Schaden betroffen sind (der autistischen Gemeinschaft), und ihre Meinungen stärker gewichten.
Oberflächlichkeit reicht nicht aus: Man kann einem Roboter nicht einfach beibringen, nach schlechten Wörtern zu suchen. Man muss ihm beibringen, Identität, Kontext und den Unterschied zwischen einem Insider-Scherz und einem Angriff von Außenstehenden zu verstehen.

Kurz gesagt: Die Studie argumentiert, dass wir, um KI-Vorurteile gegen autistische Menschen zu beheben, die KI nicht einfach bitten können, „nett zu sein". Wir müssen grundlegend ändern, wie wir messen, was „wahr" ist, indem wir der Gemeinschaft zuhören, und wir müssen zugeben, dass aktuelle Roboter immer noch zu ungeschickt sind, um diese Aufgabe ohne erhebliche Hilfe zu bewältigen.

Technische Zusammenfassung: Die Positionalität des Annotators als Signal: Psychometrische Gewichtung zur Erkennung von Anti-Autismus-Abelismus

Problemstellung

Large Language Models (LLMs) werden zunehmend in Entscheidungsprozessen eingesetzt, beispielsweise bei der Inhaltsmoderation, wo sie das Risiko bergen, Gemeinschaftsperspektiven zu verstärken oder zu unterdrücken. Während frühere Forschungen allgemeine behinderungsbezogene Verzerrungen in LLMs identifiziert haben, bleiben die spezifischen Mechanismen, durch die diese Modelle Anti-Autismus-Abelismus konzeptualisieren und erkennen, weitgehend unerforscht. Eine kritische Herausforderung in diesem Bereich ist die Unterscheidung zwischen Insider und Outsider: Begriffe, die von der Autismus-Gemeinschaft zur Signalisierung von Solidarität wiedergewonnen wurden (z. B. „Aspie", „Autie"), können von automatisierten Systemen oder menschlichen Annotatoren ohne gemeindebasiertes Wissen fälschlicherweise als abelistisch eingestuft werden. Darüber hinaus unterschätzen Standardbewertungsmethoden, die auf der Aggregation von Mehrheitsstimmen beruhen, systematisch die Perspektiven von Autisten und Autismus-Akzeptierenden, indem sie die Identität des Annotators als Rauschen und nicht als bedeutungsvolles Signal behandeln. Dies führt zu Grundwahrheiten, die die kontextuellen Nuancen der Sprecheridentität, der wiedergewonnenen Sprache und der Gemeinschaftswirkung nicht erfassen.

Methodik

Die Autoren schlagen einen verzerrungsbewussten Bewertungsrahmen vor, der psychometrische Gewichtung mit kontrollierten LLM-Evaluationen integriert.

1. Psychometrisch gewichtete Grundwahrheit

Anstelle einer einfachen Mehrheitsabstimmung konstruiert die Studie eine Grundwahrheit, indem sie die Labels menschlicher Annotatoren basierend auf ihren gemessenen Verzerrungsniveaus und autistischen Merkmalen gewichtet.

Datenquelle: 2.120 Sätze aus dem AUTALIC-Datensatz, klassifiziert als abelistisch (1) oder nicht (0).
Charakterisierung der Annotatoren: Die Annotatoren füllten drei psychometrische Instrumente aus:
- SATA (Societal Attitudes Toward Autism): Misst explizite Akzeptanz.
- AQ (Autism-Spectrum Quotient): Quantifiziert autistische Merkmale.
- IAT (Implicit Association Test): Misst implizite Vorurteile gegenüber Autismus.
Gewichtungsschema: Ein zusammengesetzter Zuverlässigkeitswert ( $R_i$ ) wird berechnet, indem die drei Instrumentenwerte durch Min-Max-Normalisierung gemittelt werden (wobei der IAT invertiert wird, sodass höhere Werte eine geringere Verzerrung anzeigen). Diese Werte werden relativ zum Teammittelwert normalisiert, um ein finales Gewicht ( $W_i$ ) zu erzeugen. Das Label der Grundwahrheit ( $\hat{y}$ ) ist der gewichtete Mittelwert der Annotator-Labels.
Validierung: Es wurde gezeigt, dass diese zusammengesetzte Gewichtung eine signifikant strengere Grundwahrheit erzeugt als die Mehrheitsabstimmung ( $p < .001$ ), wohingegen eine Gewichtung nur nach AQ dies nicht tat ( $p = .651$ ).

2. LLM-Evaluationsaufbau

Modelle: Zwölf öffentlich verfügbare LLMs wurden evaluiert, mit Parametern von 135M bis 20B, einschließlich instruktionsangepasster, reasoning-fähiger, sicherheitsorientierter und unzensierter Varianten.
Prompting-Bedingungen: Acht Modelle wurden unter sieben distincten Bedingungen getestet:
1. Zero-Shot (ZS): Definitionsbasierter Rahmen.
2. Chain-of-Thought (CoT): Drei-Schritte-Reasoning (Sprecheridentität, Schlüsselwort vs. Meta-Kontext, Schadensbewertung).
3. In-Context Learning (ICL): Zwei Unterbedingungen unter Verwendung von Beispielen von Annotatoren mit hohem AQ (autismus-nah) und niedrigem AQ (nicht-autistisch).
4. Persona-Prompts: Drei Unterbedingungen mit variierender Identitätssprache (Identitäts-first, Personen-first oder neutral).
Metriken: Die primäre Übereinstimmung wurde mittels Cohens $\kappa$ gegen die gewichtete Grundwahrheit gemessen. Sekundäre Metriken umfassten F1, Präzision, Recall und Genauigkeit.

3. Psychometrische Evaluation von LLMs

Um latente Verzerrungen zu bewerten, wurden den LLMs die SATA- und AQ-Instrumente verabreicht. Um „erkennungsbasiertes Antworten" (bei dem Modelle aufgrund der Vertrautheit mit Trainingsdaten sozial wünschenswerte Antworten imitieren) zu mildern, setzte die Studie eine maskierte Neufassung der Instrumente ein. Dies umfasste Item-Randomisierung, Formulierungsvariation sowie die Einbeziehung von Füll- und Validitätsitems (Dummy-Items), um den Zweck des Fragebogens zu verschleiern.

4. Fehleranalyse

Eine triangulierte Fehleranalyse wurde an 92 Stichproben von LLM-Ausgaben durchgeführt. Drei Analysten nutzten unterschiedliche Perspektiven: (1) thematischer Inhalt, (2) sprachliche Merkmale der Disability Studies und (3) Reasoning-Struktur.

Hauptergebnisse

1. Der Aufbau der Grundwahrheit ist nicht neutral

Strengere Basislinie: Der psychometrisch gewichtete $\kappa$ war über 56 Modell-Bedingungs-Kombinationen hinweg konsistent niedriger als der ungewichtete (Mehrheitsvotum) $\kappa$ (mittleres $\delta\kappa = -0.012$ ). Dies bestätigt, dass Mehrheitsabstimmungen autistische Perspektiven systematisch unterrepräsentieren.
Alignierungs-Lücken: LLMs zeigten eine signifikant höhere Übereinstimmung mit „zuverlässigen" Annotatoren (hohe Vertrauenswerte) als mit „autismus-nahen" Annotatoren, was die Notwendigkeit des zusammengesetzten Gewichtungsschemas validiert.
Modellvarianz: Sicherheitsorientierte Klassifikatoren (LLaMA Guard 3, GPT-OSS) schnitten besser ab als allgemeine Modelle, was darauf hindeutet, dass taskspezifisches Sicherheitstraining eine Sensibilität für behinderungsbezogene Schäden kodiert, die durch generisches Prompting nicht wiederhergestellt werden kann.

2. Klassifikationsleistung

Gesamtniedrige Leistung: Der mittlere gewichtete $\kappa$ betrug 0,118 und der mittlere F1-Wert 0,237, was eine Leistung nahe dem Zufallsniveau bei einer hochriskanten Aufgabe anzeigt.
Präzision-Recall-Ungleichgewicht: Modelle zeigten eine systematische Überklassifizierung (hoher Recall, niedrige Präzision) und markierten von der Gemeinschaft wiedergewonnene Begriffe als abelistisch.
Prompting-Beschränkungen:
- CoT: Während Chain-of-Thought „Thema-Ablenkung" (Rechtfertigung nicht-abelistischer Labels durch die Behauptung, der Text handele nicht von Autismus) eliminierte, gelang es ihm nicht, „Positionalitäts-Reasoning" (Verständnis der Sprecheridentität) signifikant zu verbessern.
- ICL & Personas: In-Context-Learning und Persona-Prompts verbesserten die Leistung nicht konsistent; in einigen Fällen destabilisierten sie hochleistungsfähige Modelle.

3. Reasoning-Fehler

Die Fehleranalyse identifizierte vier primäre Fehlermodi:

Oberflächenform-Reasoning: Modelle verließen sich stark auf Schlüsselwort-Matching (41 % der Auszüge) statt auf Kontext. Sie etikettierten wiedergewonnene Begriffe (z. B. „Aspie") häufig fälschlicherweise als abelistisch und übersehen defizitorientierte Rahmungen, denen negative Schlüsselwörter fehlen.
Positionalitäts-Blindheit: Explizites Reasoning über die Sprecheridentität war selten (insgesamt 10 %, unter CoT 13 %) und in Zero-Shot-Bedingungen nicht vorhanden.
Thema-Ablenkung: Modelle rechtfertigten nicht-abelistische Labels häufig damit, dass der Text Autismus nicht betreffe; dieses Verhalten wurde durch CoT eliminiert, aber durch andere Fehler ersetzt.
Halluzination & Stereotype: Modelle griffen auf Stereotype zurück und halluzinierten in einigen Fällen Themen (z. B. die Fehlinvestifikation eines Satzes über Autism Speaks als Antisemitismus).

4. Latente Verzerrungen in LLMs

Maskierung deckt Verzerrungen auf: Wenn Instrumenten-Erkennungshinweise maskiert wurden, zeigten LLMs eine signifikante Abweichung in den Antworten: SATA-Werte sanken (was auf geringere Akzeptanz hindeutet) und AQ-Werte stiegen (was auf höhere autistische Merkmale im klinischen Bereich hindeutet) im Vergleich zu den ursprünglichen Instrumenten.
Interpretation: Dies legt nahe, dass Standard-Selbstberichte von LLMs sozial wünschenswerte Antworten hervorrufen, die latente anti-autistische Einstellungen verschleiern.

Bedeutung und Behauptungen

Die Arbeit beansprucht, eine replizierbare Vorlage für gemeindebasierte, verzerrungsbewusste Bewertungen bei der Erkennung schädlicher Sprache bereitzustellen. Ihre Hauptbeiträge sind:

Methodisch: Der Nachweis, dass psychometrische Gewichtung eine strengere und genauere Grundwahrheit als Mehrheitsabstimmungen zur Erkennung von Anti-Autismus-Abelismus schafft, indem sie spezifisch Annotatoren mit hohen autistischen Merkmalen und niedriger impliziter Verzerrung höher gewichtet.
Empirisch: Die Aufdeckung, dass aktuelle LLMs, selbst mit fortschrittlichen Prompting-Strategien wie CoT und Personas, nicht über oberflächliche Schlüsselwörter hinaus reasonen können, wenn es um Sprecheridentität und wiedergewonnene Sprache geht.
Diagnostisch: Der Nachweis, dass maskierte psychometrische Evaluationen latente anti-autistische Verzerrungen in LLMs aufdecken, die durch Standard-Selbstberichtmechanismen verborgen bleiben.

Die Autoren schließen, dass taskspezifisches Fine-Tuning auf gemeindegelabelten Daten eine Voraussetzung für eine einsatzbereite Leistung in diesem Bereich ist und keine optionale Verbesserung. Sie betonen, dass aktuelle Modelle bei Aufgaben, die Autistengemeinschaften betreffen, mit einer Genauigkeit nahe dem Zufallsniveau operieren, was den dringenden Bedarf an Bewertungsrahmen unterstreicht, die Gemeinschaftsperspektiven und Positionalität in den Mittelpunkt stellen.