Shiny Stories, Hidden Struggles: Investigating the Representation of Disability Through the Lens of LLMs

Technische Samenvatting: Glanzende Verhalen, Verborgen Strijd: Onderzoek naar de Representatie van Gehandicapten door de Lens van GPT-modellen

Probleemstelling
Hoewel GPT-modellen (Large Language Models, LLMs) de capaciteit hebben aangetoond om menselijke persona's te simuleren en tekst te genereren die diverse demografische groepen weerspiegelt, bestaat er een kritieke zorg over hoe deze modellen historisch gemarginaliseerde gemeenschappen representeren. Eerdere onderzoek heeft uitgebreid negatieve vooroordelen en stereotypen in GPT-modellen gedocumenteerd. Echter, recente veiligheidsmechanismen, zoals ingebouwde AI-waakhonden en technieken voor het verminderen van vooroordelen, kunnen leiden tot een andere vorm van schade: "overcompensatie". Dit fenomeen treedt op wanneer modellen, in een poging negatieve vooroordelen te vermijden, een overdreven positief, geïdealiseerd of gesaniteerd portret van gemarginaliseerde groepen genereren. Deze "toxische positiviteit" kan de complexiteiten, structurele uitdagingen en negatieve emotionele realiteiten waarmee deze gemeenschappen geconfronteerd worden, uitwissen, waardoor hun leefwereld effectief wordt stilgelegd onder een laagje inspiratie. Het artikel richt zich specifiek op de representatie van handicap, een groep die in de literatuur over vooroordelen relatief weinig aandacht heeft gekregen, ondanks dat zij geconfronteerd worden met aanzienlijke discriminatie en socio-economische nadelen.

Methodologie
De auteurs hanteren een vergelijkende analysebenadering, waarbij zelfbeschrijvingen van echte personen met een handicap worden afgezet tegen door AI gegenereerde portretten. Het onderzoek omvat drie primaire datasets:

1. REDD (Real-World Dataset): Een verzameling van 1.250 sociale-media-berichten (Reddit) geschreven door personen die zichzelf identificeren met een handicap. De data is afkomstig van zes subreddits ($r/disability$, $r/blind$, $r/autism$, $r/depression$, $r/deaf$, $r/cerebralpalsy$). Berichten werden gefilterd om een perspectief in de ik-vorm en een expliciete vermelding van handicap te waarborgen, en vervolgens handmatig geannoteerd door drie menselijke annotatoren (Fleiss' Kappa = 0,875).
2. LLMD (LLM-Disability Dataset): Kunstmatige portretten gegenereerd door drie GPT-modellen (GEMINI-1.5F, GPT-4O-MINI en MIXTRAL-8B). Met behulp van open vragen, geïnspireerd door eerdere persona-studies, kregen de modellen de opdracht zich voor te stellen dat zij personen waren met specifieke handicaps (bijvoorbeeld autisme, blindheid, depressie) en een sociale-media-bericht te schrijven. Dit resulteerde in 1.080 berichten (360 per model).
3. LLMND (LLM-Non-Disability Dataset): Een controlegroep van 1.080 berichten gegenereerd door dezelfde modellen die "generieke" personen simuleren zonder expliciete vermelding van handicap, gebruikt om taalkundige verschuivingen specifiek voor de handicap-persona te isoleren.

Analysemetrieken
Het onderzoek maakt gebruik van een multidimensionaal kwantitatief en kwalitatief raamwerk:

• Sentimentanalyse: Met behulp van VADER om berichten te classificeren als positief, negatief of neutraal.
• Emotieverdeling: Toepassing van het NRC Word-Emotion Association Lexicon (EmoLex) om de prevalentie van acht emoties te kwantificeren (woede, angst, verwachting, vertrouwen, verrassing, verdriet, vreugde, walging).
• Depressiedetectie: Toepassing van een state-of-the-art model van de LT-EDI-ACL2022 Shared Task om depressieniveaus te voorspellen (geen, matig, ernstig).
• Thematische en Lexicale Analyse: Gebruik van de "Fightin' Words"-methodologie (z-scores) om statistisch significante onderscheidende woorden tussen datasets te identificeren. Deze woorden worden vervolgens gegroepeerd in thematische clusters met behulp van GPT-4O-MINI om semantische verschillen te interpreteren.

Belangrijkste Bevindingen
De analyse levert twee primaire bevindingen op met betrekking tot de representatie van handicap:

1. Idealisering en Toxische Positiviteit (RQ1): GPT-modellen wijken significant af van de zelfbeschrijvingen van echte mensen met een handicap.

   • Sentiment: Waar 53,06% van de berichten uit de echte wereld een negatief sentiment vertoonde, waren de door GPT gegenereerde berichten overweldigend positief (96,39% tot 99,72%).
   • Depressie: Berichten uit de echte wereld toonden hoge percentages indicatoren voor matige (26,26%) en ernstige (20,42%) depressie. Daarentegen elimineerden GPT-modellen deze signalen bijna volledig; GPT-4O-MINI produceerde geen enkel bericht met depressie-indicatoren, en MIXTRAL-8B produceerde er slechts één.
   • Lexicale Verschillen: Berichten uit de echte wereld werden onderscheiden door woorden gerelateerd aan medische strijd (pijn, ziekenhuis, operatie), economische ontbering (baan, geld, dakloos) en negatieve emotionele toestanden (haat, stress, zelfmoord). Berichten van GPT werden gedomineerd door woorden van inspiratie en gemeenschap (liefde, dankbaar, overwinning, kracht, inclusief), wat een narratief van "overwinnen" weerspiegelt in plaats van leven met een handicap.

2. Negatief Vooroordeel en Vereenvoudiging (RQ2): Bij het vergelijken van GPT-modellen die gehandicapte personen simuleren versus generieke personen, vertonen de modellen een duidelijke verschuiving in toon.

   • Emotionele Toon: Ondanks de algehele positiviteit, bevatten berichten die handicap simuleren significant hogere niveaus van negatieve emoties (woede, verdriet, angst) en lagere niveaus van positieve verwachting en vreugde in vergelijking met berichten die generieke personen simuleren.
   • Thematische Dispariteit: GPT-modellen associëren handicap disproportioneel met thema's van strijd, veerkracht en belangenbehartiging, terwijl generieke persona's geassocieerd worden met werk, carrière en vrije tijd (vermaak, avontuur). Dit suggereert dat GPT-modellen handicap primair in een lens van "strijd en exceptionalisme" plaatsen, waarbij andere facetten van het menselijk leven zoals professionele prestaties of recreatieve interesses worden verwaarloosd.

Betekenis en Bijdragen
Het artikel levert een publiek beschikbaar dataset (REDD en LLMD) en biedt een kritische analyse van de "positieve vooroordelen" in AI. De auteurs betogen dat de huidige trend van over-idealisering in GPT-modellen, waarschijnlijk gedreven door versterkt leren uit menselijke feedback (RLHF) en veiligheidsmaatregelen, een "glanzend" narratief creëert dat de "verborgen strijd" van handicap maskert.

De betekenis van dit werk ligt in de demonstratie dat het mitigeren van vooroordelen in GPT-modellen niet alleen gaat om het verwijderen van negatieve stereotypen, maar ook om het vermijden van "toxische positiviteit" die de realiteit van lijden en structurele ongelijkheid uitwist. De auteurs stellen dat AI, om echte inclusie en empathie te bevorderen, in staat moet zijn om het volledige spectrum van menselijke emotie te representeren, inclusief pijn, frustratie en depressie, in plaats van een gesaniteerd, inspirerend verloop te forceren. Het onderzoek onderstreept de noodzaak van AI-beleid en ontwerppraktijken die prioriteit geven aan authentieke representatie boven oppervlakkig weldadige portretten, zodat technologische hulpmiddelen in overeenstemming zijn met de genuanceerde en vaak moeilijke leefwereld van gemarginaliseerde gemeenschappen.