IYKYK (But AI Doesn't): Automated Content Moderation Does Not Capture Communities' Heterogeneous Attitudes Towards Reclaimed Language
Dit onderzoek toont aan dat geautomatiseerde inhoudsmoderatie de heterogene en contextafhankelijke houdingen van gemarginaliseerde gemeenschappen ten opzichte van gereclaimde scheldwoorden niet kan vangen, wat leidt tot een gebrek aan overeenstemming tussen menselijke beoordelingen en AI-systemen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Kern: De "AI-Bril" ziet niet wat wij zien
Stel je voor dat er een automatische poortwachter (een AI) is die alle berichten op sociale media controleert. Deze poortwachter heeft een simpele regel: "Als je het woord 'slet' of 'neger' hoort, sluit je de deur en gooi je de spreker eruit, want dat is een scheldwoord."
Het probleem is dat deze poortwachter geen gevoel voor context heeft. Hij ziet alleen de woorden, niet de mensen erachter.
Voor veel mensen in gemarginaliseerde groepen (zoals de Black community, de LGBTQIA+-gemeenschap en vrouwen) zijn deze woorden echter niet altijd scheldwoorden. Soms gebruiken ze ze onder elkaar als een binnenkreet om solidariteit, trots of vriendschap te tonen. Het is alsof vrienden onder elkaar een bijnaam gebruiken die buitenstaanders als beledigend zouden vinden, maar voor hen juist een teken van verbondenheid is.
Deze studie, getiteld "IYKYK (But AI Doesn't)" (Als je het weet, weet je het – maar de AI niet), onderzoekt precies dit probleem.
Wat hebben de onderzoekers gedaan?
De onderzoekers (van o.a. UCLA) hebben een experiment opgezet met drie groepen mensen:
- Mensen uit de Black community (rondom het 'n-woord').
- Mensen uit de LGBTQIA+-community (rondom het 'f-woord').
- Vrouwen (rondom het 'b-woord' of 'b*tch').
Ze gaven deze mensen 100 voorbeelden van tweets met deze woorden en vroegen: "Zou jij dit als haatdragend melden aan de sociale media?"
Ze stelden ook een slimme vraag: "Stel dat de schrijver iemand uit jouw eigen groep is, of stel dat het iemand van buiten is. Verandert je antwoord dan?"
Daarnaast hebben ze gekeken of de huidige AI (zoals de Perspective API van Google) het met hen eens was.
De Grote Ontdekkingen (in simpele taal)
1. Zelfde groep, verschillende meningen (De "Geen Eenduidige Regel" ontdekking)
De grootste verrassing was dat zelfs mensen uit dezelfde groep het niet eens waren.
- Metafoor: Stel je voor dat je een grote familie hebt. Als je oma een oude gril maakt, vindt de ene neef het grappig, de andere neef vindt het beledigend, en de derde denkt: "Ach, het hangt er maar vanaf hoe ze het zegt."
- Resultaat: De onderzoekers zagen dat er geen één waarheid is binnen een gemeenschap. Mensen met dezelfde achtergrond hebben verschillende ervaringen, opvoedingen en gevoeligheden. Wat voor de één een teken van vriendschap is, is voor de ander nog steeds pijnlijk.
- Conclusie: Je kunt niet zeggen: "Omdat deze persoon zwart is, denkt hij altijd zo over het n-woord." De meningen zijn verspreid en complex.
2. De AI is vaak te streng (De "Blinde Politieagent")
De AI die momenteel wordt gebruikt om haatdragende taal te detecteren, faalt op twee manieren:
- Te streng: Hij gooit vaak berichten weg die eigenlijk vriendschappelijk of herstellend bedoeld waren (reclaiming). Hij ziet alleen het scheldwoord, niet de liefde erachter.
- Verkeerde inschatting: De AI gaat er vaak van uit dat de schrijver een "boze buitenstaander" is. Als een Black persoon het n-woord gebruikt, denkt de AI vaak: "Dit is haat," terwijl de menselijke lezer denkt: "Dit is vriendschap."
- Resultaat: De AI straft de mensen die ze juist zouden moeten beschermen.
3. Context is koning (De "Toon en Situatie")
De studie laat zien dat het belangrijkste niet het woord zelf is, maar de situatie:
- Is het woord gericht op jezelf of een vriend? (Vaak oké).
- Is het gericht op een vijand? (Vaak niet oké).
- Is het een grapje of een serieuze aanval?
- De AI mist deze subtiele signalen volledig.
Waarom is dit belangrijk?
Stel je voor dat je een veiligheidscontrole op een vliegveld hebt. Als de scanner te gevoelig is, gaat hij af bij elke boterham (want boterhammen lijken op bommen). Dan kunnen mensen niet meer eten op het vliegtuig.
Zo werkt het nu met sociale media:
- De AI "scant" op woorden.
- Omdat hij niet begrijpt dat mensen hun eigen woorden soms "terugnemen" (reclaimen) om sterker te worden, blokkeert hij die berichten.
- Hierdoor worden de stemmen van deze gemeenschappen stilgelegd (gemuteerd of verwijderd), terwijl ze juist proberen te praten over hun identiteit en ervaringen.
De Les voor de Toekomst
De onderzoekers zeggen: "Stop met het zoeken naar één perfecte regel."
Er is geen enkele "gouden standaard" die voor iedereen in een groep geldt. Omdat mensen binnen een groep zo verschillend denken, kan een computer die één antwoord zoekt, nooit goed genoeg zijn.
De oplossing?
We hebben systemen nodig die begrijpen dat taal levend en veranderlijk is. We moeten AI leren dat context, intentie en de relatie tussen mensen belangrijker zijn dan het simpele bestaan van een woord. En we moeten toegeven dat soms zelfs mensen uit dezelfde gemeenschap het oneens zijn, en dat dat oké is. Dat is geen fout in het systeem, maar een teken van een levendige, menselijke gemeenschap.
Kortom: De AI denkt dat "slet" altijd een scheldwoord is. Maar voor veel vrouwen is het soms een teken van empowerment. De AI ziet de kleur van het woord, maar mist de kleur van de mens die het zegt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.