Technische Samenvatting: Epistemisch Onrecht in Taalmodellen

Probleemstelling

Moderne Large Language Models (LLM's) vertrouwen op twee primaire mechanismen om schade te beperken: pretraining-filters om ongewenste inhoud uit trainingscorpora te verwijderen en inference-time guardrails om onveilige outputs tijdens de implementatie te onderdrukken. Hoewel deze systemen standaard zijn in AI-pipelines, blijft hun impact op gemarginaliseerde sociale groepen onvoldoende begrepen. Bestaand onderzoek heeft zich grotendeels gericht op bias in haatspraakdetectie of benchmark-prestaties, waardoor er een gat is ontstaan in het begrip van de bredere representatieve effecten van filtering en moderatie. Specifiek is het onduidelijk of deze systemen met elkaar in lijn zijn, of ze overeenstemmen met menselijk oordeel, en of ze systematisch de identiteiten en perspectieven van gemarginaliseerde gemeenschappen wissen, waarmee ze epistemisch onrecht veroorzaken.

Methodologie

De auteurs voerden een audit uit van vier pretraining-filters en drie inference-time guardrails met behulp van een steekproef van Common Crawl zinnen. De studie richtte zich op identiteitsvermeldingen gerelateerd aan gender en regionale herkomst, categorieën die centraal staan in de bias-literatuur en extraheerbaar zijn via gecureerde lexicons en Named Entity Recognition (NER).

Data en Systemen

• Corpus: Een gefilterde subset van Common Crawl (Engels, >5 zinnen, >10 woorden per zin) die meer dan 100.000 documenten opleverde.
• Identiteitsextractie: Entiteiten werden geëxtraheerd met behulp van NER en gekoppeld aan Wikidata. Gender werd gecategoriseerd in vijf groepen (man, vrouw, non-binair, genderqueer, genderfluid) met een trans/cis modaliteitsas. Regionale herkomst werd in kaart gebracht aan de hand van 17 UN Macro-Regio's.
• Geauditte Filters:
  • HATEBASE: Regelgebaseerd lexicon voor raciale en misogynistische scheldwoorden.
  • SHUTTERSTOCK: Regelgebaseerde bloklijst voor seksuele vocabulaire (gebruikt in C4/T5).
  • DOLMA: FastText-classifier getraind op Jigsaw-toxiciteitdata.
  • HATEBERT: BERT opnieuw getraind op Reddit-posts uit verboden gemeenschappen.
• Geauditte Guardrails:
  • Llama-Guard-3-8B: Fine-tuned op Meta's gebruiksvoorwaarden (14 risicocategorieën).
  • MD-Judge-v0.1: LLM-gebaseerde judge fine-tuned op SALAD-Bench (6 domeinen, 66 categorieën).
  • Qwen3Guard-Gen-8B: Generatieve variant getraind op een meertalige schade-taxonomie inclusief een "controversieel" label.
• Menselijke Annotatie: Een gestratificeerde subset van 500 zinnen werd handmatig geannoteerd door twee taalkundestudenten. De annotatietaak kaderde schade detectie als een afweging tussen de kosten van het behouden versus het verwijderen van inhoud, waarbij rechtvaardigingen voor zowel het behouden als het verwijderen van gemarkeerde tekst werden vastgelegd.

Analytisch Kader

De studie maakte gebruik van twee analytische splitsingen:

1. Gemarkeerde Set (Flagged Set): Zinnen die door ten minste één filter werden gemarkeerd (72.659 zinnen) voor inter-systeem uitlijning en identiteitsgeconditioneerde flag-rate analyse.
2. Niet-gemarkeerde Set (Unflagged Set): Zinnen uit dezelfde brondocumenten waar geen enkele filter afging (257.210 zinnen) voor enkel guardrail-analyse.
   Statistische significantie werd beoordeeld met Cohen's $\kappa$ voor overeenstemming en Wilson confidence intervals voor flag rates, met Benjamini–Hochberg correctie voor meerdere vergelijkingen.

Belangrijkste Bevindingen

1. Discrepantie tussen Filters en Guardrails

• Lexicon-afhankelijkheid: Guardrails vertoonden een sterke correlatie met de SHUTTERSTOCK bloklijst (seksuele vocabulaire), maar een zwakke correlatie met andere filters (HATEBASE, DOLMA, HATEBERT).
• Gemiste Schadecategorieën: Pretraining-filters faalden grotendeels in het detecteren van categorieën die guardrails frequent markeren, specifiek Intellectueel Eigendom, Privacy en Politieke Inhoud. Bijvoorbeeld, 68,6% van de onveilige oordelen van Llama-Guard op niet-gemarkeerde zinnen betrof IE en Privacy, categorieën die geen enkele pretraining-filter detecteert.
• Divergentie van Guardrails: Terwijl MD-Judge en Qwen3Guard een substantiële overeenstemming vertoonden ($\kappa \approx 0,60$), fungeerde Llama-Guard als een uitschieter en toonde slechts een matige overeenstemming met de anderen, waarschijnlijk door de afhankelijkheid van Meta's specifieke gebruiksvoorwaarden in plaats van een bredere academische schade-taxonomie.

2. Epistemische Erosie van Gemarginaliseerde Identiteiten

De audit onthulde systematische over-flagging van specifieke identiteitsgroepen over alle systemen heen, ondanks dat zij getraind zijn op verschillende taxonomies en continenten:

• Transgender Identiteiten: Vermeldingen van transgender personen werden aanzienlijk vaker gemarkeerd dan cisgender vermeldingen (bijv. SHUTTERSTOCK flag rates stegen van 48,5% naar 76,8%).
• Vrouwen: Vermeldingen van vrouwen werden aanzienlijk vaker gemarkeerd dan die van mannen over alle guardrails en de meeste filters.
• Centraal-Amerikanen: Deze groep ervoer de hoogste afwijking, waarbij Llama-Guard, Qwen3Guard en SHUTTERSTOCK bijna 96–99% van de vermeldingen markeerden, vergeleken met een baseline van ~26%.
• Westerse Regio's: Daarentegen werden vermeldingen van West-Europese, West-Aziatische en Noord-Europese herkomst aanzienlijk onder-gemarkeerd.

3. Spanningen in Content Moderatie (Mens versus Machine)

Menselijke annotatoren waren in het overgrote deel van de gevallen het oneens met geautomatiseerde systemen:

• Retentiepercentages: Annotatoren zouden 88,5% van de door filters gemarkeerde inhoud en 91,3% van de door guardrails gemarkeerde inhoud behouden.
• Representatieve Schade: De studie identificeerde specifieke spanningen waarbij verwijdering schade veroorzaakt:
  • Sekswerk: Het verwijderen van inhoud onttrekt vaak de beroepsmatige zichtbaarheid van sekswerkers, terwijl het behouden ervan kan leiden tot geseksualiseerde commodificatie.
  • Politiek: Het verwijderen van gemarkeerde politieke standpunten leidt tot een verlies van diverse politieke representatie in modeloutputs.
  • Gezondheid/Praktische Informatie: Overmatige flagging van medische "hoe-te" informatie (bijv. het onderzoeken van wratten) riskeert de capaciteiten van modellen in medische domeinen te degraderen.
  • Gerasialiseerde Objectivering: Systemen slagen er vaak niet in onderscheid te maken tussen schadelijke raseigen objectivering en legitieme groeprepresentatie.

Betekenis en Claims

Het artikel beweert een vorm van epistemische erosie te documenteren waarbij vermeldingen van gemarginaliseerde groepen onevenredig vaak worden verwijderd vóór de pretraining en vervolgens opnieuw worden onderdrukt tijdens de inference. De auteurs stellen dat deze systemen niet alleen schadelijke inhoud verminderen, maar actief vormgeven aan wiens identiteiten, perspectieven en ervaringen zichtbaar blijven in moderne taalmodellen.

De bevindingen suggereren dat huidige filtering- en moderatiebenaderingen onvoldoende zijn voor pluralistische alignment. De auteurs stellen voor dat het bereiken van epistemische rechtvaardigheid vereist:

1. Transparantie: Het vrijgeven van filter-lexicons met documentatie over flag rates over identiteitsgroepen heen.
2. Reflexiviteit: Het betrekken van getroffen gemeenschappen bij het definiëren van schade-taxonomieën en annotatorenpools, in plaats van het opleggen van een "view from nowhere".
3. Datasoevereiniteit: Het aanpakken van biases bij de bron van datacollectie en eigendom.

De studie concludeert dat menselijke evaluatoren systematisch van mening verschillen met geautomatiseerde systemen, waarbij zij het verwijderen van veel gemarkeerde inhoud als onnodig en een bron van bias tegen specifieke categorieën mensen beschouwen. De auteurs positioneren dit werk als een oproep om verder te gaan dan technische schadebeperking naar socio-technische oplossingen die de epistemische diversiteit van gemarginaliseerde gemeenschappen behouden.