What Are They Filtering Out? An Experimental Benchmark of Filtering Strategies for Harm Reduction in Pretraining Datasets

Dit artikel presenteert een benchmarkstudie die aantoont dat hoewel filterstrategieën voor het trainen van taalkundige modellen schadelijke inhoud effectief verminderen, dit als neveneffect leidt tot een verdere ondervertegenwoordiging van kwetsbare groepen in de datasets.

De kern

🧹 De Grote Schoonmaak: Waarom "Veilig" Maken van AI soms onrechtvaardig is

Stel je voor dat je een gigantische bibliotheek wilt bouwen om een superintelligente robot (een AI) te leren lezen en schrijven. Deze bibliotheek bestaat uit miljoenen boeken, artikelen en webpagina's uit de hele wereld. Dit noemen we het trainingsdataset.

Het probleem? In deze bibliotheek staan ook veel vervelende dingen: haatzaaiende teksten, racistische opmerkingen en seksueel expliciete inhoud. De makers van de AI willen deze "vuilnis" eruit halen zodat de robot niet leert om gemeen te zijn. Dit proces noemen ze filteren.

De auteurs van dit papier (Marco en Christian) hebben zich afgevraagd: "Wat gebeurt er eigenlijk als we deze grote schoonmaak uitvoeren? Verwijderen we alleen het vuil, of gooien we per ongeluk ook waardevolle boeken weg?"

🔍 Wat hebben ze onderzocht?

Ze hebben twee grote vragen beantwoord:

1. Welke methodes gebruiken mensen? Ze hebben 55 technische rapporten van grote AI-modellen bekeken. Ze ontdekten dat er 8 verschillende manieren zijn om te filteren.
   • Vergelijking: Het is alsof je 8 verschillende soorten bezems hebt. Sommige bezems vegen alleen grote steentjes weg (woordenlijsten met scheldwoorden), andere gebruiken een scanner die "slechte" zinnen herkent (AI-classificatoren), en weer anderen kijken alleen naar de "kwaliteit" van het papier (is het een Wikipedia-artikel of een willekeurige blog?).
2. Wie wordt er per ongeluk verwijderd? Ze hebben gekeken of deze schoonmaakmethoden bepaalde groepen mensen uit de bibliotheek laten verdwijnen. Ze hebben specifiek gekeken naar mannen en vrouwen, en naar mensen uit het Westen versus mensen uit voormalige koloniën (bijv. Afrikaanse of Aziatische achtergronden).

📉 De Verbluffende Resultaten

Hier komt het vervelende nieuws, verteld als een verhaal:

1. De "Kwaliteits"-bezem is gevaarlijk
Sommige makers zeggen: "We houden alleen teksten van hoge kwaliteit, zoals Wikipedia."

• Het resultaat: Dit werkt heel goed om teksten te verwijderen, maar het is een slechte manier om "gevaarlijke" teksten te vinden.
• De metafoor: Stel je voor dat je alleen de beste, duurste boeken in de bibliotheek houdt. Je denkt dat die veilig zijn. Maar het blijkt dat de "vuile" teksten (haat, racisme) vaak ook in die dure boeken staan. Je verwijdert dus niet per se het kwaad, maar je verwijdert wel heel veel andere dingen.

2. Vrouwen zijn de grootste verliezers
Dit is het belangrijkste punt van het onderzoek.

• Het resultaat: Wanneer ze de filters uitzetten, blijken vrouwen veel vaker uit de bibliotheek te worden gegooid dan mannen.
• De metafoor: Stel je voor dat je een bezem gebruikt die heel goed is in het vegen van "slechte" woorden. Maar deze bezem is zo ingesteld dat hij ook alle boeken verwijdert waarin vrouwen voorkomen, vooral als ze over hun werk of lichaam gaan.
  • Bijvoorbeeld: Als een tekst gaat over een "pornografisch actrice" of een "model", wordt die tekst vaak verwijderd. Omdat deze beroepen vaker aan vrouwen worden gekoppeld in de data, verdwijnen de vermeldingen van vrouwen veel sneller dan die van mannen.
  • Mannen worden ook verwijderd, maar vaak omdat ze "politici" of "schrijvers" zijn. De filters zijn hier minder streng op.

3. Verschillende bezems vegen verschillende dingen weg

• Als je een lijst met scheldwoorden gebruikt (zoals "dick" of "sex"), verwijder je vooral teksten over seks.
• Als je een lijst met racistische woorden gebruikt, verwijder je teksten over racisme.
• Het probleem: Als je kiest voor de ene bezem, laat je de andere soorten "vuil" staan. Er is geen perfecte bezem die alle kwaad verwijdert zonder ook onschuldige mensen (zoals vrouwen) mee te slepen.

💡 Wat betekent dit voor ons?

De auteurs concluderen dat we op dit moment een dilemma hebben:

• Als we proberen AI veiliger te maken door data te filteren, maken we de AI vaak onrechtvaardiger.
• Vrouwen en mensen uit minderheidsgroepen worden "onzichtbaar" gemaakt in de data. De AI leert dan dat deze groepen minder belangrijk zijn of minder vaak voorkomen dan ze in het echt doen.

De les:
Het is alsof je een tuin wilt schoonmaken van onkruid, maar je gebruikt een machine die per ongeluk ook alle bloemen van een bepaalde kleur (bijvoorbeeld roze bloemen = vrouwen) verwijdert. Je hebt een schone tuin, maar je hebt je mooiste bloemen kwijtgeraakt.

🚀 Wat nu?

De schrijvers zeggen dat we beter moeten gaan kijken naar wie er precies wordt verwijderd. We moeten niet blindelings vertrouwen op "kwaliteit" of automatische filters. We moeten zorgen dat de schoonmaakbeurt eerlijk is, zodat de AI niet alleen leert van mannen en westerse perspectieven, maar ook van vrouwen en mensen uit de hele wereld.

Kortom: Veiligheid is belangrijk, maar we mogen niet de diversiteit van de wereld verliezen in het proces.

Technische samenvatting

Probleemstelling

De ontwikkeling van veilige Large Language Models (LLM's) is afhankelijk van het filteren van schadelijke inhoud uit pretrainingsdatasets. Hoewel er veel aandacht is voor post-training maatregelen om schadelijk gedrag te mitigeren, is er een gebrek aan systematisch onderzoek naar de impact van pretrainingsfilterstrategieën op kwetsbare groepen.

De auteurs stellen dat huidige filtermethoden, hoewel bedoeld om toxiciteit te verminderen, vaak onbedoelde neveneffecten hebben. Specifiek bestaat het risico dat deze strategieën niet alleen schadelijke inhoud verwijderen, maar ook leiden tot een ondervertegenwoordiging (underrepresentation) van specifieke demografische groepen in de datasets. Er is geen eenduidig inzicht in welke strategieën worden gebruikt, hoe transparant deze zijn, en welke specifieke groepen (bijv. op basis van geslacht en herkomst) hierdoor het meest worden benadeeld.

Methodologie

Het onderzoek bestaat uit twee hoofdblokken: een systematisch literatuuroverzicht en een experimentele benchmark.

1. Systematisch Overzicht (Survey)

• Data: De auteurs analyseerden 55 technische rapporten van Engelse taalmodellen (LM's) en LLM's.
• Selectie: Modellen werden geselecteerd op basis van leaderboards (zoals MMLU-pro, Chatbot Arena, ALERT) en prestaties op benchmarks zoals SuperGLUE en SQuAD.
• Analyse: Ze onderzochten de beschrijvingen van pretrainingsdatasets, filterstrategieën en de behandeling van schadelijke inhoud. Ze identificeerden acht categorieën van filterstrategieën.

2. Experimentele Benchmark
Om de impact te meten, ontwikkelden de auteurs een pipeline om de verwijdering van vermeldingen van specifieke personen te kwantificeren.

• Kennisbasis (People Dataset): Een corpus van 10,8 miljoen entiteiten (mensen) uit Wikidata en CaLiGraph, gekenmerkt naar geslacht en oorsprong. De groepen zijn onderverdeeld in:
  • Westerse mannen (Western men)
  • Westerse vrouwen (Western women)
  • Post-koloniale mannen (Post-colonial men)
  • Post-koloniale vrouwen (Post-colonial women)
• Dataset: 5 steekproeven van documenten uit de Common Crawl (augustus 2024), gefilterd op Engels en tekstlengte.
• Entity Linking: Een pipeline die naam-entiteiten in de tekst koppelt aan de People Dataset om de demografische achtergrond te bepalen.
• Geïmplementeerde Strategieën: Zeven filterstrategieën uit drie categorieën werden toegepast op de zinnen die deze entiteiten bevatten:
  1. Rule-based: Lexicons (Shutterstack, HateBase).
  2. Classifier-based: Toxiciteitsclassificatoren (Perspective API, FastText, profanity-check).
  3. Quality-based: Documentgelijkenis (training op Wikipedia vs. OpenWebText om lage kwaliteit te filteren).

Belangrijkste Bijdragen

1. Eerste Systematische Taxonomie: De paper biedt de eerste gestructureerde overzichtstaxonomie van datafilterstrategieën voor harm reduction, gebaseerd op 55 technische rapporten.
2. Benchmark Pipeline: De ontwikkeling van een reproduceerbare pipeline en dataset (People Dataset) om de impact van filters op specifieke demografische groepen te meten.
3. Empirisch Bewijs van Bias: Het leveren van kwantitatief bewijs dat filterstrategieën systematisch leiden tot een verhoogde ondervertegenwoordiging van vrouwen en post-koloniale groepen, en dat de keuze van een filter bepaalt welke soorten schadelijke inhoud (en welke groepen) worden verwijderd.

Resultaten

1. Transparantie en Reproduceerbaarheid

• De meeste huidige LLM-rapporten zijn niet transparant over hun filterprocessen. Veel modellen (rood gemarkeerd in de tabel) publiceren geen scripts of gedetailleerde datasets.
• Er is een trend naar minder openheid; recente rapporten geven vaak slechts vage beschrijvingen ("we filteren op veiligheid") zonder technische details.

2. Impact van Filterstrategieën op Inhoud

• Rule-based en Classifier-based: Deze hebben een beperkte impact op het totale aantal zinnen (<1% tot ~4%), maar verwijderen wel specifieke soorten inhoud.
  • Shutterstack focust op pornografie (bijv. 'sex', 'ass').
  • HateBase focust op racisme en misogynie (bijv. 'slaves', 'dykes').
• Quality-based: Deze strategieën zijn zeer agressief (verwijderen 11% tot 44% van de inhoud), maar niet effectief voor het verwijderen van giftige inhoud. Zelfs na filtering blijven 69% tot 90% van de zinnen die door andere methoden als giftig zijn gemarkeerd, aanwezig. Dit toont aan dat "kwaliteit" geen goede proxy is voor "veiligheid".

3. Impact op Kwetsbare Groepen (De Kernvraag)

• Geslacht: Vrouwen worden systematisch harder geraakt dan mannen door rule-based en classifier-based strategieën.
  • Westerse vrouwen zijn in 4 van de 5 gevallen de groep met de hoogste verwijderingspercentage.
  • Specifiek worden beroepen zoals 'pornografisch acteur' en 'model' bij vrouwen disproportioneel vaak verwijderd, terwijl deze niet de meest voorkomende beroepen zijn in de oorspronkelijke dataset.
• Oorsprong: Post-koloniale groepen worden ook geraakt, maar de impact op vrouwen is over het algemeen het grootst.
• Kwaliteitsfilters: Deze lijken mannen meer te raken, maar omdat ze geen giftige inhoud verwijderen, is dit geen bijeffect van veiligheidsfiltering, maar een gevolg van het filteren op "kwaliteit" (wat vaak neerkomt op het behoud van dominante perspectieven).

Betekenis en Conclusie

De paper concludeert dat er een fundamenteel dilemma bestaat in de huidige aanpak van harm reduction:

• Het kiezen van een specifieke filterstrategie betekent het kiezen van welke soorten schadelijkheid je wilt bestrijden, maar dit gaat ten koste van de representativiteit van specifieke groepen.
• Er is een systematische negatieve impact op vrouwen in pretrainingsdatasets door de huidige filtermethoden.
• De huidige trend verschuift van robuuste pretrainingsfiltering naar post-training maatregelen, wat de onderliggende bias in de datasets niet oplost.

Aanbevelingen voor de toekomst:

• Er is behoefte aan fijnmazigere analyses die verder gaan dan alleen naam-entiteiten (bijv. pronomen, etnische groepsnamen).
• Participatieve benaderingen waarbij kwetsbare gemeenschappen betrokken worden bij het evalueren van filters.
• Meer transparantie en open-source implementaties van filterpijplijnen om replicatie en audit mogelijk te maken.

Kortom: "Filteren" is niet neutraal; het is een selectief proces dat, zonder zorgvuldige afweging, bestaande sociale ongelijkheden in datasets kan versterken in plaats van verkleinen.