Beyond the pale: Assessing prevalence and contents of extremist speech in LLM training data

Grote taalmodellen zijn de motoren achter veel van de kunstmatige intelligentietools die we vandaag de dag gebruiken, van chatbots die vragen beantwoorden tot systemen die helpen bij het schrijven van code. Deze machines leren niet door in een klaslokaal regels te worden onderwezen; in plaats daarvan leren ze door enorme hoeveelheden tekst van het internet, boeken en andere digitale bronnen te lezen. Dit proces staat bekend als training. Om een model vloeiend en deskundig te laten worden, moet het een bibliotheek aan tekst consumeren die zo groot is dat het een mensenleven zou duren om het allemaal te lezen. Onderzoekers richten zich al lang op hoe deze modellen worden gebouwd en hoe ze na hun initiële leerproces worden afgestemd om ervoor te zorgen dat ze veilig en behulpzaam zijn. Echter, een kritische vraag is grotendeels ongesteld gebleven: wat voor soort materiaal leest het model eigenlijk in de eerste plaats? Als de trainingsbibliotheek schadelijke, haatdragende of gevaarlijke ideeën bevat, kan het model leren deze te herhalen, zelfs als de makers later proberen het een beter gedrag aan te leren. Dit is niet alleen een technisch defect; het is een kwestie van publieke veiligheid, aangezien deze systemen steeds vaker worden gebruikt door mensen van alle leeftijden, inclusief kinderen, die zonder waarschuwing met gevaarlijke standpunten in aanraking kunnen komen.

Een team van onderzoekers aan de Universiteit van Manchester besloot te onderzoeken wat de inhoud is van de trainingsdata voor een van de meest significante open-source collecties tekst die beschikbaar is voor de wetenschappelijke gemeenschap. Deze collectie, bekend als Dolma, dient als het fundament voor een reeks geavanceerde taalmodellen genaamd OLMo. De onderzoekers wilden weten of deze enorme bibliotheek extremistisch taalgebruik bevatte—tekst die geweld, haat of de omverwerping van democratische systemen promoot. Om dit te beantwoorden, vertrouwden zij niet simpelweg op een gok of op één enkel computerprogramma. In plaats daarvan bouwden zij een zorgvuldig, meerstaps proces om deze documenten te vinden. Ze begonnen door een willekeurige steekproef van 200.000 documenten uit de Dolma-collectie te nemen, wat een kleine maar statistisch betekenisvolle doorsnede vormt van de drie biljoen woorden waarop het model is getraind. Vervolgens gebruikten ze verschillende computermodellen om deze documenten te scannen, waarbij ze elk model vroegen om tekst te identificeren die overeenkwam met specifieke definities van extremisme. Deze definities kwamen voort uit officiële overheidsrichtlijnen in het Verenigd Koninkrijk en van academische experts in de studie van terrorisme en politiek geweld.

Het proces was ontworpen om conservatief te zijn, wat betekent dat de onderzoekers er zeer zeker van wilden zijn voordat ze iets als extremistisch bestempelden. Ze gebruikten een techniek genaamd een "union check", waarbij ze de computermodellen vroegen een document te markeren als het aan een van de verschillende definities van extremisme voldeed. Dit hielp om te garanderen dat de modellen de taak correct begrepen. Zodra de computers potentiële overeenkomsten hadden gemarkeerd, onderwierpen de onderzoekers deze aan verdere controle. Ze gebruikten een krachtiger systeem van kunstmatige intelligentie om valse alarmen te filteren, en uiteindelijk brachten ze een menselijke expert in die gespecialiseerd is in de studie van extremistisch taalgebruik om een kleine steekproef van de gemarkeerde teksten nauwgezet te lezen. Deze menselijke beoordeling was cruciaal omdat teksten die in de vrije natuur worden gevonden vaak rommelig zijn, vol zitten met gecodeerde taal, of op een manier zijn geschreven die moeilijk door machines te interpreteren is. De expert las deze documenten door om te bevestigen of ze daadwerkelijk de gevaarlijke narratieven bevatten waar de onderzoekers naar op zoek waren.

De resultaten van dit onderzoek waren duidelijk en verontrustend. De onderzoekers ontdekten dat de Dolma-trainingscollectie vrijwel zeker honderdduizenden documenten met extremistische inhoud bevat. Op basis van hun conservatieve schattingen berekenden zij dat ongeveer één op de 2.000 documenten in de willekeurige steekproef extremistische narratieven of haatzaaiende taal bevatten. Wanneer zij dit percentage terugprojecteerden naar de volledige dataset, die uit miljarden documenten bestaat, wezen de cijfers op een enorme reserve van schadelijk materiaal. De studie identificeerde diverse soorten gevaarlijke inhoud, waaronder directe oproepen tot geweld, haatzaaiende taal gericht tegen specifieke raciale of religieuze groepen, en narratieven die proberen democratische instituties te ondermijnen. Interessant genoeg merkten de onderzoekers op dat de specifieke definitie van extremisme die werd gebruikt om de data te doorzoeken, de resultaten veranderde. Eén definitie, die zich richtte op het conflict tussen "in-groups" en "out-groups", wierp een zeer breed net uit en ving veel teksten op die weliswaar haatdragend waren, maar niet noodzakelijkerwijs extremistisch in de politieke zin. Een andere definitie, gebaseerd op officiële overheidscriteria, was preciezer maar identificeerde nog steeds een aanzienlijke hoeveelheid schadelijk materiaal.

Een opmerkelijke ontdekking was de afwezigheid van een specifiek type extremisme in de steekproef. Ondanks het mondiale karakter van het internet vonden de onderzoekers bijna geen teksten gerelateerd aan jihadistisch terrorisme in hun steekproef, waarbij slechts één nieuwsbericht over een dergelijke gebeurtenis verscheen. Dit suggereert dat strikte regelgeving en bedrijfsbeleid met betrekking tot terroristische organisaties er mogelijk in zijn geslaagd om dit specifieke type inhoud uit de publieke datasets te verwijderen die deze modellen voeden. De studie vond echter dat rechtsextremistische narratieven veel vaker voorkwamen, vaak in de vorm van politieke blogs, forumreacties en complottheorieën. De onderzoekers merkten ook op dat veel van de gevonden inhoud "grenswaardig" was—tekst die zeer gepolariseerd, gewelddadig of haatdragend was, maar niet altijd voldeed aan een strikte juridische definitie van extremisme. Deze grijze zone is bijzonder gevaarlijk omdat het moeilijker te filteren is, maar het kan nog steeds extreme opvattingen normaliseren voor de modellen die ze lezen.

De implicaties van deze bevindingen reiken verder dan de technische details van hoe de modellen worden gebouwd. De onderzoekers betogen dat het probleem niet simpelweg kan worden opgelost door te proberen de modellen te corrigeren nadat ze deze data al hebben geleerd. Als een model duizenden documenten heeft gememoriseerd die oproepen tot geweld of haat promoten, kan het moeite hebben om die patronen te ontleren, zelfs met aanvullende veiligheidstraining. De studie benadrukt dat de samenstelling van de trainingsdata een fundamenteel probleem is dat dringende aandacht vereist van de mensen die deze systemen bouwen. Het is niet voldoende om te focussen op hoe de modellen zich gedragen zodra ze zijn uitgebracht; de veiligheid van het eindproduct hangt zwaar af van wat er tijdens de initiële leerfase in is gestopt. De onderzoekers concluderen dat er behoefte is aan een bredere discussie over welke soorten inhoud acceptabel zijn voor opname in de trainingsbibliotheken van kunstmatige intelligentie, vooral wanneer die bibliotheken worden gebruikt om tools te creëren die dagelijks met het publiek interageren.