Is the ACL Responsible NLP Checklist a Box-Ticking Exercise? A Large-Scale Analysis of EMNLP 2025

Stel je de wereld van Kunstmatige Intelligentie (AI) voor als een enorme, drukke bouwplaats. Elke dag bouwen teams van ingenieurs ongelooflijke nieuwe machines—sommige die poëzie schrijven, andere die ziekten diagnosticeren, en sommige die talen direct vertalen. Maar net als bij elk bouwproject zijn er regels. Je wilt niet dat een bouwer de veiligheidsvoorschriften negeert, instabiele materialen gebruikt, of een brug bouwt die bij de eerste auto al instort. In de wereld van AI-onderzoek worden deze "veiligheidsvoorschriften" Verantwoorde NLP-praktijken genoemd. Het is een reeks richtlijnen die onderzoekers vraagt om transparant te zijn over hoe ze hun modellen hebben gebouwd, om na te denken over wie er schade kan ondervinden door hun werk, en om er zeker van te zijn dat hun data op ethische wijze is verzameld.

Om ervoor te zorgen dat iedereen deze regels volgt, hebben de grote AI-conferenties (zoals de conferentie waar dit artikel werd gepresenteerd) een Checklist geïntroduceerd. Denk aan deze checklist als een definitief inspectieformulier dat een bouwer moet invullen voordat een gebouw wordt goedgekeurd. Het stelt vragen zoals: "Heb je gecontroleerd op veiligheidsrisico's?" "Heb je de mensen die je tools hebben gemaakt vermeld?" en "Heb je toestemming gekregen van de mensen die je hebt bestudeerd?" Het doel was om deze grote, angstaanjagende ethische ideeën om te zetten in eenvoudige "Ja" of "Nee" vakjes die onderzoekers konden afvinken, om ervoor te zorgen dat hun werk veilig en eerlijk is voor iedereen.

Maar hier is de grote vraag: denken deze onderzoekers echt diep na over de antwoorden, of zijn ze gewoon bezig met het snel afvinken van de vakjes zodat ze hun papers kunnen publiceren? Dat is precies wat dit artikel onderzoekt. De auteurs, een team van onderzoekers van de Universiteit van Aberdeen, besloten detective te spelen. Ze verzamelden de checklists van meer dan 3.000 papers die waren ingediend voor de EMNLP 2025-conferentie en analyseerden ze als een forensisch team dat een plaats delict onderzoekt. Ze keken niet alleen naar de "Ja" of "Nee" markeringen; ze keken naar de kleine aantekeningen (verantwoordingen) die auteurs schreven om hun keuzes uit te leggen. Ze wilden zien of de checklist de onderzoekers daadwerkelijk verantwoordelijker maakte, of dat het slechts een saai, hersenloos spelletje van "vakjes afvinken" was geworden.

De Grote "Vakjes-afvink"-roof

De auteurs van deze studie behandelden de EMNLP 2025-checklists als een enorme puzzel. Ze bouwden een speciale computertool (een geautomatiseerde reeks instrumenten) om duizenden PDF-papers en de bijbehorende checklists te lezen, waarbij de antwoorden werden gekoppeld aan de specifieke secties van de papers waar de auteurs beweerden het werk te hebben uitgevoerd. Ze analyseerden een enorme hoeveelheid van 73.922 individuele antwoorden en verantwoordingen. Wat ze vonden, suggereert dat de checklist voor veel onderzoekers minder een serieuze veiligheidsinspectie is geworden en meer een "vakjes-afvinkoefening"—een taak die wordt uitgevoerd om er zo snel mogelijk vanaf te zijn.

Het "Achteraf"-probleem
Een van de meest opvallende bevindingen is dat onderzoekers ethiek vaak behandelen als een gedachte achteraf, zoals het onthouden om de voordeur op slot te doen pas nadat je al het huis hebt verlaten. De studie vond dat voor de "Main Track" van de conferentie, auteurs de ethische vragen de neiging hadden om te isoleren van de rest van hun paper. In plaats van veiligheid en ethiek in het verhaal van hun onderzoek te verweven, plakten ze het er aan het einde aan vast. Het is alsof een chef een recept voor een heerlijke taart heeft geschreven, maar alleen de veiligheid van de oven in een piepkleine voetnoot onderaan vermeldt, in plaats van uit te leggen hoe hij de temperatuur controleerde tijdens het bakken.

De "Nee"-verantwoording-ramp
Wanneer onderzoekers "Nee" antwoordden op een vraag (wat betekent: "Nee, ik heb dit specifieke ethische ding niet gedaan"), hoorden ze uit te leggen waarom. Dit is het meest cruciale deel van de checklist, omdat het je dwingt toe te geven wat je niet hebt gedaan. De auteurs ontdekten echter dat bij 44,9% van deze "Nee"-verantwoordingen ofwel leeg (blanko) waren, ofwel extreem kort (slechts één of twee woorden zoals "Niet van toepassing").

Stel je voor dat een bestuurder wordt aan gehouden voor een kapotte koplamp. Wanneer de politieagent vraagt: "Waarom heb je het niet gerepareerd?", haalt de bestuurder alleen maar zijn schouders op en zegt "Wat maakt het uit," of zegt helemaal niets. Dat is wat bijna de helft van de onderzoekers deed. Ze legden niet uit waarom ze de veiligheidsstap oversloegen; ze vinkten gewoon het vakje aan en gingen verder. Dit is een groot probleem, want zonder een goede uitleg weet niemand of het risico werkelijk laag was of dat de onderzoeker er gewoon niet om gaf.

De "Risico's" Blinde Vlek
Misschien wel de meest verontrustende bevinding betreft de vraag over potentiële risico's. Dit is het deel waar onderzoekers gevraagd wordt om na te denken: "Kan mijn AI gebruikt worden om mensen te kwetsen? Kan het voorheid (bias) verspreiden?" De studie vond dat 53% van de auteurs deze risico's volledig afdeed, door te beweren dat hun werk "geen risico's" of "geen sociale impact" had.

De auteurs stellen dat dit vergelijkbaar is met een autofabrikant die zegt: "Onze nieuwe auto heeft geen risico op een crash," zonder ooit de remmen te hebben getest. Het artikel suggitert dat door simpelweg "Geen risico's" aan te vinken zonder diepe, eerlijke reflectie, onderzoekers de echte gevaren van hun creaties negeren. Het ontwerp van de checklist dwong hen niet genoeg om diep na te denken; het liet hen er te gemakkelijk vanaf komen.

De Logische Lus
De studie vond ook dat de checklists vol zaten met logische tegenstrijdigheden. De checklist is gestructureerd als een boom: als je "Nee" antwoordt op een grote vraag (de ouder), moeten alle kleinere vragen eronder (de kinderen) ook "Nee" of "Niet van toepassing" zijn. De auteurs ontdekten echter dat 6% van alle checklists logische fouten bevatte.

Bijvoorbeeld, een onderzoeker zou "Nee" kunnen antwoorden op de vraag "Heeft u enige data gebruikt?", maar vervolgens "Ja" antwoorden op de kind-vraag "Heeft u de gebruikte data beschreven?". Het is alsof je zegt: "Ik heb geen taart gebakken," en dan onmiddellijk zegt: "Ja, ik heb chocoladevlokken gebruikt." Deze tegenstrijdigheden suggeren dat veel auteurs de vorm onzorgvuldig invulden, zonder te beseffen dat hun antwoorden geen zin maakten. Deze verwarring maakt het moeilijk voor reviewers om de checklist te vertrouwen.

Main Track versus Findings Track
De onderzoekers vergeleken de "Main Track" (de meest prestigieuze papers) met de "Findings Track" (papers met solide maar nauwer afgebakende bijdragen). Ze verwachtten dat de Main Track voorzichtiger zou zijn. Hoewel de Main Track een iets betere naleving had, waren de slechte gewoonten in beide gevallen aanwezig. Zelfs in de top-tier papers sloegen onderzoekers ethische reflecties over en schreven ze lege verantwoordingen. Dit suggereert dat het probleem niet alleen gaat over de kwaliteit van de papers, maar over hoe de checklist zelf wordt gebruikt (of misbruikt) door iedereen.

Het Oordeel: Een Gebroken Inspectieformulier?

Het artikel concludeert dat het huidige ontwerp van de checklist zijn werk niet goed doet. Het slaagt er niet in om onderzoekers effectief te dwingen na te denken over de ethiek en de risico's van hun werk. In plaats daarvan is het een bureaucratische hindernis geworden waar mensen snel doorheen racen. De auteurs wijzen erop dat de checklist aanzet tot "oppervlakkige naleving"—waarbij onderzoekers de schijn ophouden de regels te volgen zonder daadwerkelijk het zware werk van reflectie te doen.

De studie suggereert dat de checklist een flinke make-over nodig heeft. Ze bevelen aan:

1. Een minimum aantal woorden af te dwingen: Als je "Nee" zegt, moet je een echte uitleg geven, niet alleen een schouderophalen.
2. Beter ontwerp: Het formulier moet logische tegenstrijdigheden voorkomen (zoals het "Geen taart, maar wel chocolade"-probleem) door vragen die niet van toepassing zijn automatisch te verbergen.
3. Meer nauwkeurige controle: Reviewers moeten veel nauwer kijken naar de "Geen risico's"-antwoorden, omdat beweren dat een nieuwe technologie nul risico's heeft, vaak een rode vlag is.

Kortom, het artikel betoogt dat we niet kunnen vertrouwen op een simpele checklist om AI veilig te maken. Als de mensen die de toekomst van technologie bouwen alleen maar vakjes afvinken zonder na te denken, dan is de "veiligheidsinspectie" een schijnvertoning. De auteurs hopen dat ze door deze gebreken bloot te leggen, de gemeenschap een beter systeem kan bouwen—één die onderzoekers er daadwerkelijk bij laat stilstaan en vraagt: "Is dit veilig?" voordat ze op publiceren klikken.