Is the ACL Responsible NLP Checklist a Box-Ticking Exercise? A Large-Scale Analysis of EMNLP 2025

Stellen Sie sich die Welt der Künstlichen Intelligenz (KI) als eine riesige, geschäftige Baustelle vor. Jeden Tag bauen Teams von Ingenieuren unglaubliche neue Maschinen – einige, die Poesie schreiben, andere, die Krankheiten diagnostizieren, und wieder andere, die Sprachen sofort übersetzen. Aber genau wie bei jedem Bauprojekt gibt es Regeln. Man möchte nicht, dass ein Bauarbeiter Sicherheitsvorschriften ignoriert, instabile Materialien verwendet oder eine Brücke baut, die beim ersten Auto zusammenbricht. In der Welt der KI-Forschung werden diese „Sicherheitsvorschriften“ als Responsible NLP Practices bezeichnet. Es sind Richtlinien, die Forscher dazu auffordern, transparent darüber zu sein, wie sie ihre Modelle gebaut haben, darüber nachzudenken, wer durch ihre Arbeit Schaden nehmen könnte, und sicherzustellen, dass ihre Daten ethisch erhoben wurden.

Um sicherzustellen, dass alle diese Regeln befolgen, haben die großen KI-Konferenzen (wie die, auf der dieses Paper präsentiert wurde) eine Checkliste eingeführt. Denken Sie an diese Checkliste wie an ein finales Inspektionsformular, das ein Bauleiter ausfüllen muss, bevor ein Gebäude abgenommen wird. Sie stellt Fragen wie: „Haben Sie auf Sicherheitsrisiken geprüft?“ „Haben Sie den Personen, die Ihre Werkzeuge entwickelt haben, die Ehre erwiesen?“ oder „Haben Sie die Erlaubnis der Menschen eingeholt, die Sie untersucht haben?“ Das Ziel war es, diese großen, beängstigenden ethischen Ideen in einfache „Ja“ oder „Nein“-Felder zu verwandeln, die Forscher einfach ankreuzen konnten, um sicherzustellen, dass ihre Arbeit für alle sicher und ehrlich ist.

Aber hier ist die große Frage: Denken diese Forscher tatsächlich tief über die Antworten nach, oder kreuzen sie nur schnell die Kästchen an, damit sie ihre Paper veröffentlichen können? Genau das untersucht dieses Paper. Die Autoren, ein Team von Forschern der University of Aberdeen, beschlossen, Detektiv zu spielen. Sie sammelten die Checklisten von über 3.000 Papern, die zur EMNLP 2025 eingereicht wurden, und analysierten sie wie ein forensisches Team einen Tatort untersucht. Sie schauten nicht nur auf die „Ja“ oder „Nein“-Markierungen; sie betrachteten die winzigen Notizen (Begründungen), die die Autoren schrieben, um ihre Entscheidungen zu erklären. Sie wollten sehen, ob die Checkliste die Forscher tatsächlich verantwortungsbewusster macht oder ob sie nur zu einem langweiligen, sinnlosen Spiel des „Abhaken von Kästchen“ geworden ist.

Der große „Abhaken-Kästchen-Raubüberfall“

Die Autoren dieser Studie behandelten die EMNLP 2025-Checklisten wie ein riesiges Puzzle. Sie bauten eine spezielle Computer-Pipeline (eine Reihe automatisierter Werkzeuge), um tausende PDF-Paper und die dazugehörigen Checklisten zu lesen und die Antworten mit den spezifischen Abschnitten der Paper zu verknüpfen, in denen die Autoren behaupteten, die Arbeit durchgeführt zu haben. Sie analysierten eine massive Menge von 73.922 einzelnen Antworten und Begründungen. Was sie fanden, deutet darauf hin, dass die Checkliste für viele Forscher weniger eine ernsthafte Sicherheitsinspektion, sondern eher eine „Box-Ticking-Übung“ geworden ist – eine Aufgabe, die man nur erledigt, um sie hinter sich zu bringen.

Das „Nachgedanken-Problem“
Eines der auffälligsten Ergebnisse ist, dass Forscher Ethik oft wie einen Gedanken nach dem Ereignis behandeln, so als würde man erst daran denken, die Haustür abzuschließen, nachdem man das Haus bereits verlassen hat. Die Studie fand heraus, dass Autoren für den „Main Track“ der Konferenz dazu neigten, die Ethikfragen vom Rest ihres Papers zu isolieren. Anstatt Sicherheit und Ethik in die Geschichte ihrer Forschung einzubauen, hängten sie sie einfach am Ende an. Es ist, als hätte ein Koch ein Rezept für einen köstlichen Kuchen geschrieben, aber die Sicherheit des Ofens nur in einer winzigen Fußnote ganz unten erwähnt, anstatt zu erklären, wie er die Temperatur während des Backens überprüft hat.

Das „Nein-Begründungs-Desaster“
Wenn Forscher eine Frage mit „Nein“ beantworteten (was bedeutet: „Nein, ich habe diese spezifische ethische Sache nicht getan“), sollten sie erklären, warum. Dies ist der kritischste Teil der Checkliste, da er einen dazu zwingt, zuzugeben, was man nicht getan hat. Die Autoren fanden jedoch heraus, dass 44,9 % dieser „Nein“-Begründungen entweder leer (blank) oder unglaublich kurz waren (nur ein oder zwei Wörter wie „Nicht anwendbar“).

Stellen Sie sich einen Autofahrer vor, der wegen eines defekten Scheinwerfers angehalten wird. Wenn der Polizist fragt: „Warum haben Sie ihn nicht repariert?“, zuckt der Fahrer nur mit den Schultern und sagt: „Egal“, oder sagt gar nichts. Das ist es, was fast die Hälfte der Forscher tat. Sie erklärten nicht, warum sie den Sicherheitsschritt übersprungen hatten; sie kreuzten einfach das Kästchen an und machten weiter. Dies ist ein großes Problem, denn ohne eine gute Erklärung weiß niemand, ob das Risiko wirklich gering war oder ob der Forscher es einfach nicht wichtig fand.

Der „Risiken“-blinde Fleck
Vielleicht ist die besorgniserregendste Erkenntnis die Frage nach den potenziellen Risiken. Dies ist der Teil, in dem Forscher gefragt werden: „Könnte meine KI dazu verwendet werden, Menschen zu verletzen? Könnte sie Vorurteile verbreiten?“ Die Studie fand heraus, dass 53 % der Autoren diese Risiken komplett abtaten und behaupteten, ihre Arbeit habe „keine Risiken“ oder „keine sozialen Auswirkungen“.

Die Autoren argumentieren, dass dies so ist, als würde ein Automobilhersteller sagen: „Unser neues Auto hat kein Risiko, zu verunfallen“, ohne jemals die Bremsen getestet zu haben. Das Paper legt nahe, dass Forscher, indem sie einfach „Keine Risiken“ ankreuzen, ohne eine tiefe, ehrliche Reflexion zu betreiben, die realen Gefahren ihrer Kreationen ignorieren. Das Design der Checkliste zwang sie nicht dazu, tief nachzudenken; es ließ sie zu leicht davonkommen.

Die Logik-Schlupfloch
Die Studie fand auch, dass die Checklisten voller logischer Widersprüche waren. Die Checkliste ist wie ein Baum strukturiert: Wenn man auf eine große Frage (die Elternfrage) mit „Nein“ antwortet, sollten alle kleineren Fragen darunter (die Kinderfragen) ebenfalls mit „Nein“ oder „Nicht anwendbar“ beantwortet werden. Die Autoren fanden jedoch heraus, dass 6 % aller Checklisten logische Fehler aufwiesen.

Zum Beispiel könnte ein Forscher auf die Frage „Haben Sie irgendwelche Daten verwendet?“ mit „Nein“ antworten, aber dann auf die Unterfrage „Haben Sie die von Ihnen verwendeten Daten beschrieben?“ mit „Ja“ antworten. Es ist, als würde man sagen: „Ich habe keinen Kuchen gebacken“, und dann sofort sagen: „Ja, ich habe Schokostückchen verwendet.“ Diese Widersprüche deuten darauf hin, dass viele Autoren das Formular nachlässig ausfüllten, ohne zu merken, dass ihre Antworten keinen Sinn ergaben. Diese Verwirrung macht es den Reviewern schwer, der Checkliste zu vertrauen.

Main Track vs. Findings Track
Die Forscher verglichen den „Main Track“ (die prestigeträchtigsten Paper) mit dem „Findings Track“ (Paper mit soliden, aber enger gefassten Beiträgen). Sie erwarteten, dass der Main Track vorsichtiger sei. Obwohl der Main Track eine etwas bessere Compliance aufwies, waren die schlechten Angewohnheiten in beiden vorhanden. Selbst in den Top-Tier-Papern ließen Forscher ethische Reflexionen aus und schrieben leere Begründungen. Dies deutet darauf hin, dass das Problem nicht nur die Qualität der Paper ist, sondern wie die Checkliste selbst von allen genutzt (oder missbraucht) wird.

Das Urteil: Ein kaputtes Inspektionsformular?

Das Paper kommt zu dem Schluss, dass das aktuelle Checklisten-Design seine Aufgabe nicht erfüllt. Es schafft es nicht erfolgreich, Forscher dazu zu bringen, über die Ethik und die Risiken ihrer Arbeit nachzudenken. Stattdessen ist es zu einer bürokratischen Hürde geworden, die die Leute schnell hinter sich bringen wollen. Die Autoren weisen darauf hin, dass die Checkliste zu „oberflächlicher Compliance“ ermutigt – wo Forscher so aussehen, als würden sie die Regeln befolgen, ohne die harte Arbeit der Reflexion tatsächlich zu leisten.

Die Studie schlägt vor, dass die Checkliste eine grundlegende Überarbeitung benötigt. Sie empfehlen:

1. Einhaltung einer Mindestwortzahl: Wenn Sie „Nein“ sagen, müssen Sie eine echte Erklärung liefern, nicht nur ein Schulterzucken.
2. Besseres Design: Das Formular sollte logische Widersprüche verhindern (wie das „Kein Kuchen, aber ja Schokostückchen“-Problem), indem es Fragen, die nicht zutreffen, automatisch ausblendet.
3. Mehr Prüfung: Reviewer sollten die „Keine Risiken“-Antworten viel genauer unter die Lupe nehmen, denn die Behauptung, eine neue Technologie habe null Risiko, ist oft ein Warnsignal.

Kurz gesagt argumentiert das Paper, dass wir uns nicht auf eine einfache Checkliste verlassen können, um KI sicher zu machen. Wenn die Menschen, die die Zukunft der Technologie bauen, nur Kästchen ankreuzen, ohne nachzudenken, dann ist die „Sicherheitsinspektion“ eine Fake. Die Autoren hoffen, dass die Community durch die Aufdeckung dieser Mängel ein besseres System aufbauen kann – eines, das Forscher tatsächlich innehalten lässt und fragen lässt: „Ist das sicher?“, bevor sie auf „Veröffentlichen“ klicken.