Policies Permitting LLM Use for Polishing Peer Reviews Are Currently Not Enforceable
Die Studie zeigt, dass aktuelle KI-Erkennungstools nicht in der Lage sind, von Menschen verfasste Peer-Reviews, die mit KI poliert wurden, zuverlässig zu identifizieren, wodurch die Durchsetzbarkeit entsprechender Richtlinien gefährdet und das Risiko falscher Anschuldigungen wissenschaftlichen Fehlverhaltens besteht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
🕵️♂️ Die große Detektiv-Illusion: Warum KI-Polieren in der Wissenschaft nicht zu fassen ist
Stellen Sie sich vor, Sie sind ein strenger Hausmeister in einer riesigen Bibliothek (dem wissenschaftlichen Kongress). Die Regel lautet: „Niemand darf die Bücher von Robotern schreiben lassen. Aber Sie dürfen einen Roboter bitten, den Text zu polieren, die Grammatik zu korrigieren und den Stil zu glätten."
Das klingt fair, oder? Die Idee ist, dass die Ideen vom Menschen kommen, aber der Text vom Roboter geschliffen wird.
Die Autoren dieser Studie haben sich gedacht: „Halt! Können wir das wirklich beweisen?" Sie haben sich also eine riesige Bibliothek mit 50.000 verschiedenen Texten gebaut – von rein menschlichen Texten bis hin zu Texten, die komplett von KI geschrieben wurden, mit allen möglichen Zwischenstufen. Dann haben sie die besten verfügbaren „KI-Detektoren" (wie Pangram und GPTZero) auf diese Texte angesetzt, um zu sehen, ob sie die Regel durchsetzen können.
Das Ergebnis? Die Detektoren sind völlig überfordert.
Hier ist die Geschichte, was passiert ist, erklärt mit ein paar einfachen Bildern:
1. Der falsche Alarm (Die „Polizei" schreit „Mord!", wenn es nur ein Kratzer ist)
Stellen Sie sich vor, Sie haben einen Detektor, der wie ein sehr empfindlicher Rauchmelder funktioniert.
- Das Problem: Wenn jemand ein echtes, menschliches Manuskript nimmt und einen Roboter fragt: „Mach den Text bitte etwas schöner und flüssiger", passiert oft Folgendes: Der Roboter ändert nicht nur die Wörter, sondern fügt manchmal auch neue Ideen hinzu oder verändert die Struktur so stark, dass der Text plötzlich „nach KI riecht".
- Das Ergebnis: Der Detektor schreit: „Achtung! Das ist eine KI!" und wirft den Autor hinaus.
- Die Realität: Der Autor hat aber nur poliert! Er hat die Regeln befolgt.
- Die Analogie: Es ist, als würde ein Richter einen Mann verurteilen, weil er sein Auto gewaschen hat, nur weil das Auto nach dem Waschen so sauber aussieht, dass es wie ein neues, fabrikneues Auto aussieht. Der Richter denkt: „Das kann nicht von einem normalen Menschen gewaschen worden sein!" – dabei war es nur ein sehr guter Putzjob.
Die Studie zeigt: Etwa 3 bis 10 % der völlig harmlosen, polierten Texte werden fälschlicherweise als „KI-geschrieben" entlarvt. Bei tausenden von Bewertern wären das hunderte von unschuldigen Menschen, die fälschlicherweise beschuldigt werden.
2. Der „Verkleidungs"-Trick (Der KI-Text, der sich wie ein Mensch verkleidet)
Es gibt noch eine andere Seite. Manche Leute schreiben den ganzen Text von einer KI und versuchen dann, ihn mit einem „Humanizer"-Tool zu verstellen, damit er wie menschlich klingt.
- Das Ergebnis: Die Detektoren sind hier oft blind. Sie sehen durch die Verkleidung nicht hindurch.
- Die Analogie: Es ist wie bei einem Dieb, der eine Perücke und eine Sonnenbrille aufsetzt. Der Wachmann (der Detektor) schaut ihn an und sagt: „Das ist ein normaler Tourist!" – obwohl es der Dieb ist.
3. Warum die neuen Tricks nicht funktionieren
Die Autoren haben sich überlegt: „Vielleicht hilft es, wenn wir dem Detektor den Originaltext des Buches geben? Oder wenn wir ihn speziell für Wissenschaftler trainieren?"
- Der Versuch: Sie gaben den Detektoren den Kontext (das Originalpapier) oder trainierten sie mit speziellen wissenschaftlichen Mustern.
- Das Ergebnis: Es half ein bisschen, aber nicht genug. Die Detektoren waren immer noch nicht gut genug, um zwischen „Mensch, der poliert hat" und „Mensch, der sich von KI helfen ließ" zu unterscheiden.
- Die Analogie: Es ist, als würde man einem Hund beibringen, zwischen zwei fast identischen Schokoladensorten zu unterscheiden. Manchmal schnüffelt er richtig, aber oft riecht er nur Schokolade und weiß nicht, welche Sorte es ist.
4. Die große Gefahr für die Wissenschaft
Warum ist das alles so wichtig?
In den Nachrichten wurde kürzlich behauptet, dass 21 % aller Reviews auf einer großen Konferenz (ICLR 2026) komplett von KI geschrieben wurden.
- Die Wahrheit laut dieser Studie: Diese Zahl ist wahrscheinlich falsch und zu hoch. Die Detektoren haben wahrscheinlich viele Texte als „KI" markiert, die eigentlich nur von Menschen poliert wurden (oder gemischt waren).
- Die Konsequenz: Wenn Konferenzen diese Detektoren nutzen, um Regeln durchzusetzen, werden sie unschuldige Menschen bestrafen und echte Betrüger übersehen. Es ist ein System, das nicht funktioniert.
🎯 Das Fazit in einem Satz
Die aktuellen Werkzeuge, um zu erkennen, ob jemand KI benutzt hat, sind wie ein sehr ungenauer Metallspürhund: Er bellt oft bei harmlosen Menschen, die nur ihre Schuhe geputzt haben, und ignoriert oft die echten Diebe, die sich gut verkleidet haben.
Die Botschaft an die Wissenschaft: Solange wir keine besseren Detektoren haben, können wir keine strengen Regeln erlassen, die nur das „Polieren" erlauben. Entweder man verbietet KI komplett (was auch nicht perfekt funktioniert, weil man dann die Polierer nicht von den Betrügern unterscheiden kann) oder man vertraut auf Ehrlichkeit. Aber auf diese Detektoren zu setzen, ist wie darauf zu wetten, dass ein blindes Huhn ein Korn findet – manchmal klappt es, aber meistens nicht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.