🤖 AI

Position: Academic Conferences are Potentially Facing Denominator Gaming Caused by Fully Automated Scientific Agents

Dieses Positionspapier warnt davor, dass führende KI-Konferenzen einer systemischen Verwundbarkeit namens „Agentic Denominator Gaming" ausgesetzt sind, bei der böswillige Akteure automatisierte Agenten einsetzen, um Einreichungspools mit minderwertigen Arbeiten zu fluten, um die Akzeptanzquoten für gezielte legitime Arbeiten künstlich zu erhöhen, was strukturelle politische Reformen statt bloßer technischer Erkennung erfordert, um die daraus resultierende Erschöpfung der Gutachter und den Abfall der Begutachtungsqualität zu mindern.

Ursprüngliche Autoren: Rong Shan, Te Gao, Hang Zheng, Yunjia Xi, Jiachen Zhu, Zeyu Zheng, Yong Yu, Weinan Zhang, Jianghao Lin

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Rong Shan, Te Gao, Hang Zheng, Yunjia Xi, Jiachen Zhu, Zeyu Zheng, Yong Yu, Weinan Zhang, Jianghao Lin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Eine neue Art, das System zu „betrügen"

Stellen Sie sich eine prestigeträchtige Kunstgalerie vor, die nur 25 % der eingereichten Gemälde annimmt. Diese Regel ist streng und bleibt jedes Jahr gleich, um den Ruf der Galerie hochzuhalten.

Die Autoren dieses Papers warnen vor einer neuen Art von „Hacker", die aufkommt. Anstatt ein Meisterwerk zu malen, um hineinzukommen, nutzen diese Hacker KI-Roboter, um Tausende von schrecklichen, hässlichen Gemälden zu malen und alle auf einmal einzureichen.

Ihr Ziel ist es nicht, die hässlichen Gemälde angenommen zu bekommen. Ihr Ziel ist es, die Galerie so sehr zu fluten, dass die Galerie gezwungen ist, mehr Gemälde anzunehmen, nur um ihre „25-Prozent-Akzeptanzregel" einzuhalten. Indem sie den „Nenner" (die Gesamtzahl der Einreichungen) mit Müll füllen, machen sie es versehentlich einfacher für ihre echten, hochwertigen Gemälde, angenommen zu werden.

Das Papier nennt dies „Agentic Denominator Gaming" (Agenten-basiertes Nenner-Spielen).

Wie es funktioniert: Die „Kanonenfutter"-Strategie

Das Papier zerlegt den Mechanismus in drei einfache Schritte:

Die stabile Regel: Top-KI-Konferenzen (wie NeurIPS oder ICML) haben die Tradition, ihre Akzeptanzquote stabil zu halten (meist zwischen 20 und 30 %), selbst wenn die Zahl der Einreichungen explodiert.
Die KI-Flut: Böswillige Akteure nutzen KI-Agenten (Roboter), um Tausende von Papers zu schreiben und einzureichen, die auf dem Cover wie echte Forschung aussehen, aber im Inneren Unsinn sind. Diese kosten fast nichts herzustellen.
Der mathematische Trick:
- Wenn eine Konferenz 100 Papers erhält und 25 annimmt, beträgt die Quote 25 %.
- Wenn ein Hacker 300 gefälschte Papers hinzufügt, beträgt die Gesamtzahl nun 400.
- Um die 25 %-Quote zu halten, muss die Konferenz nun 100 Papers annehmen (statt 25).
- Da die 300 gefälschten Papers Müll sind, werden sie abgelehnt. Aber die Konferenz muss trotzdem 75 weitere echte Papers finden, um die zusätzlichen Plätze zu füllen.
- Das Ergebnis: Echte Wissenschaftler, die zuvor an der „Grenze" zur Ablehnung standen, werden nun angenommen, nicht weil ihre Arbeit besser wurde, sondern weil das System mit Rauschen überflutet wurde.

Warum das gefährlich ist (Die „drei Katastrophen")

Das Papier argumentiert, dass dies nicht nur ein technischer Fehler ist, sondern eine systemische Krise, die die akademische Welt auf drei Arten zerstören wird:

1. Die Falle der „freien Arbeit" (ökonomische Asymmetrie)

Die Kosten des Angreifers: Cent-Beträge. Sie nutzen günstige KI-Tools, um Tausende von Papers zu generieren.
Die Kosten der Gemeinschaft: Millionen von Dollar an verlorener Zeit. Echte Wissenschaftler sind Freiwillige, die Papers kostenlos begutachten. Wenn sie 1.000 gefälschte Papers lesen müssen, um die 100 echten zu finden, brennen sie aus.
Analogie: Es ist wie ein Troll, der einen Eimer Schlamm in einen Swimmingpool schüttet. Der Troll hat 1 Dollar für den Schlamm ausgegeben. Die Rettungsschwimmer (Begutachter) müssen Stunden damit verbringen, den Pool zu reinigen, oder der Pool wird unbrauchbar.

2. Die „Burnout"-Krise
Begutachter sind bereits müde. Wenn sie gezwungen werden, einen Berg aus KI-generiertem Müll zu sichten, werden sie aufhören.

Analogie: Stellen Sie sich einen Arzt in einer Notaufnahme vor. Wenn jemand jede Stunde 1.000 gefälschte Patienten in den Wartezimmer wirft, kann der Arzt die echten kranken Menschen nicht behandeln. Der Arzt bricht schließlich zusammen oder geht, und das gesamte System versagt.

3. Der Aufstieg der „Agenten-Mühlen"
Wir haben bereits „Paper Mills" (Firmen, die gefälschte Forschung verkaufen). Diese Bedrohung hebt sie auf „Agenten-Mühlen" auf.

Anstatt dass Menschen gefälschte Papers schreiben, werden Roboter dies im industriellen Maßstab tun.
Analogie: Es ist der Unterschied zwischen einem kleinen Fälscher, der einen gefälschten Schein pro Tag herstellt, und einer Fabrik, die eine Million gefälschte Scheine pro Stunde druckt. Die Qualität der Wissenschaft sinkt, und wir können dem, was wir lesen, nicht mehr vertrauen.

Warum das „Erkennen" gefälschter Papers nicht funktionieren wird

Das Papier argumentiert, dass wir nicht einfach einen „KI-Detektor" bauen können, um dieses Problem zu lösen.

Das Katz-und-Maus-Spiel: Sobald wir einen Detektor bauen, lernen die KI-Roboter, wie sie ihn täuschen können. Es ist wie ein Schloss, das seine Form jedes Mal ändert, wenn Sie versuchen, es aufzubrechen.
Falsche Anschuldigungen: Aktuelle Detektoren sind schlecht. Sie beschuldigen oft echte menschliche Autoren fälschlicherweise, KI zu sein. Wenn eine Konferenz Papers basierend auf einem fehlerhaften Detektor verbietet, könnten sie brillante menschliche Wissenschaftler ablehnen, was unfair und schädlich ist.

Die vorgeschlagenen Lösungen (Die Regeln ändern, nicht nur die Technik)

Da technische Lösungen (wie Detektoren) unzuverlässig sind, schlagen die Autoren vor, die Regeln des Spiels zu ändern:

Eine Gebühr erheben: Autoren müssen eine kleine Gebühr für die Einreichung zahlen. Dies stoppt die „Flut", weil es zu teuer wird, Tausende von gefälschten Papers zu generieren. (Obwohl das Papier anmerkt, dass dies arme Forscher benachteiligen könnte).
Die „stabile Quote"-Regel abschaffen: Das ist die große Änderung. Konferenzen sollten aufhören, einen festen Akzeptanzprozentsatz zu versprechen (z. B. „Wir werden immer 25 % annehmen"). Stattdessen sollten sie sagen: „Wir werden genau 500 Papers annehmen, egal wie viele eingereicht werden."
- Warum das funktioniert: Wenn die Zahl der angenommenen Papers festgelegt ist, hilft das Fluten des Systems mit gefälschten Papers nicht. Die gefälschten Papers werden einfach abgelehnt, und die echten Papers behalten die gleiche Chance auf Annahme.
Reputationssysteme: Nur vertrauenswürdige Forscher (oder solche, die von vertrauenswürdigen Personen empfohlen werden) dürfen Papers einreichen. Dies verhindert, dass anonyme Bots Tausende gefälschter Konten erstellen, um das System zu fluten.

Das Fazit

Das Papier ist eine Warnung. Es besagt, dass wir, wenn wir die aktuellen Regeln (stabile Akzeptanzquoten) beibehalten und KI besser darin werden lassen, Papers zu schreiben, dass böswillige Akteure das System brechen können, ohne jemals versucht zu haben, ein „gutes" Paper zu veröffentlichen. Sie müssen nur genug „schlechten" Lärm erzeugen, um die Mathematik zu ändern.

Um die akademische Integrität zu retten, müssen wir die Anreize und Regeln ändern, nicht nur versuchen, die bösen Bots mit besserer Software zu fangen.

Technisches Fazit: Agentic Conference Denominator Gaming

Problemstellung
Die Studie identifiziert eine kritische strukturelle Verwundbarkeit in hochrangigen akademischen Konferenzen: die implizite Politik, trotz exponentiell wachsender Einreichungszahlen relativ stabile Annahmeraten (typischerweise 20–30 %) aufrechtzuerhalten. Diese Stabilität, die Selektivität signalisieren soll, schafft einen vorhersehbaren „Nenner", der ausgenutzt werden kann. Die Autoren postulieren eine neue systemische Bedrohung, die als Agentic Conference Denominator Gaming bezeichnet wird. In diesem Szenario setzen böswillige Akteure vollständig automatisierte wissenschaftliche Agenten ein, um riesige Mengen an oberflächlich plausiblen, aber wissenschaftlich minderwertigen Arbeiten zu generieren und einzureichen. Das Ziel ist nicht, diese minderwertigen Arbeiten angenommen zu sehen, sondern die Gesamtzahl der Einreichungen (den Nenner) künstlich aufzublähen. Unter einer Politik fester Annahmeraten zwingt dies die Konferenz, die absolute Zahl der angenommenen Arbeiten zu erhöhen, um den Zielprozentsatz zu halten. Folglich wird die Annahmeschwelle gesenkt, was statistisch die Wahrscheinlichkeit erhöht, dass eine gezielte Menge legitimer, von Menschen verfasster Arbeiten angenommen wird, selbst wenn ihre intrinsische Qualität unverändert bleibt.

Methodik und Bedrohungsmodellierung
Die Studie formalisiert diese Bedrohung durch ein mathematisches Modell und eine Proof-of-Concept-Systemarchitektur:

Mathematische Formalisierung:
Sei $N_h$ die Anzahl der menschlichen Einreichungen und $N_a$ die Anzahl der KI-generierten Einreichungen. Wenn eine Konferenz eine stabile Annahmerate $\alpha$ beibehält, beträgt die Gesamtzahl der angenommenen Arbeiten $N_{acc} = \alpha(N_h + N_a)$ . Unter der Annahme, dass KI-Arbeiten abgelehnt werden ( $N^a_{acc} \approx 0$ ), wird die effektive Annahmerate für menschliche Arbeiten zu $\hat{\alpha} \approx \alpha(1 + \frac{N_a}{N_h})$ . Mit steigendem Verhältnis von KI- zu menschlichen Einreichungen steigt die effektive Annahmewahrscheinlichkeit für menschliche Arbeiten proportional an, unabhängig von der Qualität.
Systemarchitektur (Proof-of-Concept):
Die Autoren schlagen eine Multi-Agenten-Pipeline vor, die aus zwei spezialisierten Agenten besteht:
- Research Agent: Nutzt Large Language Models (LLMs), um distinkte, stilistisch plausible Manuskripte zu generieren. Entscheidend ist, dass dieser Agent spezifische Konferenz-LaTeX-Vorlagen (.sty- und .tex-Dateien) herunterlädt, um ein „Paperskelett" zu konstruieren, das den Formatierungsanforderungen des Veranstaltungsortes perfekt entspricht, wodurch eine initiale Desk-Rejection aufgrund struktureller Mängel umgangen wird.
- Submission Agent: Automatisiert den logistischen Prozess der Einreichung über Konferenzmanagement-Plattformen (z. B. OpenReview). Er übernimmt die Kontoerstellung (potenziell unter Ausnutzung von Bildungse-Mails für Sybil-Angriffe), das Ausfüllen von Formularen über APIs und sogar automatisierte Rebuttal-Prozesse.
- Durchführbarkeitsvalidierung: Die Autoren führten einen kontrollierten, kleinskaligen End-to-End-Test durch, bei dem ein wissenschaftlicher Agent ein Manuskript entwarf und ein Einreichungsagent dieses Manuskript über OpenReview registrierte und einreichte. Das Experiment bestätigte die technische Durchführbarkeit der Kette aus Generierung, Registrierung und Einreichung.

Hauptbeiträge

Definition eines neuen Bedrohungsvektors: Die Studie definiert „Agentic Conference Denominator Gaming" formal und unterscheidet es von einfacher Inhaltsaufblähung oder traditionellen Papiermühlen. Sie hebt den Wandel hervor, von der Manipulation der Inhaltsqualität zur Manipulation des Auswahlmechanismus selbst.
Analyse der ökonomischen Asymmetrie: Die Autoren zeigen ein drastisches Ungleichgewicht auf, bei dem Angreifer vernachlässigbare Grenzkosten haben (durch Nutzung günstiger LLM-APIs und kostenloser Einreichungsplattformen), während die akademische Gemeinschaft die defensive Last in Form von unentgeltlicher, hochqualifizierter Freiwilligenarbeit (Reviewer und Konferenzleiter) trägt.
Systemische Risikobewertung: Die Studie analysiert die weiteren Konsequenzen, einschließlich:
- Reviewer-Burnout: Eine Flut minderwertiger Arbeiten verschlechtert das Signal-Rausch-Verhältnis, beschleunigt die Erschöpfung und treibt erfahrene Reviewer weg.
- Epistemische Sicherheitskrise: Der Übergang von menschgetriebenen zu agentengesteuerten Papiermühlen senkt die Kosten für akademischen Betrug, was es schwierig macht, der Authentizität wissenschaftlicher Literatur zu vertrauen.
- Erosion des Ansehens: Da die Annahmeschwellen manipuliert nach unten verschoben werden, schwindet das Prestige der Konferenzbände, was potenziell einen Teufelskreis aus abnehmender Qualität der Einreichungen auslösen kann.

Ergebnisse und Evaluation
Die Studie präsentiert keine groß angelegten empirischen Daten zu erfolgreichen Angriffen (da die Autoren der verantwortungsvollen Offenlegung folgten und nur einen minimalen, einmaligen Durchführbarkeitstest durchführten). Stattdessen sind die „Ergebnisse" theoretischer und analytischer Natur:

Durchführbarkeit: Der Proof-of-Concept validiert, dass die technischen Hürden für einen solchen Angriff gering sind.
Unwirksamkeit aktueller Verteidigungsmaßnahmen: Die Autoren bewerten potenzielle Verteidigungsmaßnahmen und finden sie unzureichend:
- Technische Verteidigung (KI-Detektoren): Als unzuverlässig eingestuft aufgrund hoher falsch-positiver Raten und des „Katze-und-Maus"-Charakters adversarialer Generierung, bei der Generatoren feinabgestimmt werden können, um spezifische Detektoren zu umgehen.
- Politische Verteidigung (Einreichungsgebühren/Mehrstufige Begutachtung): Obwohl potenziell wirksam, werfen Gebühren Gerechtigkeitsbedenken auf, und Vorab-Prüfungen verlagern die Last lediglich auf die Konferenzleiter, ohne die Ressourcenbelastung zu lösen.
- Systemische Verteidigung: Die Autoren argumentieren, dass die einzige robuste Lösung darin besteht, den Zusammenhang zwischen Einreichungsvolumen und Annahmezahlen zu durchbrechen (z. B. durch Obergrenzen für die absolute Zahl angenommener Arbeiten) oder reputationsbasierte Einreichungssysteme einzuführen.

Bedeutung und Behauptungen
Die Studie behauptet, dass die akademische Gemeinschaft einer unterdiskutierten Verwundbarkeit gegenübersteht, die die Integrität der wissenschaftlichen Validierung bedroht. Sie argumentiert, dass sich primär auf technische Detektion zu verlassen eine aussichtslose Strategie gegen einen entschlossenen, automatisierten Gegner ist. Die Bedeutung dieser Arbeit liegt in ihrem Aufruf zu proaktiven, systemischen Politik- und Anreizreformen anstelle von reaktiven technischen Lösungen. Die Autoren fordern die Gemeinschaft auf, die zugrunde liegende strukturelle Verwundbarkeit – die Norm stabiler Annahmeraten – zu adressieren, bevor solche Angriffe zur Routine werden, und damit das Vertrauen und die Nachhaltigkeit des akademischen Publikationsökosystems zu schützen.