Position: Academic Conferences are Potentially Facing Denominator Gaming Caused by Fully Automated Scientific Agents

Technische Samenvatting: Agente Conferentienaammanipulatie

Probleemstelling
Het artikel identificeert een kritieke structurele kwetsbaarheid in toonaangevende academische conferenties: het impliciete beleid om relatief stabiele acceptatiepercentages (typisch 20–30%) te handhaven ondanks exponentieel groeiende inzendingen. Deze stabiliteit, bedoeld om selectiviteit te signaleren, creëert een voorspelbare "noemer" die kan worden uitgebuit. De auteurs postuleren een nieuwe systemische bedreiging, genaamd Agente Conferentienaammanipulatie. In dit scenario zetten kwaadwillende actoren volledig geautomatiseerde wetenschappelijke agenten in om enorme hoeveelheden oppervlakkig plausibele maar wetenschappelijk inferieure papers te genereren en in te dienen. Het doel is niet om deze kwalitatief slechte papers te laten accepteren, maar om het totale aantal inzendingen (de noemer) kunstmatig op te drijven. Onder een beleid met een vast acceptatiepercentage wordt de conferentie hierdoor gedwongen het absolute aantal geaccepteerde papers te verhogen om het streefpercentage te handhaven. Bijgevolg wordt de acceptatiedrempel verlaagd, wat statistisch de kans vergroot dat een geselecteerde set legitieme, door mensen geschreven papers wordt geaccepteerd, zelfs als hun intrinsieke kwaliteit onveranderd blijft.

Methodologie en Bedreigingsmodellering
Het artikel formaliseert deze bedreiging via een wiskundig model en een proof-of-concept systeemarchitectuur:

1. Wiskundige Formalisering:
   Laat $N_h$ het aantal menselijke inzendingen zijn en $N_a$ het aantal door AI gegenereerde inzendingen. Als een conferentie een stabiel acceptatiepercentage $\alpha$ handhaaft, is het totale aantal geaccepteerde papers $N_{acc} = \alpha(N_h + N_a)$. Onder de aanname dat AI-papers worden afgewezen ($N^a_{acc} \approx 0$), wordt het effectieve acceptatiepercentage voor menselijke papers $\hat{\alpha} \approx \alpha(1 + \frac{N_a}{N_h})$. Naarmate de verhouding tussen AI- en menselijke inzendingen toeneemt, stijgt de effectieve acceptatiekans voor menselijke papers evenredig, ongeacht de kwaliteit.

2. Systeemarchitectuur (Proof-of-Concept):
   De auteurs stellen een multi-agentpijplijn voor bestaande uit twee gespecialiseerde agenten:

   • Onderzoeksagent: Gebruikt Large Language Models (LLM's) om onderscheidende, stilistisch plausibele manuscripten te genereren. Cruciaal is dat deze agent specifieke conferentietechnische LaTeX-sjablonen (.sty en .tex-bestanden) downloadt om een "paperskelet" te construeren dat perfect aansluit bij de formatvereisten van het evenement, waardoor initiële desk-afwijzing op basis van structurele gebreken wordt omzeild.
   • Inzendagent: Automatiseert het logistieke proces van inzending via conferentiemanagementplatforms (bijvoorbeeld OpenReview). Deze agent regelt accountregistratie (potentieel gebruikmakend van educatieve e-mails voor Sybil-aanvallen), invullen van formulieren via API's, en zelfs geautomatiseerde weerleggingen.
   • Haalbaarheidsvalidatie: De auteurs voerden een gecontroleerde, kleinschalige end-to-end test uit waarbij een wetenschappelijke agent een concept genereerde en een inzendagent het manuscript registreerde en inzond via OpenReview. Het experiment bevestigde de technische uitvoerbaarheid van de keten generatie-registratie-inzending.

Belangrijkste Bijdragen

• Definitie van een Nieuwe Bedreigingsvector: Het artikel definieert formeel "Agente Conferentienaammanipulatie" en onderscheidt dit van eenvoudige contentinflatie of traditionele papiermolens. Het benadrukt de verschuiving van het manipuleren van contentkwaliteit naar het manipuleren van het selectiemechanisme zelf.
• Analyse van Economische Asymmetrie: De auteurs tonen een scherp onevenwicht aan waarbij aanvragers verwaarloosbare marginale kosten maken (door goedkope LLM-API's en gratis inzendplatforms), terwijl de academische gemeenschap de last van de verdediging draagt in de vorm van onbetaalde, hoogopgeleide vrijwilligersarbeid (reviewers en voorzitters).
• Systemische Risicobeoordeling: Het artikel analyseert bredere gevolgen, waaronder:
  • Uitputting van Reviewers: Een overvloed aan kwalitatief slechte papers verslechtert de signaal-ruisverhouding, versnelt vermoeidheid en drijft ervaren reviewers weg.
  • Epistemische Veiligheidscrisis: De overgang van door mensen geleide naar door agenten geleide papiermolens doet de kosten van academische fraude instorten, waardoor het moeilijk wordt om de authenticiteit van wetenschappelijke literatuur te vertrouwen.
  • Erosie van Reputatie: Naarmate de acceptatiedrempels naar beneden worden gemanipuleerd, neemt de prestige van conferentieproceedings af, wat potentieel een vicieuze cirkel van dalende inzendingkwaliteit kan veroorzaken.

Resultaten en Evaluatie
Het artikel presenteert geen grootschalige empirische data over succesvolle aanvallen (aangezien de auteurs zich hielden aan verantwoord openbaarmaking, waarbij slechts een minimale, eenmalige haalbaarheidstest werd uitgevoerd). In plaats daarvan zijn de "resultaten" theoretisch en analytisch:

• Haalbaarheid: De proof-of-concept bevestigt dat de technische drempels voor het lanceren van een dergelijke aanval laag zijn.
• Ondoeltreffendheid van Huidige Verdedigingen: De auteurs evalueren potentiële verdedigingen en constateren dat deze ontoereikend zijn:
  • Technische Verdedigingen (AI-detectoren): Geacht onbetrouwbaar vanwege hoge rates van vals-positieven en het "kat-en-muisspel"-karakter van adversariële generatie, waarbij generatoren kunnen worden fijngezet om specifieke detectoren te ontwijken.
  • Beleidsmatige Verdedigingen (Inzendkosten/Meerfasenreview): Hoewel potentieel effectief, roepen kosten zorgen op over gelijkheid, en voorselectie verlegt de last slechts naar voorzitters zonder de bron van middelenverbruik op te lossen.
  • Systemische Verdedigingen: De auteurs betogen dat de enige robuuste oplossing ligt in het verbreken van het verband tussen het aantal inzendingen en het aantal geaccepteerde papers (bijvoorbeeld door een cap op het absolute aantal geaccepteerde papers) of door implementatie van reputatiegebaseerde inzendsystemen.

Betekenis en Claims
Het artikel stelt dat de academische gemeenschap geconfronteerd wordt met een onderbelichte kwetsbaarheid die de integriteit van wetenschappelijke validatie bedreigt. Het betoogt dat het primair vertrouwen op technische detectie een verliezende strategie is tegen een vastberaden, geautomatiseerde tegenstander. De betekenis van dit werk ligt in zijn oproep tot proactieve, systeemniveau beleids- en prikkelhervormingen in plaats van reactieve technische oplossingen. De auteurs dringen er bij de gemeenschap op aan om de onderliggende structurele kwetsbaarheid – de norm van stabiele acceptatiepercentages – aan te pakken voordat dergelijke aanvallen routine worden, en zo het vertrouwen en de duurzaamheid van het academische publicatie-ecosysteem te beschermen.