Policies Permitting LLM Use for Polishing Peer Reviews Are Currently Not Enforceable
De studie concludeert dat huidige detectoren onvoldoende betrouwbaar zijn om te onderscheiden tussen volledig door AI gegenereerde teksten en door mensen geschreven recensies die met AI zijn gepolijst, waardoor beleid dat alleen het laatste toestaat niet afdwingbaar is en bestaande schattingen van AI-misbruik waarschijnlijk worden overschat.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een grote, prestigieuze wedstrijd hebt, zoals een wetenschappelijke olympiade. Om te winnen, moeten experts (de beoordelaars) de inzendingen van anderen kritisch bekijken en een verslag schrijven. Dit noemen we peer review.
Recentelijk is er een nieuwe regel in het spel gekomen: "Je mag AI gebruiken, maar alleen om je tekst te poetsen." Denk aan het verbeteren van grammatica, het vloeiender maken van zinnen of het corrigeren van typefouten. Je mag AI geen ideeën laten bedenken of de inhoud laten schrijven. Dat is verboden.
De auteurs van dit paper stellen een heel vervelende vraag: Is die regel überhaupt te handhaven? Kunnen we met de huidige technologie echt zien of iemand alleen maar heeft gepoetst, of dat de AI eigenlijk het hele verslag heeft geschreven?
Het antwoord, kort en krachtig: Nee, dat kan niet.
Hier is hoe ze dat hebben ontdekt, vertaald in een verhaal met een paar creatieve vergelijkingen:
1. De Grote Test (Het Koken)
De onderzoekers hebben een gigantische keuken opgezet. Ze hebben duizenden echte, menselijke recensies genomen (uit de tijd voor AI) en ze op verschillende manieren met AI laten "koken":
- De "Lazy Chef": De AI maakt het hele gerecht zelf, alleen met een basisrecept (AI-BP).
- De "Slimme Chef": De AI maakt het gerecht, maar krijgt extra tips van internet (AI-EP).
- De "Assistent": De mens geeft een paar ingrediënten (kernpunten) en de AI maakt er een volledig gerecht van (AI-HI).
- De "Poetsklus": De mens kookt het gerecht, en de AI komt er alleen langs om de borden te poetsen en de saus netjes te serveren (H-AI). Dit is de enige vorm die mag.
Vervolgens hebben ze vijf verschillende "smaketesters" (detectieprogramma's, waaronder dure commerciële tools en gratis versies) gevraagd om te raden wie er gekookt heeft.
2. De Verkeerde Anklachten (De Valse Alarmen)
Het probleem is dat de smaketesters heel erg verward raken.
- Ze zijn goed in het opsporen van de "Lazy Chef" (volledig AI-gegenereerd). Die vangen ze bijna altijd.
- Maar bij de "Poetsklus" (menselijk eten, AI-gepoetst) gaan ze in paniek. Ze denken: "Oh, dit ruikt te goed, dit moet AI zijn!" en klagen de mens aan voor vals spelen.
De analogie: Stel je voor dat een politiemethode ontworpen is om dieven te vangen. Maar door een fout in de software, wordt ook de buurman die gewoon zijn eigen auto heeft gewassen, gearresteerd als dief.
In dit onderzoek bleek dat 3 tot 4% van de eerlijke mensen die alleen hun tekst hebben gepoetst, ten onrechte als "AI-dief" werden bestempeld. Bij een grote conferentie met duizenden reviews betekent dit honderden onterechte beschuldigingen van academisch wangedrag. Dat is een ramp voor de reputatie van de wetenschap.
3. De "Onzichtbare" Mensen (De Menselijke Smaak)
De onderzoekers probeerden ook slimme trucs om de testers te verbeteren.
- De Context-Truc: Ze gaven de testers de originele paper erbij, zodat ze konden zien of de review logisch aansloot. Dit hielp een beetje, maar niet genoeg.
- De Stijl-Truc: Ze probeerden te kijken naar de schrijfstijl (zoals een taalkundige die naar woordkeuze kijkt). Maar AI wordt steeds beter in het nabootsen van die specifieke, droge wetenschappelijke stijl.
- De "Humanizer"-Truc: Soms proberen mensen hun AI-tekst nog een keer door een ander programma te jagen om het "menselijker" te laten klinken. Dit werkt wonderbaarlijk goed om de detectieprogramma's te bedotten. De testers zien dan niets meer en denken: "Nee, dit is zeker een mens."
4. De Grootte van het Probleem
Er is een recent nieuwsbericht geweest waarin een bedrijf beweerde dat 21% van de reviews op een grote conferentie volledig door AI waren geschreven.
De onderzoekers zeggen: "Wacht even, dat getal is waarschijnlijk veel te hoog."
Omdat de detectieprogramma's zo vaak de "gepoetste" reviews (die eigenlijk toegestaan zijn) verwarren met "volledig AI" reviews, is het waarschijnlijk dat die 21% eigenlijk een mix is van mensen die AI hebben gebruikt om te poetsen, en niet per se mensen die de hele review hebben laten schrijven. Het is alsof je een bak appels en peren hebt, en de telling zegt dat er 21% appels zijn, terwijl je eigenlijk 21% appels en peren hebt die op appels lijken.
De Conclusie in Eén Zin
De huidige technologie is als een slechte metaaldetector op het strand: hij piept niet alleen bij het zeldzame goud (de echte AI-dief), maar ook bij de gewone schelpen (de mens die zijn tekst heeft gepoetst).
Wat betekent dit voor de toekomst?
Zolang we geen betere "smaketesters" hebben, kunnen we regels die "alleen poetsen toestaan" niet eerlijk handhaven. Als we die regels streng gaan handhaven met deze tools, zullen we onschuldige mensen straffen. Als we ze niet handhaven, weten we niet wie de regels echt overtreedt.
De boodschap aan de wetenschappers is: Wees voorzichtig. Als je AI gebruikt om je tekst te verbeteren, zorg dan dat je heel duidelijk zegt wat je wilt, en controleer het eindresultaat dubbel. Maar vooral: de regels die nu gelden, zijn in de praktijk waarschijnlijk niet haalbaar om eerlijk af te dwingen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.