💰 quantitative finance

AI evaluation may bias perceptions: The importance of context in interpreting academic writing

Dit artikel toont aan dat het gebruik van gepoolde benchmarks voor het detecteren van door AI gegenereerde tekst in academisch schrijven aanzienlijke vertekeningen introduceert tussen verschillende landen en vakgebieden, en betoogt dat contextspecifieke benchmarks essentieel zijn voor een accurate en eerlijke evaluatie.

Oorspronkelijke auteurs: Shang Wu, Randol Yao

Gepubliceerd 2026-05-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shang Wu, Randol Yao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een jurylid bent bij een talentenjacht en je taak is om te ontdekken welke zangers een "magische stemdoos" (AI) gebruiken om perfect te klinken. Het artikel van Shang Wu en Randol Yao stelt dat de huidige manier waarop we deze magische stemdozen proberen op te sporen, gebrekkig is omdat deze de natuurlijke achtergronden van de zangers negeert.

Hier is de uiteenzetting van hun bevindingen met behulp van eenvoudige analogieën:

Het Probleem: Eén maat past niet bij iedereen

De onderzoekers ontdekten dat de meeste huidige methoden een enkele "Gouden Standaard"-checklist gebruiken om iedereen te beoordelen. Deze checklist is opgesteld door te kijken hoe AI tekst verandert, uitgaande van het idee dat alle menselijke schrijfsels vanuit hetzelfde punt vertrekken.

De Analogie:
Stel je voor dat je een kookwedstrijd beoordeelt. Je hebt een checklist met "verdachte ingrediënten" die AI-koks mogelijk gebruiken.

De Tekortkoming: Je past dezezelfde checklist toe op een Franse chef, een Japanse chef en een Mexicaanse chef.
De Realiteit: De Franse chef gebruikt van nature ingrediënten zoals "boter" en "sjalotten". De Japanse chef gebruikt van nature "sojasaus" en "miso".
De Vergissing: Als je checklist zegt: "Als je boter gebruikt, val je", dan beschuldig je de Franse chef onterecht van het gebruik van AI, terwijl ze al eeuwenlang boter gebruiken. Ondertussen mis je misschien de Mexicaanse chef die een andere set ingrediënten gebruikt die door je checklist niet wordt aangegeven.

In het artikel zijn de "ingrediënten" specifieke woorden (zoals "opmerkelijk", "gebruikmakend van" of "bevorderend"). De studie toont aan dat sommige landen en academische vakgebieden deze woorden de hele tijd van nature gebruiken, lang voordat AI bestond.

Het Experiment: De "Tijdreis"-test

Om dit te bewijzen, keken de onderzoekers naar wetenschappelijke papers uit 2021 (voordat AI-schrijftools algemeen waren).

De Verwachting: Aangezien nog niemand AI gebruikte, zou de "AI-detecteur" nul AI-gebruik moeten vinden.
Het Resultaat met de Oude Methode (De Gebundelde Benchmark): De detector raakte in de war. Het beweerde dat onderzoekers in de VS en het VK zwaar AI gebruikten, terwijl onderzoekers in Rusland of Brazilië bijna geen AI gebruikten.
De Realiteit: Dit was een vals alarm. De detector was gewoon in de war door het feit dat Amerikaanse en Britse wetenschappers van nature schrijven in een stijl die eruitziet als AI. Het verwarde een "Brits accent" met een "robotstem".

De Oplossing: Aangepaste Checklists

De onderzoekers creëerden een nieuwe methode: Land- en Vakspecifieke Benchmarks.
In plaats van één enorme checklist voor iedereen, maakten ze 234 kleine, op maat gemaakte checklists.

Eén checklist voor "Wiskunde in de VS".
Eén checklist voor "Economie in China".
Eén checklist voor "Psychologie in Duitsland".

De Analogie:
Nu vraagt de jurylid de Franse chef niet langer: "Heb je boter gebruikt?" (wat normaal is voor hen), maar: "Heb je extra boter gebruikt in vergelijking met wat je normaal gebruikt?"

Als de Franse chef zijn normale hoeveelheid boter gebruikt, zegt de jurylid: "Schoon".
Als de Franse chef plotseling het dubbele van de boter gebruikt, zegt de jurylid: "Verdacht".

De Resultaten: Wie wordt onterecht beschuldigd?

Toen ze deze op maat gemaakte checklists toepasten op papers uit 2025 (toen AI daadwerkelijk werd gebruikt), ontdekten ze dat de oude methode een vervormde kaart van de wereld creëerde:

Overestimatie (Valse Beschuldigingen): De oude methode liet het lijken alsof onderzoekers in Engelstalige landen (zoals de VS en het VK) en vakgebieden zoals Economie en Geesteswetenschappen het meest AI gebruikten.
- Waarom? Omdat hun natuurlijke schrijfstijl al "AI-achtig" klonk voor de generieke detector.
Onderestimatie (Gemiste Detectie): De oude methode liet het lijken alsof onderzoekers in Rusland, Brazilië, Japan en Oost-Europa, en vakgebieden zoals Wiskunde en Natuurwetenschappen, zeer weinig AI gebruikten.
- Waarom? Omdat hun natuurlijke schrijfstijl zo verschillend was van de "AI-stijl" dat de detector de AI niet herkende, zelfs niet als die er was.

Waarom Dit Belangrijk Is

Het artikel concludeert dat als we de "Eén Maat Past Iedereen"-methode blijven gebruiken, we gaan:

Wetenschappers uit Engelstalige landen of sociale wetenschappen onterecht straffen door hen te laten lijken alsof ze valsspelen.
Anderen vrijpleiten die mogelijk wel AI gebruiken, simpelweg omdat hun schrijfstijl anders is.
Ongelijkheid creëren: Het versterkt het idee dat sommige groepen "minder origineel" zijn dan anderen, niet omdat dat zo is, maar omdat het meetlint gebroken is.

De Conclusie:
Om eerlijk te beoordelen of een wetenschapper AI gebruikt, kun je niet alleen kijken naar de woorden die ze gebruiken. Je moet begrijpen wie ze zijn en wat ze normaal schrijven. Je moet weten of ze van nature een "boter-chef" zijn voordat je hen beschuldigt van het gebruik van een magische stemdoos.

Technische Samenvatting: AI-evaluatie kan percepties beïnvloeden

Probleemstelling
Het artikel behandelt een kritieke tekortkoming in de huidige methodologieën voor het schatten van het gebruik van Large Language Models (LLM) in wetenschappelijk schrijven. Bestaande benaderingen vertrouwen vaak op een "gepoolde benchmark"—een enkele, wereldwijde standaard voor "AI-achtigheid" die is getraind op geaggregeerde data uit alle landen en disciplines. De auteurs betogen dat deze benadering aanzienlijke, reeds bestaande stilistische heterogeniteit tussen verschillende land-vakgroepen negeert. Omdat wetenschappelijke schrijfcultuur, linguïstische normen en retorische stijlen aanzienlijk variëren per geografie en discipline, loopt een uniforme benchmark het risico natuurlijke stilistische variatie te verwarren met door AI gegenereerde tekst. Deze verwarring kan leiden tot systematische misclassificatie, waarbij bepaalde groepen schijnbaar vaker AI gebruiken, simpelweg omdat hun basisschrijfstijl dichter bij het gepoolde "AI-achtige" profiel ligt, zelfs bij afwezigheid van daadwerkelijk LLM-gebruik.

Methodologie
De studie maakt gebruik van grootschalige publicatiedata uit de Dimensions-database, met betrekking tot Engelstalige tijdschriftpublicaties van 2020 tot 2025. De auteurs definiëren 18 landgroepen en 13 vakgebieden, wat resulteert in 234 onderscheiden land-vakgroepen.

Dataconstructie:
- Trainingscorpus (2020): De auteurs steekproeven tot 2.000 publicaties per land-vakgroep uit 2020 (pre-LLM-tijdperk). Ze gebruiken ChatGPT-4o-mini om de abstracts van deze publicaties te parafraseren via een tweestapsprocedure "outline-and-expand" (schets en breid uit). Dit creëert paren van originele, door mensen geschreven en door AI herschreven abstracts.
- Inferentiecorpus: Publicaties uit 2021 (gebruikt als pre-LLM placebo) en 2025 (post-LLM-tijdperk) worden gebruikt om de benchmarks te testen.
Benchmarksconstructie:
- Gepoolde Benchmark: Eén set log-odds ratios op woordniveau wordt berekend door alle trainingsdata van 2020 over alle 234 groepen te poolen. Dit vestigt een wereldwijde baseline voor woordgebruikswaarschijnlijkheden in menselijke versus AI-tekst.
- Land-vak-specifieke Benchmarks: 234 aparte benchmarks worden geconstrueerd, waarbij elke benchmark uitsluitend is getraind op de data binnen zijn specifieke land-vakgroep.
- Maatstaf: Voor elk woord $t$ wordt de log-odds ratio berekend als $\log \frac{P_t/(1-P_t)}{Q_t/(1-Q_t)}$ , waarbij $P_t$ en $Q_t$ respectievelijk de waarschijnlijkheid zijn dat het woord voorkomt in door mensen geschreven en door AI herschreven abstracts. Negatieve waarden geven woorden aan die waarschijnlijker voorkomen in AI-tekst.
Schatting:
- De auteurs maken gebruik van een Maximum Likelihood Schatter (MLE) om de mengingsgewicht ( $\alpha$ ) te schatten, wat het fractie van door AI gemodificeerde tekst vertegenwoordigt.
- Woordvoorkomens op zinsniveau worden gemodelleerd als Bernoulli-gebeurtenissen. De waarschijnlijkheid van een zin wordt gemodelleerd als een mengsel van menselijke en AI-verdelingen: $L_i(\alpha) = (1-\alpha)L_H(S_i) + \alpha L_A(S_i)$ .
- De schatter wordt tweemaal toegepast op de data van 2025: eenmaal met de gepoolde benchmark ( $\alpha^{pool}_g$ ) en eenmaal met de groepsspecifieke benchmark ( $\alpha^g_g$ ).

Belangrijkste bevindingen

Reeds bestaande stilistische heterogeniteit:
Analyse van data uit 2020 (pre-LLM) toont aanzienlijke variatie in "AI-achtig" woordgebruik tussen groepen. ANOVA-decompositie toont aan dat ongeveer 80% van de variantie in log-odds ratios voortkomt uit verschillen tussen landen binnen hetzelfde vakgebied, in plaats van verschillen tussen vakgebieden. Permutatiesimulaties bevestigen dat deze heterogeniteit echt is en geen statistische ruis.
Bias in pre-LLM placebo (2021):
Wanneer de gepoolde benchmark wordt toegepast op publicaties uit 2021 (waar het ware AI-gebruik dicht bij nul zou moeten liggen), levert dit een sterk verteerde verdeling van geschat AI-gebruik ( $\alpha$ ) op.
- Overestimatie: Engelstalige landen (bijv. VS, VK) en vakgebieden zoals Economie, Management en Geesteswetenschappen vertonen kunstmatig hoge basisschattingen (tot 0,17).
- Onderestimatie: Landen zoals Rusland en vakgebieden zoals Wiskunde en Natuurwetenschappen vertonen baselines dicht bij nul.
- Daarentegen produceren de land-vak-specifieke benchmarks een verdeling die gecentreerd is rond 0,04–0,05 met aanzienlijk minder spreiding (de standaardafwijking daalt van 0,052 naar 0,016), wat een geloofwaardigere baseline biedt.
Systematische bias in schattingen voor 2025:
Vergelijking van schattingen voor 2025 toont aan dat de gepoolde benchmark systematisch de waargenomen geografische en disciplinaire verdeling van AI-gebruik vervormt:
- Overestimatie: AI-gebruik wordt overschat in Engelstalige landen en vakgebieden met schrijfstijlen die lijken op het gepoolde AI-profiel (bijv. Economie, Psychologie, Informatica).
- Onderestimatie: AI-gebruik wordt onderschat in niet-Engelstalige landen (bijv. Rusland, Brazilië, Japan) en vakgebieden met onderscheidende stilistische baselines (bijv. Wiskundige Wetenschappen, Biomedische Wetenschappen).

Betekenis en claims
Het artikel betoogt dat een accurate evaluatie van AI-gebruik in de wetenschap contextbewuste meting vereist in plaats van een op één maatstaf afgestemde standaard. De auteurs claimen dat gepoolde benchmarks niet alleen ruis introduceren, maar gestructureerde bias veroorzaken die het waargenomen landschap van AI-adoptie herschikt.

Eerlijkheid en vertrouwen: De bevindingen suggereren dat huidige detectiemethoden bestaande ongelijkheden kunnen versterken. Onderzoekers in Engelstalige, hooginkomenslanden kunnen onterecht worden aangegeven voor "AI-achtig" schrijven (wat kan worden geïnterpreteerd als vlotheid), terwijl onderzoekers in andere regio's of disciplines minder vaak worden gedetecteerd of met andere kredietstraffen worden geconfronteerd.
Beleidimplicaties: De auteurs waarschuwen tegen de invoering van uniforme AI-detectiedrempels in beleidsregels voor academische integriteit, tijdschriftscreening en financieringscompliance. Zij pleiten voor contextgecalibreerde benchmarks om vervorming van wetenschappelijke discours en erosie van vertrouwen in specifieke regio's of disciplines te voorkomen.
Methodologische bijdrage: De studie toont aan dat het negeren van contextuele baselines leidt tot fragiele interpretaties van AI-adoptietrends. Door land-vak-specifieke baselines op te nemen, wordt de geloofwaardigheid van vergelijkingen tussen groepen aanzienlijk verbeterd.

Het artikel concludeert dat hoewel geen enkele benchmark perfect onbevooroordeeld is, de overstap naar contextbewuste meting een noodzakelijke stap is om een eerlijke en accurate evaluatie van AI in wetenschappelijk schrijven te waarborgen.