Algorithmic Penalty for Non-Native Voices: A Three-Arm Diagnostic Accuracy Audit of Five Commercial AI Text Detectors Against Pre-LLM Scientific Literature — Protocol for the AUDIT-AI Study

Technische Samenvatting: Het AUDIT-AI-studieprotocol

Probleemstelling
Commerciële AI-tekstdetectoren worden steeds vaker ingezet door academische tijdschriften en subsidiebeoordelaars om wetenschappelijke teksten te screenen op AI-auteurschap. Echter, empirisch bewijs suggereert dat deze tools lijden aan aanzienlijke algoritmische bias tegenover niet-moedertaalsprekers van het Engels. Een fundamentele studie uit 2023 (Liang et al.) toonde aan dat detectoren meer dan 60% van de essays van niet-moedertaalsprekers van het Engels foutief classificeerden als AI-gegenereerd, vergeleken met bijna perfecte nauwkeurigheid bij door moedertaalsprekers in de VS geschreven essays. De heersende hypothese is dat op perplexiteit gebaseerde detectiemethoden de beperkte linguïstische expressie, de verminderde lexicale diversiteit en de formuleuze structuren die gebruikelijk zijn bij niet-moedertaalsprekers, interpreteren als "machine-achtig" (lage perplexiteit/lage burstiness).

Ondanks dit bewijs blijft er een kritische kloof bestaan: geen enkele peer-reviewed studie heeft getest of de geografische herkomst van de instelling van een corresponderende auteur — een praktische proxy die door redacteuren wordt gebruikt — de misclassificatie door detectoren voorspelt in langvormige, peer-reviewed medische literatuur. Bestaande validatiestudies vertrouwen op studentessays, korte abstracts of corpora van gemengde genres, die niet reflecteren op de context van redactionele screening bij wetenschappelijke publicaties met een hoge inzet.

Methodologie
De AUDIT-AI-studie is een vooraf geregistreerdeerde, drieledige diagnostische accuratesse-audit die is ontworpen om deze bias te kwantificeren in cardiometabool onderzoek. De studie houdt zich aan de STARD-AI 2025-richtlijnen en wordt geclassificeerd als onderzoek zonder menselijke proefpersonen (NHSR).

• Corpusconstructie (n = 200 teksten):

  • Arm A (Native): 50 veelgeciteerde cardiometabole papers (Diabetes, Obesitas, NAFLD, Cardiovasculaire ziekten) uit de periode 1995–2020, met eerste en corresponderende auteurs verbonden aan instellingen in de VS, het VK, Canada, Australië, Nieuw-Zeeland of Ierland.
  • Arm B (Non-Native): 50 papers uit dezelfde domeinen en tijdperken, met auteurs verbonden aan instellingen in het Midden-Oosten/Noord-Afrika, Oost-Azië, Zuid-Azië, Latijns-Amerika of niet-Engelstalig Europa.
  • Arm C (AI Control): 100 AI-gegenereerde herschrijvingen (Introductie- en Discussie-secties) van de Arm A- en Arm B-papers.
    • Pipeline: Een "ontkoppelde, air-gapped" driestaps-pipeline waarborgt de methodologische strengheid. Fase 1 gebruikt LlamaParse (vision-language model) om gestructureerde gegevens uit PDF's te extraheren. Fase 2 gebruikt Claude Sonnet 4.6 om narratieve secties te genereren op basis strikt van de geëxtraheerde gegevens, waarbij stilistische overrides (bijv. variabele zinslengte) worden afgedwongen om de perplexiteit te maximaliseren en "AI-achtige" standaardovergangen te vermijden. Fase 3 omvat kwaliteitscontrole-poorten voor woordenaantal en inhoudelijke getrouwheid.

• Detectie-ensemble:

  • Vijf commerciële detectoren worden geëvalueerd: iThenticate (Turnitin), Originality.AI, GPTZero, Copyleaks en Winston AI.
  • Elke van de 400 narratieve secties (200 papers × 2 secties) wordt tweemaal gescoord door elke detector binnen een venster van 14 dagen, wat resulteert in 4.000 totale observaties.

• Statistische Analyse:

  • Primaire Uitkomst: Continue AI-waarschijnlijkheidsscore (0–100%).
  • Primair Model: Lineaire mixed-effects regressie die het verschil tussen Arm B en Arm A analyseert, controlerend voor sectietype (Introductie vs. Discussie), publicatie-epoch, journal impact factor en woordenaantal.
  • Power: Het ontwerp (n=50 per arm) biedt ~80% power om een medium effectgrootte (Cohen's d = 0.5) te detecteren voor de primaire directionele hypothese.

Kernbijdragen en Nieuwigheid
De studie beweert het veld op vijf specifieke manieren vooruit te helpen:

1. Langvormige Pre-LLM Tekst: In tegen tegenstelling tot eerder werk over korte essays of abstracts, test deze studie detectoren op de 600–1.500 woorden tellende narratieve proza (Introductie/Discussie) die daadwerkelijk wordt gebruikt bij redactionele screening.
2. Geografisch-Institutionele Proxy: Het maakt gebruik van het praktische signaal van de redacteur (institutionele affiliatie) in plaats van zelfgerapporteerde L1-status of TOEFL-scores.
3. Specialty Lock: Door het corpus te beperken tot cardiometabole literatuur, controleert de studie voor vocabulaire-register en topicdistributie, waardoor de L1-dispariteit wordt geïsoleerd van genre-effecten.
4. Methodologische Air-Gap: De AI-arm gebruikt een andere leverancier (LlamaParse) voor extractie dan de generator (Claude), wat kritiek op contaminatie van de trainingsdata voorkomt.
5. Pre-geregistreerde Rigor: Alle hypothesen, steekproefgroottes en statistische modellen worden vastgelegd vóór de gegevensverzameling om het selectief kiezen van drempelwaarden (threshold cherry-picking) te voorkomen.

Verwachte Resultaten en Hypothesen
De studie presenteert geen definitieve resultaten, maar schetst vijf vooraf geregistreerde hypothesen:

• H1 (Primair): Gemiddelde AI-waarschijnlijkheidsscores zullen significant hoger zijn voor papers van instellingen met niet-moedertaalsprekers (Arm B) dan voor native papers (Arm A), met een verwachte absolute verschil van 12–22 procentpunten.
• H2: Geen enkele detector zal simultaan een sensitiviteit en specificiteit van ≥0,85 bereiken over beide menselijke armen.
• H3: De inter-detector overeenstemming (Fleiss' κ) bij de 50%-drempel zal zwak zijn (<0,40).
• H4: De L1-dispariteit zal groter zijn in Discussie-secties dan in Introductie-secties, wat de grotere stilistische expressiviteit van de laatste weerspiegelt.
• H5: Geografische herkomst zal een significante voorspeller blijven voor AI-scores, zelfs na correctie voor journal impact factor, epoch en leesbaarheidsmetrieken.

Betekenis en Claims
De AUDIT-AI-studie positioneert zichzelf als een cruciaal mechanisme voor verantwoording van de tools die de wetenschappelijke integriteit beheersen.

• Indien H1 wordt ondersteund: De studie zal direct bewijs leveren dat het vertrouwen op commerciële detectoren een meetbare "gelijkheidskost" oplegt aan biomedische auteurs van instellingen met een niet-moedertaal, wat kan leiden tot onrechtvaardige flagging bij inzendingen van tijdschriften en subsidiebeoordelingen.
• Indien H1 niet wordt ondersteund: Het zal de eerste negatieve bevinding bieden in een gestructureerde, medische-domein test van de L1-dispariteit, wat de generaliseerbaarheid van de TOEFL-essayresultaten van Liang et al. (2023) naar professionele wetenschappelijke publicaties uitdaagt.

Uiteindelijk beoogt de studie beleidsbeslissingen te informeren over de inzet van detectoren in workflows van tijdschriften, subsidiebeoordelingen (met specifieke verwijzing naar NIH-richtlijnen) en beslechtingen over academische integriteit. De auteurs verbinden zich aan het vrijgeven van alle code, schema's en gede-identificeerde outputs onder een CC-BY 4.0 licentie om reproduceerbaarheid te garanderen.