Algorithmic Penalty for Non-Native Voices: A Three-Arm Diagnostic Accuracy Audit of Five Commercial AI Text Detectors Against Pre-LLM Scientific Literature — Protocol for the AUDIT-AI Study

Sintesi Tecnica: Il Protocollo dello Studio AUDIT-AI

Definizione del Problema
I rilevatori di testo AI commerciali sono sempre più impiegati da riviste accademiche e revisori di sovvenzioni per monitorare la scrittura scientifica alla ricerca di un'autoria generata da IA. Tuttavia, l'evidenza empirica suggerisce che questi strumenti soffrano di un significativo bias algoritmico contro i parlanti non nativi della lingua inglese. Uno studio fondamentale del 2023 (Liang et al.) ha dimostrato che i rilevatori classificavano erroneamente oltre il 60% dei saggi scritti da non nativi come generati da IA, rispetto a una precisione quasi perfetta su saggi scritti da madrelingua statunitensi. L'ipotesi prevalente è che i metodi di rilevamento basati sulla perplessità interpretino l'espressione linguistica vincolata, la ridotta diversità lessicale e le strutture formuliche comuni nella scrittura non nativa come "simili a una macchina" (bassa perplessità/bassa burstiness).

Nonostante questa evidenza, rimane una lacuna critica: nessun studio sottoposto a revisione paritaria ha testato se l'origine geografica dell'istituzione di un autore corrispondente — un proxy pratico utilizzato dagli editori — predica la classificazione errata dei rilevatori nella letteratura medica a lungo formato e sottoposta a revisione paritaria. Gli studi di validazione esistenti si basano su saggi studenteschi, abstract brevi o corpora di genere misto, che non riflettono il contesto di screening editoriale della pubblicazione scientifica ad alto rischio.

Metodologia
Lo studio AUDIT-AI è un audit di accuratezza diagnostica a tre bracci, pre-registrato, progettato per quantificare questo bias nella ricerca cardiometabolica. Lo studio aderisce alle linee guida STARD-AI 2025 ed è classificato come Ricerca Non su Soggetti Umani (NHSR).

• Costruzione del Corpus (n = 200 testi):

  • Braccio A (Nativo): 50 articoli cardiometabolici altamente citati (Diabete, Obesità, NAFLD, Malattie Cardiovascolari) dal 1995 al 2020, con autori primi e corrispondenti affiliati a istituzioni negli Stati Uniti, Regno Unito, Canada, Australia, Nuova Zelanda o Irlanda.
  • Braccio B (Non Nativo): 50 articoli provenienti dagli stessi domini ed epoche, con autori affiliati a istituzioni in Medio Oriente/Nord Africa, Asia Orientale, Asia Meridionale, America Latina o Europa non anglofona.
  • Braccio C (Controllo AI): 100 riscritture generate da IA (sezioni Introduction e Discussion) dei lavori dei bracci A e B.
    • Pipeline: Una pipeline a tre stadi "decoupled, air-gapped" garantisce il rigore metodologico. Lo Stadio 1 utilizza LlamaParse (modello vision-language) per estrarre dati strutturati dai PDF. Lo Stadio 2 utilizza Claude Sonnet 4.6 per generare sezioni narrative basate strettamente sui dati estratti, imponendo override stilometrici (es. lunghezza variabile delle frasi) per massimizzare la perplessità ed evitare transizioni standard "tipiche dell'IA". Lo Stadio 3 prevede gate di garanzia della qualità per il conteggio delle parole e la fedeltà del contenuto.

• Ensemble di Rilevamento:

  • Vengono valutati cinque rilevatori commerciali: iThenticate (Turnitin), Originality.AI, GPTZero, Copyleaks e Winston AI.
  • Ogni sezione narrativa (200 articoli × 2 sezioni) viene valutata due volte da ciascun rilevatore entro una finestra di 14 giorni, producendo un totale di 4.000 osservazioni.

• Analisi Statistica:

  • Esito Primario: Punteggio di probabilità AI continuo (0–100%).
  • Modello Primario: Regressione lineare a effetti misti che analizza la differenza tra il Braccio B e il Braccio A, controllando per il tipo di sezione (Introduction vs. Discussion), l'epoca di pubblicazione, l'impact factor della rivista e il conteggio delle parole.
  • Potenza: Il design (n=50 per braccio) fornisce una potenza di circa l'80% per rilevare un effetto di media entità (Cohen's d = 0.5) per l'ipotesi direzionale primaria.

Contributi Chiave e Novità
Lo studio sostiene di far avanzare il campo in cinque modi specifici:

1. Testo Long-Form Pre-LLM: A differenza del lavoro precedente su saggi brevi o abstract, questo studio testa i rilevatori su prosa narrativa di 600–1.500 parole (Introduction/Discussion) effettivamente utilizzata nello screening editoriale.
2. Proxy Geografico-Istituzionale: Utilizza il segnale pratico dell'editor (affiliazione istituzionale) piuttosto che lo stato L1 auto-riportato o i punteggi TOEFL.
3. Specializzazione di Nicchia: Limitando il corpus alla letteratura cardiometabolica, si controllano il registro del vocabolario e la distribuzione dei temi, isolando la disparità L1 dagli effetti di genere.
4. Air-Gap Metodologico: Il braccio AI utilizza un vendor diverso (LlamaParse) per l'estrazione rispetto al generatore (Claude), prevenendo critiche sulla contaminazione dei dati di addestramento.
5. Rigore Pre-Registrato: Tutte le ipotesi, le dimensioni del campione e i modelli statistici sono bloccati prima della raccolta dei dati per evitare la selezione arbitraria delle soglie (cherry-picking).

Risultati Anticipati e Ipotesi
Lo studio non presenta risultati finali ma delinea cinque ipotesi pre-registrate:

• H1 (Primaria): I punteggi medi di probabilità AI saranno significativamente più alti per gli articoli di istituzioni non native (Braccio B) rispetto ai paper nativi (Braccio A), con una differenza assoluta attesa di 12–22 punti percentuali.
• H2: Nessun singolo rilevatore raggiungerà simultaneamente sensibilità e specificità ≥0.85 in entrambi i bracci umani.
• H3: L'accordo inter-rilevatore (Fleiss' κ) alla soglia del 50% sarà scarso (<0.40).
• H4: La disparità L1 sarà maggiore nelle sezioni Discussion rispetto alle Introduction, riflettendo la maggiore espressività stilistica di queste ultime.
• H5: L'origine geografica rimarrà un predittore significativo dei punteggi AI anche dopo l'aggiustamento per l'impact factor della rivista, l'epoca e le metriche di leggibilità.

Significatività e Rivendicazioni
Lo studio AUDIT-AI si posiziona come un meccanismo critico di accountability per gli strumenti che governano l'integrità scientifica.

• Se H1 è supportata: Lo studio fornirà la prova diretta che l'affidamento ai rilevatori commerciali impone un "costo di equità" misurabile sugli autori biomedici provenienti da istituzioni non native, portando potenzialmente a segnalazioni ingiuste nelle sottomissioni editoriali e nelle revisioni di sovvenzioni.
• Se H1 non è supportata: Offrirà il primo risultato negativo in un test strutturato nel dominio medico della disparità L1, sfidando la generalizzabilità dei risultati dei saggi TOEFL di Liang et al. (2023) alla pubblicazione scientifica professionale.

In definitiva, lo studio mira a informare le decisioni politiche riguardanti l'impiego dei rilevatori nei flussi di lavoro delle riviste, nella revisione paritaria delle sovvenzioni (facendo riferimento specifico alle linee guida NIH) e nelle adjudicazioni di integrità accademica. Gli autori si impegnano a rilasciare tutto il codice, gli schemi e gli output de-identificati sotto una licenza CC-BY 4.0 per garantire la riproducibilità.