Feature-Augmented Transformers for Robust AI-Text Detection Across Domains and Generators

Riepilogo Tecnico: Transformer Arricchiti da Caratteristiche per la Rilevazione Robusta di Testi Generati da AI tra Domini e Generatori

1. Enunciato del Problema

La proliferazione dei Modelli Linguistici di Grandi Dimensioni (LLM) ha creato un bisogno critico di rilevazione affidabile dei testi generati da AI in contesti quali l'integrità accademica, la moderazione dei contenuti e la curatela dei dataset. Tuttavia, il dispiegamento nel mondo reale affronta una sfida significativa: lo spostamento della distribuzione (distribution shift). I rilevatori addestrati su dataset specifici spesso falliscono quando applicati a domini diversi, stili di scrittura o famiglie di generatori.

Le pratiche di valutazione esistenti si basano spesso sulle prestazioni intra-dominio o su metriche aggregate che possono mascherare comportamenti fragili. Inoltre, molti studi ricalibrano le soglie decisionali per ogni dominio target, il che non riflette i vincoli realistici di dispiegamento in cui le etichette del dominio target non sono disponibili. Questo articolo affronta la necessità di un framework di rilevazione robusto che mantenga le prestazioni sotto spostamento della distribuzione senza adattamento al dominio target, focalizzandosi specificamente sul compromesso tra la preservazione del testo umano e la rilevazione di diversi generatori AI.

2. Metodologia

2.1. Protocollo di Valutazione: Dispiegamento a Soglia Fissa
Il cuore della metodologia proposta è un protocollo di dispiegamento realistico a soglia fissa.

• Addestramento: I rilevatori sono addestrati esclusivamente sul dataset HC3 PLUS (Su et al., 2023), che include risposte scritte da umani e generate da ChatGPT, insieme a riscritture semanticamente invarianti (parafrasi, riassunti, traduzioni).
• Calibrazione: Una singola soglia decisionale globale ($\tau^*$) viene calibrata su dati di validazione tenuti fuori dal set di HC3 PLUS.
• Test: Questa soglia viene mantenuta fissa per tutte le valutazioni a valle. Non viene eseguita alcuna ottimizzazione fine (fine-tuning) sul dominio target o ricalibrazione della soglia. Questo protocollo è progettato per esporre le modalità di fallimento che sono tipicamente nascoste da valutazioni adattive.
• Metriche: La Precisione Bilanciata (BA) è la metrica primaria per tenere conto dello squilibrio delle classi e dei pattern di errore asimmetrici (Recall Umano vs. Recall AI).

2.2. Architetture dei Modelli
Lo studio valuta due categorie di modelli:

1. Baseline Transformer Standard: Encoder BERT e ROBERTA ottimizzati (fine-tuned) con un capo di classificazione lineare.
2. Rilevatori Arricchiti da Caratteristiche: Questi modelli fondono le rappresentazioni dei transformer con segnali linguistici artigianali tramite un modulo Feature-Attention (FEATATTN).
   • Estrazione delle Caratteristiche: Vengono estratte 62 caratteristiche artigianali (diversità lessicale, pattern POS, leggibilità, punteggiatura, perplessità, esplosività). Un sottoinsieme di $k=30$ caratteristiche viene selezionato globalmente sul set di addestramento per prevenire la fuoriuscita di informazioni dal dominio target.
   • Meccanismo di Fusione: Una rete di attenzione leggera gestisce dinamicamente le caratteristiche selezionate per campione, proiettandole in un embedding compatto. Questo embedding viene concatenato con la rappresentazione [CLS] del transformer e passato attraverso un classificatore MLP.
   • Backbone: Lo studio introduce DeBERTa-v3-base come backbone, ipotizzando che il suo obiettivo di pre-addestramento (Rilevazione di Token Sostituiti) possa produrre rappresentazioni meno sensibili a indizi superficiali che variano sotto riscrittura.

2.3. Dataset

• HC3 PLUS: Utilizzato per l'addestramento e i test intra-dominio (QA e riscritture semanticamente invarianti).
• Benchmark M4: Un benchmark black-box utilizzato per la valutazione del trasferimento tra dataset su cinque domini inglesi (Wikipedia, WikiHow, Reddit, arXiv, PeerRead) e otto famiglie di generatori (inclusi ChatGPT, LLaMA, Cohere, ecc.).
• AI-TEXT-DETECTION-PILE: Un dataset esterno su larga scala per la valutazione fuori distribuzione (out-of-distribution).
• Testo Accademico (Nuovo): Un dataset su larga scala di paragrafi di arXiv rispetto a testo accademico generato da AI (GPT-3.5, Gemini) utilizzato per la validazione esterna.

3. Risultati Chiave

3.1. Prestazioni Intra-Dominio vs. Cross-Dataset

• Intra-Dominio: I transformer standard (BERT, RoBERTa) raggiungono prestazioni quasi massimali su HC3 PLUS QA (fino al 99,54% di BA). Tuttavia, le prestazioni calano significativamente sulle riscritture semanticamente invarianti (test si), indicando una dipendenza da indizi di superficie.
• Cross-Dataset (M4): Sotto il protocollo a soglia fissa, le prestazioni degradano significativamente.
  • Fallimenti Complementari: BERT tende a preservare meglio il testo umano (Recall Umano più alto) ma manca parte del testo AI, mentre RoBERTa è più aggressivo nel rilevare l'AI (Recall AI più alto) ma classifica erroneamente più testo umano.
  • Varianza di Dominio: Le prestazioni variano enormemente tra i domini (ad esempio, BERT raggiunge il 87,4% di BA su Wikipedia ma il 69,4% su arXiv).

3.2. Impatto dell'Arricchimento da Caratteristiche

• Robustezza: L'arricchimento da caratteristiche migliora significativamente la robustezza del trasferimento. DeBERTa-v3 + FEATATTN raggiunge il profilo più equilibrato, ottenendo 85,97% di BA sul benchmark M4 (81,38% Recall Umano, 90,57% Recall AI).
• Stabilità: Esperimenti multi-seed (5 semi) confermano un'alta stabilità, con una media macro di 83,15 ± 1,04% su M4.
• Confronto con Zero-Shot: Il modello proposto supera le forti baseline zero-shot (Fast-DetectGPT, RADAR, Log-Rank) fino a +7,22 punti percentuali sotto lo stesso protocollo a soglia fissa.

3.3. Ablazione delle Caratteristiche

• Le ablacazioni a livello di categoria rivelano che le caratteristiche di Leggibilità e Vocabolario contribuiscono maggiormente alla robustezza cross-dominio. La rimozione di queste categorie comporta i cali più significativi nella Precisione Bilanciata.

3.4. Spostamento del Generatore ed Esterno

• Sensibilità al Generatore: Il modello migliore mantiene tassi di rilevazione elevati tra generatori diversi (ad esempio, 94,59% su Bloomz, 99,80% su ChatGPT) ma mostra un compromesso: è altamente sensibile al testo AI, il che può portare a un maggior numero di falsi positivi sul testo umano nei dataset esterni (ad esempio, 55,53% di Recall Umano su AI-TEXT-DETECTION-PILE).
• Dominio Accademico: Sul nuovo dataset di Testo Accademico, il modello raggiunge l'81,09% di BA, dimostrando la generalizzazione a temi STEM.

4. Significato e Affermazioni

L'articolo sostiene che la valutazione semanticamente invariante e i protocolli a soglia fissa sono essenziali per valutare la vera robustezza dei rilevatori AI. Gli autori affermano:

1. Le Prestazioni Intra-Dominio sono Fuorvianti: Punteggi quasi massimali sulle distribuzioni sorgente non garantiscono affidabilità sotto spostamento della distribuzione. Le riscritture semanticamente invarianti agiscono come un "test di stress" che espone la dipendenza dei rilevatori da indizi superficiali.
2. Le Soglie Fisse Rivelano la Realtà: Calibrare una singola soglia e mantenerla fissa riflette meglio i vincoli di dispiegamento, rivelando modalità di fallimento specifiche per dominio e generatore che i protocolli adattivi oscurano.
3. L'Arricchimento da Caratteristiche è Efficace ma con Compromessi Pesanti: L'arricchimento dei transformer con caratteristiche linguistiche esplicite (in particolare leggibilità e vocabolario) migliora la robustezza del trasferimento. Tuttavia, questo acuisce il compromesso tra la preservazione del testo umano e la rilevazione di diversi generatori; un modello ottimizzato per la rilevazione ampia dell'AI può aumentare i falsi positivi sulla scrittura umana.
4. Superiorità di DeBERTa-v3: Il backbone DeBERTa-v3, potenzialmente grazie al suo pre-addestramento per la Rilevazione di Token Sostituiti, produce un profilo di trasferimento più equilibrato e robusto rispetto a BERT e RoBERTa.

Lo studio conclude che la robustezza pratica dei rilevatori richiede protocolli di valutazione che stressino l'invarianza semantica, fissino i punti operativi tramite validazione tenuta fuori dal set e complementino i punteggi aggregati con un profilo di errore granulare e consapevole del generatore.