Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction

Riepilogo Tecnico: Amplificare, non Imparare

Enunciato del Problema
I rilevatori di testo AI attuali, quando vengono affinati (fine-tuned) su obiettivi standard di entropia incrociata, mostrano una modalità di fallimento critica: classificano erroneamente scritti umani fluenti e formali (ad esempio, articoli del New York Times) come generati da AI con alta confidenza. In contesti canonici, il 33,5% di tali articoli umani supera la soglia di decisione ($P(AI) \ge 0.5$), ottenendo spesso punteggi superiori alla mediana dell'output di sette grandi famiglie di Modelli Linguistici (LLM). L'assunzione prevalente è che si tratti di un errore di calibrazione o di una mancanza di rappresentazione appresa. Tuttavia, gli autori sostengono che questo fenomeno non è un bug da correggere, ma una diretta conseguenza geometrica di come l'affinamento interagisce con gli encoder pre-addestrati. Nello specifico, i rilevatori non costruiscono un nuovo confine "AI-vs-umano"; essi amplificano un "asse di tipicità" preesistente, intrinseco alla geometria del modello pre-addestrato.

Metodologia e Meccanismo Principale
Il paper ipotizza che la direzione $d_{class} = \text{centroide}(AI) - \text{centroide}(HC3)$ nello spazio [CLS] pre-addestrato rappresenti un asse di tipicità pre-addestrato. Questo asse misura quanto un testo sia "tipico" rispetto alla distribuzione di pre-addestramento, piuttosto che la sua origine (AI vs Umano).

• Proiezione Grezza: Proiettare gli embedding [CLS] grezzi, non affinati, su questo asse ottiene un'alta discriminazione (AUROC 0,806–0,944) tra testo umano formale e la popolazione AI HC3 (Human-ChatGPT Comparison), raggiungendo l'86–106% del limite di prestazione dei rilevatori completamente affinati, senza alcuna supervisione del compito.
• Predizione Falsificabile: Se l'asse misura la tipicità, la scrittura ESL non nativa (che è atipica sotto il pre-addestramento) dovrebbe proiettarsi sul lato opposto del confine rispetto all'AI. Il paper conferma ciò: sui dati ESL non nativi, l'AUROC si inverte a 0,06–0,20, un risultato unico alla lettura basata sulla tipicità.
• Sonde Congelate: Una regressione logistica addestrata su soli 24 esempi congelati corrisponde alla prestazione dell'affinamento completo (0,900 vs 0,895 AUROC), suggerendo che il confine è già codificato nella geometria pre-addestrata.
• Predittore in Forma Chiusa: Gli autori derivano uno sviluppo di Taylor del primo ordine per prevedere lo spostamento del logit ($\Delta \logit$) risultante da un'intervento di rango 1 sullo spazio delle rappresentazioni: $\Delta \logit_t = -\epsilon \cdot \langle clst, d \rangle \cdot (w_{h,t} \cdot d)$. Questo predittore è matematicamente esatto per teste di decodifica lineari e altamente accurato ($R^2 \ge 0,97$) per gli encoder sotto piccole perturbazioni ($|\epsilon| \le 0,7$).

Contributi Chiave

1. Reinterpretazione Geometrica: Il paper stabilisce che i rilevatori affinati amplificano una direzione di tipicità pre-addestrata e fissa, anziché apprendere un nuovo confine discriminativo. L'affinamento ricalibra principalmente questo asse esistente (amplificazione dell'effetto standardizzato $K_{std} \approx 0,86\text{--}1,72$) piuttosto che ruotare significativamente lo spazio delle rappresentazioni.
2. Calibrazione vs Rappresentazione: Tramite valutazioni TPR abbinati, gli autori dimostrano che varie ricette di addestramento "consapevoli dell'equità" (CC-loss, dealign-f2c, LoRA, full fine-tuning) sono equivalenti per la calibrazione. Operano tutte sullo stesso asse condiviso; le differenze nelle prestazioni sono dovute alla scelta della soglia, non a rappresentazioni apprese. Di conseguenza, nessuna scelta di soglia su questo asse può eliminare il pregiudizio contro gli umani fluenti e formali.
3. Interventi di Manipolazione dell'Asse: Il paper introduce un metodo per chiudere il divario di pregiudizio manipolando l'asse stesso. Ablando la direzione di tipicità derivata da HC3 utilizzando il predittore in forma chiusa (intervento signed-$\epsilon$), gli autori ottengono un miglioramento strict-Pareto:
   • Sul rilevatore ELECTRA canonico, questo intervento eleva il Tasso di Veri Positivi (TPR) per HC3-AI da 0,000 a 0,904 a un Tasso di Falsi Positivi (FPR) dell'1% per gli umani formali del NYT.
   • Questo intervento si trasferisce a tre rilevatori RoBERTa di terze parti addestrati indipendentemente, senza riaddestramento, riducendo il NYT-FPR del rilevatore OpenAI del 57%.
4. Generalizzazione Cross-Task: La stessa ricetta di manipolazione dell'asse si generalizza ad altri compiti di equità dei classificatori, inclusi HANS (sovrapposizione lessicale), AAVE (pregiudizio dialettale), Bios (genere-occupazione), fake-news, tossicità e HateCheck, ottenendo una significativa riduzione del pregiudizio attraverso compiti binari e multi-classe.

Risultati

• Prestazioni: La sonda congelata a 24 shot corrisponde all'affinamento completo. Su RoBERTa-base, l'affinamento completo in realtà riduce la discriminazione rispetto alla proiezione grezza su popolazioni fluide-formali.
• Riduzione del Pregiudizio: L'intervento signed-$\epsilon$ riduce il NYT-FPR di 25 volte rispetto a INLP (un metodo standard di debiasing) a recall abbinato. Supera RLACE (che non è convergente in 18/18 celle) e Binoculars con un margine di 6 volte nelle valutazioni tenute fuori cross-LM.
• Robustezza: L'intervento preserva i Tassi di Veri Positivi (TPR) cross-LM riducendo drasticamente i falsi positivi sui testi umani formali. Il meccanismo vale su tre architetture (ELECTRA, RoBERTa-base, DeBERTa-v3), sebbene l'entità dell'effetto vari (ancorata a HC3).
• Invarianza dell'Osservatore: Tre distinte sonde (residualizzazione del tasso di caps della superficie del testo, ablazione signed-$\epsilon$ nello spazio delle rappresentazioni e il predittore in forma chiusa per coppie di testo) convergono sullo stesso oggetto geometrico, con similarità cosinusoidali che variano da 0,74 a 1,00 tra le architetture.

Significato e Affermazioni
Il paper afferma che il problema della rilevazione "AI-vs-umano" è fondamentalmente un problema di tipicità, non di identificazione della fonte. L'affermazione centrale è che le ricette standard di affinamento ricalibrano semplicemente un pregiudizio preesistente in cui il testo umano fluente e formale è "più tipico" della specifica distribuzione di addestramento AI (HC3).

• Implicazione per i Pratici: Il "shopping di varianti" tra ricette di addestramento standard (LoRA, full-FT, CC-loss) non risolverà il pregiudizio contro gli umani fluenti e formali perché tutte amplificano lo stesso asse. L'unica soluzione efficace è un intervento di manipolazione dell'asse parametrizzato dal predittore in forma chiusa.
• Implicazione Teorica: Il paper confuta l'idea che i rilevatori apprendano un nuovo confine "contenuto-AI". Invece, amplificano una direzione di "tipicità" dove testi a bassa perplessità (sia umani che AI) sono classificati come "AI" se sono più tipici della popolazione AI di riferimento.
• Limitazioni: Gli autori notano che mentre l'asse a livello di popolazione è condiviso, i meccanismi per testo (ad esempio, densità di parole funzionali vs lunghezza della frase) variano per architettura. L'entità dell'effetto è ancorata alla distribuzione HC3 e può differire per altre popolazioni AI (ad esempio, RAID). Il predittore in forma chiusa è accurato al primo ordine per piccoli $\epsilon$ e asimmetrico per direzione su certe architetture.

In sintesi, il paper sostiene che i rilevatori attuali non sono rotti; funzionano esattamente come dictated dalla geometria pre-addestrata. Correggere il pregiudizio richiede non un addestramento migliore, ma un intervento geometrico che rimuova il segnale di tipicità confondente.