SV-Detect: AI-generated Text Detection with Steering Vectors

Problematica
Il rapido dispiegamento dei grandi modelli linguistici (LLM) ha prodotto testi generati da macchine che sono sempre più fluidi e difficili da distinguere dalla scrittura umana. Sebbene i metodi di rilevamento esistenti (come le statistiche a livello di token, i punteggi basati sulla verosimiglianza e i classificatori supervisionati) funzionino bene in-distribuzione, spesso degradano significativamente sotto lo spostamento della distribuzione (distribution shift). Questi spostamenti includono trasferimenti tra diversi domini, modelli sorgente e attacchi basati su editing, come parafrasi, lucidatura (polishing) o riscrittura. Gli attuali rilevatori si affidano frequentemente ad artefatti specifici per un particolare generatore, dataset o stile di attacco, limitando la loro robustezza in scenari reali in cui le condizioni di generazione sono sconosciute o avversarie.

Metodologia: SV-Detect
Il paper propone SV-Detect, un rilevatore di testi falsi che tratta il rilevamento come un problema di sondaggio dello spazio di rappresentazione (representation-space probing) piuttosto che come un compito di classificazione superficiale. L'ipotesi centrale è che i testi scritti da umani e quelli generati da macchine inducano direzioni sistematicamente diverse nello spazio delle rappresentazioni nascoste di un modello linguistico.

Il metodo opera su un modello linguistico congelato (il LLM "sonda") e segue una pipeline a quattro stadi:

1. Estrazione delle rappresentazioni per livello: Gli stati nascosti vengono estratti da ogni livello del LLM congelato. Per ogni livello, gli stati nascosti a livello di token vengono sottoposti a mean-pooling per creare una singola rappresentazione vettoriale per l'intero testo.
2. Costruzione del vettore di sterzata (Steering Vector): Per ogni livello, viene costruito un "vettore di sterzata" per separare i testi scritti da umani da quelli generati da macchine. Il paper valuta tre metodi di costruzione:
   • Differenza delle medie (Mean-difference): La differenza normalizzata tra le medie delle classi delle attivazioni umane e di quelle delle macchine.
   • Regressione logistica (Logistic-regression): Il vettore normale di un iperpiano che separa le due classi, appreso tramite regressione logistica nello spazio delle attivazioni.
   • PCA: La componente principale dominante delle differenze tra le attivazioni false e quelle reali.
     I experimentos identificano l'approccio della regressione logistica come il più robusto.
3. Caratteristiche di proiezione (Projection Features): Un nuovo testo di input viene rappresentato dal suo allineamento con questi vettori di sterzata. Nello specifico, viene calcolata la similarità del coseno tra l'attivazione mediata (pooled) del testo a ogni livello e il corrispondente vettore di sterzata. Questi punteggi formano un vettore di caratteristiche compatto che riassume l'allineamento del testo con le "direzioni del testo falso" attraverso la rete.
4. Testa di rilevamento (Detection Head): Un classificatore leggero (che utilizza per impostazione predefinita la regressione logistica con standardizzazione delle caratteristiche) viene addestrato su queste caratteristiche di proiezione per produrre un punteggio di rilevamento. Fondamentalmente, il LLM sottostante rimane congelato durante tutto il processo.

Contributi Chiave

• Framework Innovativo: Introduzione di SV-Detect, un rilevatore basato su vettori di sterzata estratti dagli stati nascosti di un modello linguistico congelato, evitando la necessità di effettuare il fine-tuning del backbone.
• Generalizzazione Robusta: Dimostrazione di prestazioni elevate attraverso benchmark impegnativi (DetectRL e MIRAGE), inclusi trasferimenti robusti tra domini, modelli sorgente e famiglie di attacchi (es. parafrasi, lucidatura).
• Trasferimento Cross-Benchmark: Evidenza del fatto che i vettori di sterzata appresi da un benchmark (MIRAGE) possono trasferirsi efficacemente a un altro (DetectRL), suggerendo che il metodo catturi un segnale indipendente dal benchmark.
• Interpretabilità: Analisi che mostra come le direzioni di sterzata apprese si allineino con indizi lessicali e stilistici riconoscibili (es. registro formale vs. colloquiale) pur catturando un segnale sostanziale oltre le caratteristiche superficiali.

Risultati Sperimentali
Il metodo è stato valutato su DetectRL (focalizzandosi sulla robustezza attraverso domini, modelli e attacchi) e MIRAGE (focalizzandosi su generazione, lucidatura e riscrittura).

• Prestazioni In-Distribuzione: SV-Detect ha raggiunto prestazioni quasi perfette (AUROC > 99% nella maggior parte dei casi) in tutti gli setting di DetectRL (Multi-Domain, Multi-LLM, Multi-Attack), superando o eguagliando forti baseline supervisionate come RoBERTa e XLM-RoBERTa, e superando sostanzialmente i rilevatori basati su punteggio zero-shot.
• Generalizzazione Cross-Setting: Nelle valutazioni cross-source (addestramento su un dominio/modello e test su un altro), SV-DTect ha dimostrato le prestazioni più coerenti tra i rilevatori confrontati, mantenendo alti punteggi F1 laddove altri metodi sono degradati.
• Prestazioni su MIRAGE: Su MIRAGE, una formulazione multi-task (addestramento di vettori di sterzata separati per i task di Generazione, Lucidatura e Riscrittura) ha ottenuto le migliori prestazioni in tutti i sei setting, superando i precedenti metodi allo stato dell'arte.
• Studi di Ablazione: Lo studio ha confermato che la costruzione dei vettori di sterzata tramite regressione logistica è superiore ai metodi di differenza delle medie o PCA, particolarmente sotto trasferimento. Ha inoltre mostato che la scelta del classificatore a valle conta meno della rappresentazione stessa; la semplice regressione logistica è sufficiente e più robusta di classificatori non lineari complessi (come CatBoost o KNN) sotto spostamento della distribuzione.
• Efficienza: Sebbene SV-Detect richieda un passaggio forward completo attraverso un grande modello linguistico (rendendolo più costoso computazionalmente rispetto ai piccoli modelli encoder-based come RoBERTa), è significativamente più veloce dei rilevatori basati su perturbazione (es. DetectGPT) che richiedono molteplici passaggi forward.

Significato e Rivendicazioni
Il paper posiziona il rilevamento del testo falso come un problema di sondaggio dello spazio di rappresentazione. Gli autori affermano che il testo generato da macchine può essere identificato non solo dalla sua forma superficiale o dalle probabilità di output, ma dalle direzioni stabili nello spazio degli stati nascosti lungo le quali esso differisce dalla scrittura umana.

La significatività del lavoro risiede in:

1. Robustezza: Fornire una soluzione che generalizza attraverso diverse condizioni di generazione e attacchi di editing, affrontando una limitazione chiave degli attuali rilevatori.
2. Interpretabilità: Offrire un meccanismo per comprendere come il rilevatore distingue il testo, rivelando che il segnale si allinea con differenze stilistiche significative (es. "registro lucidato simile a un LLM" vs. "scrittura colloquiale umana") pur codificando informazioni aggiuntive che vanno oltre la superficie.
3. Semplicità: Dimostrare che una semplice proiezione lineare degli stati nascosti, seguita da un classificatore leggero, può superare approcci complessi, fine-tuned o zero-shot in termini di robustezza.

Gli autori concludono che i vettori di sterzata forniscono una soluzione semplice ed efficace per rilevare il testo generato dall'IA, suggerendo che la "firma" della generazione meccanica è una proprietà geometrica stabile all'interno dello spazio di rappresentazione dei modelli linguistici.