Sintesi Tecnica: Apprendimento di Rappresentazioni di Stile Non Supervisionato per il Rilevamento di Testi AI tramite Inversione di Parafrasi

Problema

Il rapido progresso dei Large Language Models (LLM) ha intensificato le preoccupazioni riguardanti il loro uso improprio per il plagio, la disinformazione e le operazioni di influenza automatizzata. I metodi di rilevamento esistenti affrontano limitazioni significative:

• Metodi statistici zero-shot (es. Binoculars, FastDetectGPT) si basano sulle distribuzioni predittive di specifici LLM, risultando fragili rispetto alla parafrasi ed inefficaci quando il modello generatore è sconosciuto.
• Classificatori supervisionati richiedono testi etichettati come umani o generati da macchine, soffrendo di shift di distribuzione quando emergono nuovi LLM, domini o argomenti.
• I rilevatori basati sullo stile esistenti (es. LUAR, CISR) si affidano a etichette di autorialità per l'addestramento e richiedono tipicamente campioni di riferimento in-distribution (few-shot) per funzionare, limitando la loro applicabilità in scenari zero-shot dove non esistono dati di riferimento per un determinato generatore.

La sfida centrale è apprendere caratteristiche di stile discriminanti che distinguano i testi scritti da umani dai testi generati da macchine senza fare affidamento su etichette di autorialità, mantenendo al contempo la robustezza contro la parafrasi avversaria e la capacità di generalizzare verso LLM non visti.

Metodologia: LUSR (Apprendimento di Rappresentazioni di Stile Non Supervisionato)

Gli autori propongono LUSR, un framework che apprende rappresentazioni di stile attraverso un compito di inversione di parafrasi senza richiedere etichette di autorialità.

Concetto Centrale

Il metodo definisce lo "stile" come le caratteristiche alterate da una parafrasi semanticamente equivalente. Poiché le parafrasi preservano il significato ma cambiano le forme superficiali (sintassi, punteggiatura, scelta lessicale), un encoder addestrato a ricostruire il testo originale dalla sua parafrasi deve catturare questi residui stilistici.

Architettura e Obiettivo di Addestramento

1. Input: Un testo scritto da un umano $t$ e la sua parafrasi generata da una macchina $P(t)$.
2. Encoder:
   • Semantic Encoder ($Sem$): Un encoder di frasi pre-addestrato e congelato (SBERT) che genera un embedding semantico $e_l$. Ciò garantisce che il modello non si affidi al contenuto semantico per la ricostruzione.
   • Style Encoder (LUSR): Un encoder apprendibile (inizializzato da RoBERTa-large) che genera un embedding di stile $e_s$.
3. Ricostruzione: Un modello di linguaggio causale (Llama-3.2-1B con LoRA) viene addestrato per ricostruire il testo originale $t$ condizionato a:
   • La parafrasi $P(t)$.
   • L'embedding semantico proiettato $W_l e_l$.
   • L'embedding di stile proiettato $W_s e_s$.
4. Bias Induttivo: Congelando l'encoder semantico, l'obiettivo di addestramento costringe l'encoder LUSR a catturare solo le caratteristiche non semantiche necessarie per riportare la parafrasi della macchina al testo umano originale. Questo separa efficacemente lo stile dal contenuto senza supervisione esplicita dell'autorialità.

Strategie di Rilevamento

Le rappresentazioni di stile apprese tramite LUSR sono utilizzate in due regimi di rilevamento:

1. Rilevamento Few-Shot: Utilizza un approccio basato su prototipi (Snell et al., 2017). Dati $k$ campioni di supporto di testo generato da macchina, il rilevatore calcola il centroide nello spazio LUSR e classifica le query in base alla similarità del coseno con questo centroide.
2. Rilevamento Zero-Shot (DeepSVDD): Tratta il testo generato da macchina come in-distribution (ID) e il testo umano come out-of-distribution (OOD). Un rilevatore DeepSVDD apprende un ipersfera compatta attorno ai campioni generati da macchine nello spazio degli embedding LUSR. I campoli che deviano significativamente dal centro vengono segnalati come scritti da umani. Questo approccio è addestrato solo su dati generati da macchine (nessuna etichetta umana richiesta per la fase di addestramento del rilevatore).

Contributi Chiave

1. Apprendimento dello Stile Senza Etichette: Introduce un obiettivo di addestramento che apprende caratteristiche di stile discriminanti senza etichette di autorialità, affrontando una limitazione chiave dei precedenti rilevatori basati sullo stile.
2. Compito di Inversione di Parafrasi: Operazionalizza la definizione di stile come "ciò che una parafrasi cambia", consentendo al modello di concentrarsi sui residui non semantici.
3. Doppio Regime di Rilevamento: Dimostra che le rappresentazioni apprese supportano sia il rilevamento few-shot (quando sono disponibili campioni di riferimento) sia il rilevamento zero-shot (tramite DeepSVDD) senza dover riaddestrare l'encoder di stile.
4. Generalizzazione: Dimostra che le rappresentazioni generalizzano a LLM non visti e si trasferiscono ad altri compiti come la verifica dell'autorialità e la discriminazione fine dello stile.

Risultati Sperimentali

Prestazioni Few-Shot (Benchmark M4)

• Rilevamento Single-Target: LUSR ha raggiunto un AUROC(1) di 69 con un solo campione di supporto $k=1$, eguagliando il miglior baseline zero-shot (Binoculars) e superando tutti gli altri metodi basati sullo stile. Con $k=5$, LUSR ha raggiunto 96, superando significativamente il secondo miglior metodo basato sullo stile (LUAR Multidomain a 89).
• Rilevamento Multiple-Target: LUSR ha raggiunto 93 AUROC(1) a $k=5$, con un miglioramento di 10 punti rispetto al miglior precedente stile di rappresentazione.
• Robustezza: LUSR ha mantenuto un AUROC(1) sopra 90 nel setting multiple-target anche quando la maggior parte delle query era stata parafrasata usando DIPPER, superando tutti i baseline.

Prestazioni Zero-Shot (Benchmark MAGE)

• Il rilevatore DeepSVDD basato su LUSR ha raggiunto un AUROC(1) di 78, superando tutti i baseline statistici zero-shot (es. Binoculars a 54, FastDetectGPT a 63) e seguendo solo il classificatore supervisionato Longformer (81).
• Generalizzazione a Modelli Non Visti: Nello scenario "Unseen Models", il DeepSVDD di LUSR (97 AUROC) ha superato il classificatore supervisionato Longformer (93 AUROC), suggerendo che le caratteristiche di stile catturino indizi invarianti rispetto al generatore meglio di quanto facciano i modelli addestrati su output specifici di LLM.
• Generalizzazione a Domini Non Visti: Il Longformer supervisionato è stato leggermente migliore sui domini non visti (95 contro 91), indicando un compromesso in cui i modelli supervisionati possono catturare più efficacemente gli artefatti specifici del dominio.

Trasferimento su Compiti Non Visti

Senza alcuna supervisione specifica del compito, gli embedding LUSR sono stati valutati su:

• Verifica dell'Autorialità (compiti PAN): LUSR ha raggiunto un AUROC medio di 74, secondo solo a LUAR (78) e superando altre rappresentazioni di stile (MSR, CISR, StyleDistance), nonostante non sia mai stato addestrato su etichette di autorialità.
• Discriminazione Fine dello Stile (STEL): LUSR ha ottenuto un punteggio di 84 sulla metrica S-o-C (Style-or-Content), seguendo solo StyleDistance, dimostrando la sua capacità di isolare lo stile dal contenuto.

Significato e Rivendicazioni

L'articolo sostiene che la inversione di parafrasi funge da segnale universale per l'apprendimento dello stile di scrittura senza etichette di autorialità. Gli autori affermano che:

• Il metodo riesce a decomporre lo stile dal contenuto semantico attraverso il congelamento dell'encoder semantico.
• Le rappresentazioni risultanti sono robuste alla parafrasi avversaria e generalizzano ai modelli non visti meglio dei classificatori completamente supervisionati in contesti zero-shot.
• Le caratteristiche apprese non sono meri artefatti di un parafrasatore specifico, ma catturano distinzioni stilistiche fondamentali utili in molteplici compiti (rilevamento, verifica dell'autorialità, discriminazione dello stile).

Limitazioni: Gli autori riconoscono che i dati di addestramento sono limitati a post di Reddit in inglese parafrasati da Mistral-7B. Di conseguenza, le rappresentazioni di stile ereditano le regolarità stilistiche del parafrasatore specifico utilizzato, e l'efficacia su altre lingue, domini o registri formali (es. legale, medico) rimane non validata. Inoltre, la definizione di "non semantico" è vincolata dai bias dell'encoder semantico SBERT congelato.