Learn-to-Distance: Distance Learning for Detecting LLM-Generated Text

1. Il Problema

L'ascesa di modelli linguistici su larga scala (LLM) come GPT, Claude e Gemini ha trasformato la produzione di contenuti, ma ha sollevato gravi preoccupazioni riguardo alla disinformazione, all'integrità accademica e alla proprietà intellettuale. La sfida principale risiede nella capacità di questi modelli di generare testi altamente simili a quelli umani.
Esistono due approcci principali per il rilevamento:

1. Attivo: Inserimento di watermark durante la generazione (richiede accesso al modello).
2. Passivo: Rilevamento senza conoscenza preventiva del watermarking (l'obiettivo di questo lavoro).

Gli algoritmi passivi esistenti si basano spesso su metodi zero-shot (senza addestramento) o su approcci basati su Machine Learning (ML). Tuttavia, molti di questi metodi falliscono quando i testi sono generati con prompt non visti durante l'addestramento o quando vengono sottoposti ad attacchi avversari (es. parafrasi). In particolare, i metodi basati sulla riscrittura (rewrite-based) esistenti utilizzano spesso distanze fisse (es. distanza di Levenshtein, BERTScore) che non si adattano bene alle diverse geometrie degli spazi di embedding dei vari LLM.

2. Metodologia: Learn-to-Distance (L2D)

Gli autori propongono L2D, un nuovo algoritmo di rilevamento passivo basato sulla riscrittura che impara adattivamente una funzione di distanza invece di affidarsi a metriche fisse.

Fondamenti Teorici e Geometrici

Il paper introduce un approccio geometrico per spiegare il funzionamento dei metodi basati sulla riscrittura:

• Ipotesi Geometrica: Si assume che lo spazio dei testi umani ($H$) e quello dei testi generati da LLM ($M$) siano sottospazi (o varietà) distinti. I testi generati da un LLM possono essere visti come una proiezione dei testi umani su un sottospazio $M$ vincolato dall'architettura del modello.
• Proposizione 1: Dimostra che l'errore di ricostruzione (la distanza tra un testo originale e la sua riscrittura generata dall'LLM) è statisticamente più alto per i testi umani rispetto a quelli generati da LLM. Questo perché i testi umani si trovano più lontano dal sottospazio $M$ rispetto ai testi già generati da LLM.
• Robustezza ai Prompt: La teoria dimostra che questo metodo è robusto anche quando i prompt di generazione cambiano (shift distributivo), purché la riscrittura preservi il significato semantico.
• Proposizione 3 (Ottimalità): Dimostra che la funzione di distanza ottimale non è fissa, ma dovrebbe assegnare distanza zero a coppie di testi entrambi generati da LLM e distanza massima a coppie miste (umano/LLM). Poiché questa funzione ottimale dipende dal modello target specifico, una distanza fissa è subottimale.

Algoritmo Proposto

L2D segue questi passaggi:

1. Riscrittura: Per un testo $X$, si generano $K$ riscritture $R(X)$ utilizzando un LLM di riscrittura (es. Gemma-2-9b-it).
2. Apprendimento della Distanza: Invece di usare una metrica predefinita, si apprende una funzione di distanza parametrica $d_\phi$.
   • La distanza è definita come: $d_\phi(X_1, X_2) = \left| \frac{\log p_\phi(X_1)}{\text{len}(X_1)} - \frac{\log p_\phi(X_2)}{\text{len}(X_2)} \right|$, dove $p_\phi$ è un modello linguistico adattato.
   • L'obiettivo è massimizzare la discrepanza tra l'errore di ricostruzione dei testi umani e quello dei testi LLM:
     $$\max_\phi \left( \mathbb{E}_{X \sim D_h}[d_\phi(X, R(X))] - \mathbb{E}_{X \sim D_m}[d_\phi(X, R(X))] \right)$$
3. Addestramento: Si utilizza un corpus umano ($D_h$) e uno generato da LLM ($D_m$) per addestrare i parametri $\phi$ (spesso tramite LoRA su un modello pre-addestrato).
4. Classificazione: Un nuovo testo è classificato come generato da LLM se la sua distanza media dalle riscritture è inferiore a una soglia predeterminata.

3. Contributi Chiave

1. Metodologico: Sviluppo di un metodo che impara adattivamente la metrica di distanza, superando i limiti delle distanze fisse (come N-gram o Levenshtein) che non generalizzano bene tra diversi LLM o dataset.
2. Teorico: Fornisce una giustificazione geometrica rigorosa per i metodi basati sulla riscrittura, dimostrando la loro validità (Proposizione 1), la robustezza ai prompt non visti (Proposizione 2) e la necessità di apprendere la distanza (Proposizione 3).
3. Empirico: Esecuzione di esperimenti estensivi su oltre 100 configurazioni, coprendo 24 dataset, 7 modelli target e 3 tipi di prompt inediti.

4. Risultati Sperimentali

Gli esperimenti confrontano L2D con 12 metodi state-of-the-art (inclusi Fast-DetectGPT, ImBD, RAIDAR, ecc.).

• Prestazioni Generali: L2D supera tutti i baseline nella maggior parte degli scenari.
  • Su dataset diversi (accademico, codice, notizie, ecc.), L2D ottiene miglioramenti relativi rispetto al miglior baseline che variano dal 54,3% al 75,4%.
  • In media, il miglioramento relativo è del 41,5% - 75,4% a seconda del modello target (GPT, Claude, Gemini).
• Robustezza ai Prompt: A differenza dei metodi logits-based (come DetectGPT) che crollano quando il prompt di generazione cambia, L2D mantiene prestazioni elevate (AUC vicino a 1.0) anche con prompt di riscrittura, espansione o rifinitura non visti.
• Resistenza agli Attacchi Avversari: Sotto attacchi di rephrasing (parafrasi) e decoherence (scambio di parole), L2D mantiene la sua efficacia, mentre altri metodi (come RAIDAR) subiscono cali significativi di performance.
• Studio Ablativo: Il confronto tra L2D e una versione che utilizza la distanza fissa (FD, senza addestramento della metrica) mostra un miglioramento relativo medio del 96%, confermando che l'apprendimento adattivo della distanza è il fattore critico di successo.

5. Significato e Implicazioni

Il lavoro "Learn-to-Distance" rappresenta un passo avanti significativo nel campo della rilevazione di testi generati da AI.

• Generalizzazione: Risolve il problema della scarsa generalizzazione dei metodi attuali quando si passa da un modello LLM all'altro o quando cambiano le condizioni di generazione (prompt).
• Teoria Pratica: Collega intuizioni geometriche astratte a un algoritmo pratico e performante, fornendo una base teorica solida per futuri sviluppi.
• Affidabilità: La robustezza agli attacchi avversari suggerisce che L2D potrebbe essere un candidato affidabile per il deployment in scenari reali, dove gli utenti potrebbero tentare di eludere i rilevatori.
• Accessibilità: L'implementazione è pubblica e il metodo non richiede l'accesso ai modelli proprietari per l'addestramento (utilizza solo corpus umani e LLM open-source per la riscrittura), rendendolo scalabile ed economico.

In sintesi, L2D dimostra che imparare a misurare la distanza tra un testo e la sua riscrittura è una strategia superiore rispetto all'uso di metriche statiche, offrendo una soluzione robusta e adattiva alla crescente sfida del rilevamento dei contenuti generati dall'IA.