A Training-free Method for LLM Text Attribution

1. Il Problema

Con la rapida diffusione dei Modelli Linguistici di Grande Dimensione (LLM), è diventato estremamente difficile distinguere tra testi generati da umani e quelli prodotti dall'IA. Questo crea sfide critiche per:

• Responsabilità e integrità: Assegnare la paternità corretta di un contenuto (es. accademico, giornalistico) e prevenire la disinformazione.
• Conformità organizzativa: Molte istituzioni (università, aziende) utilizzano LLM interni ("in-house") e devono garantire che non vengano utilizzati modelli non autorizzati ("non-sanctioned") per generare contenuti sensibili.
• Limiti delle soluzioni attuali:
  • I metodi basati sull'apprendimento (classificatori neurali) richiedono grandi dataset di addestramento, generalizzano male su nuovi modelli o domini e soffrono di alti tassi di falsi positivi (accusare ingiustamente un umano di aver usato l'IA).
  • I metodi di watermarking richiedono la cooperazione del fornitore dell'IA per inserire segnali nascosti, il che spesso non avviene per motivi di concorrenza e flessibilità.
  • I metodi zero-shot esistenti sono spesso euristici e mancano di garanzie teoriche rigorose, specialmente per testi brevi (es. tweet, risposte brevi).

L'obiettivo del paper è rispondere alla domanda: Data una stringa di testo, possiamo determinare se è stata prodotta da un LLM specifico, garantendo un tasso di falsi positivi (Type I error) estremamente basso e controllabile, anche per testi di lunghezza finita e potenzialmente breve?

2. Metodologia

Gli autori propongono un metodo senza addestramento (training-free) basato su test statistici zero-shot.

Modelli e Ipotesi

• Processo Stocastico Sequenziale: Il testo generato da un LLM è modellato come un processo stocastico sequenziale con dipendenza completa dalla storia (autoregressivo). Ogni token dipende da tutti i token precedenti e dal prompt.
• Ruoli:
  • Modello Valutatore (A): Il modello usato per valutare il testo (es. il modello interno dell'istituzione o il modello sospettato).
  • Modello Generatore (B): Il modello che ha effettivamente prodotto il testo (può essere A, un altro LLM, o un umano).
• Accesso: Il metodo è sviluppato inizialmente in un setting White-box (accesso completo alle distribuzioni di probabilità condizionate del modello valutatore) e successivamente esteso al setting Black-box (accesso solo tramite campionamento).

Statistiche Chiave

Il cuore del metodo si basa sulla convergenza di due proprietà statistiche:

1. Log-perplexity ($l_A$): Misura quanto il modello valutatore $A$ trova "sorprendente" il testo osservato. È la media del logaritmo negativo della probabilità assegnata ai token.
2. Cross-Entropia Media ($h_N(B, A)$): Rappresenta il valore atteso della log-perplexity di $A$ quando il testo è generato da $B$.

L'idea fondamentale:

• Se il testo è generato da $A$, la log-perplexity osservata converge all'entropia di $A$.
• Se il testo è generato da $B$ (diverso da $A$), la log-perplexity osservata converge alla cross-entropia tra $B$ e $A$.
• Poiché $A$ e $B$ hanno distribuzioni diverse, questi due valori di convergenza sono distinti. Il metodo verifica se la log-perplexity osservata è vicina all'entropia di $A$ (ipotesi $A$) o alla cross-entropia $B \to A$ (ipotesi non-$A$).

Strumenti Matematici

Per gestire la dipendenza sequenziale dei token (che rende inapplicabili i teoremi classici per variabili i.i.d.), gli autori:

1. Definiscono variabili aleatorie per token che rappresentano la deviazione tra la log-perplexity e la sua media teorica.
2. Dimostrano che queste variabili formano una martingala.
3. Utilizzano disuguaglianze di concentrazione per martingale (estendendo i risultati di Zhao, 2022, al caso dipendente) per ottenere limiti superiori non asintotici sugli errori.

3. Contributi Chiave

1. Test Statistici con Garanzie Teoriche per Testi Brevi:

   • Sono i primi a sviluppare test zero-shot con garanzie teoriche per testi di lunghezza finita (anche brevi, ~50-100 token).
   • Dimostrano che gli errori di Tipo I (falso positivo) e Tipo II (falso negativo) decadono esponenzialmente con la lunghezza del testo ($N$).
   • Questo permette di controllare rigorosamente il tasso di falsi positivi, cruciale in contesti regolatori o accademici.

2. Due Tipi di Test:

   • Attribuzione: Distinguere se un testo proviene da un insieme di modelli $A$ (es. non autorizzati) o da un insieme disgiunto $B$ (es. interni).
   • Rilevamento (Detection): Distinguere se un testo è stato generato da un modello specifico $A$ o da qualsiasi altra fonte sconosciuta ("not A").

3. Estensione al Setting Black-box:

   • Estendono la teoria al caso in cui non si hanno accesso alle probabilità logaritmiche del modello valutatore, ma solo alla capacità di campionare (API black-box).
   • Caratterizzano la dimensione del campione necessaria per ottenere gli stessi limiti di errore del setting white-box.

4. Limiti Inferiori (Lower Bounds):

   • Forniscono un limite inferiore informativo-teorico che dimostra che il decadimento esponenziale degli errori è quasi ottimale; nessun detector può fare meglio di un certo tasso di decadimento basato sulla divergenza KL tra le distribuzioni.

4. Risultati Sperimentali

Gli autori hanno validato la teoria attraverso esperimenti numerici su diversi dataset (SQuAD, XSum, Reddit WritingPrompts, RAID) e modelli (LLaMA, Falcon, Qwen, GPT-Neo).

• Convergenza: Gli esperimenti confermano che la log-perplexity converge rapidamente alla cross-entropia media anche per testi brevi (~100 token).
• Attribuzione (Proposizione 1): Il metodo distingue efficacemente tra modelli della stessa famiglia (es. LLaMA2 vs LLaMA3) e modelli diversi, mantenendo tassi di falsi positivi molto bassi (spesso < 1-2%).
• Rilevamento (Proposizione 2):
  • Confrontato con baselines zero-shot (Binoculars, DetectGPT, FastDetectGPT) e commerciali (GPTZero), il metodo proposto mostra prestazioni superiori, specialmente su dataset basati su fatti (SQuAD) dove le differenze stilistiche sono minime.
  • Mantiene un alto True Positive Rate (TPR) mantenendo il False Positive Rate (FPR) sotto l'1%.
• Robustezza (Setting Black-box e Adversarial):
  • Utilizzando il dataset RAID (6 milioni di testi con attacchi adversarial), il metodo dimostra robustezza contro manipolazioni come cambi di sinonimi, cancellazione di articoli, e attacchi di parafrasi.
  • Le prestazioni rimangono stabili anche senza accesso diretto alle probabilità del modello, utilizzando solo il campionamento.

5. Significato e Implicazioni

• Sicurezza e Governance: Il metodo offre uno strumento pratico per le organizzazioni per far rispettare le politiche sull'uso dell'IA (es. vietare modelli esterni) senza richiedere l'addestramento di nuovi classificatori o la cooperazione dei fornitori di AI.
• Affidabilità Giuridica/Accademica: La garanzia teorica di un basso tasso di falsi positivi è fondamentale per evitare accuse ingiuste a studenti o ricercatori, un problema grave con i detector attuali.
• Avanzamento Teorico: L'applicazione delle disuguaglianze di concentrazione per martingale ai processi di generazione del testo LLM apre nuove strade per l'analisi statistica di sistemi sequenziali dipendenti, superando i limiti delle assunzioni i.i.d.
• Indipendenza: Essendo un metodo "training-free", è immediatamente applicabile a nuovi modelli man mano che vengono rilasciati, senza necessità di ri-addestramento.

In sintesi, il paper presenta un approccio rigoroso, teoricamente fondato e praticamente robusto per l'attribuzione e il rilevamento del testo generato da LLM, risolvendo il compromesso tra accuratezza e controllo dei falsi positivi che affligge le soluzioni attuali.