Riepilogo Tecnico: Rilevamento in Black-Box di Testi Generati da LLM mediante Divergenza Generalizzata di Jensen-Shannon

Enunciato del Problema

Il rapido avanzamento dei Large Language Models (LLM) ha offuscato la distinzione tra testi scritti da umani e testi generati da macchine, sollevando preoccupazioni riguardo a disinformazione, plagio, frodi e al degrado della qualità dei dati di addestramento attraverso loop di feedback ricorsivi. I metodi di rilevamento esistenti presentano limitazioni significative in scenari pratici di black-box:

• I rilevatori basati su classificatori richiedono un addestramento costoso quando i domini o i generatori cambiano e dipendono da dati etichettati di alta qualità.
• I metodi basati su statistiche globali (ad es. verosimiglianza, rango, entropia) sono spesso instabili in caso di disallineamenti di calibrazione e spostamenti di dominio.
• I metodi basati su statistiche distribuzionali (ad es. DetectGPT, DNA-GPT) richiedono tipicamente una rigenerazione o una perturbazione per istanza per stimare la divergenza locale, comportando costi computazionali elevati e latenze irrealistiche per applicazioni ad alto throughput.

Inoltre, i vincoli di black-box esacerbano problemi in cui il modello proxy utilizzato per la valutazione potrebbe non corrispondere al modello sorgente sconosciuto. Il lavoro affronta la necessità di un rilevatore che eviti l'addestramento e la rigenerazione per istanza, rimanendo robusto sotto spostamenti di distribuzione e disallineamenti del modello proxy.

Metodologia: SurpMark

Gli autori propongono SurpMark, un rilevatore in black-box basato su riferimenti che inquadra l'attribuzione come un test di ipotesi privo di verosimiglianza. Il framework opera in due fasi:

1. Costruzione Offline del Riferimento

Utilizzando corpora umani e macchina esistenti, il sistema costruisce matrici di transizione di riferimento fisse:

• Stima della Sorpresa: Un modello linguistico (LM) proxy fisso calcola le sorprese a livello di token ($s_t = -\log p_\theta(x_t | x_{<t})$) per i testi di riferimento.
• Discretizzazione: I valori continui di sorpresa vengono quantizzati in $k$ stati interpretabili (ad es. "Prevedibile", "Sorprendente") utilizzando un quantizzatore $k$-means condiviso. Ciò converte la sequenza in una sequenza di stati discreti $\{a_t\}$.
• Modellazione della Transizione: Le sequenze di stati sono modellate come catene di Markov del primo ordine. Le matrici empiriche di probabilità di transizione ($\hat{M}_{human}$ e $\hat{M}_{machine}$) sono stimate contando le transizioni di stato nei corpora di riferimento.

2. Rilevamento Online

Per un passaggio di testo di prova:

• Estrazione delle Caratteristiche: Lo stesso LM proxy calcola le sorprese, che vengono discretizzate utilizzando il quantizzatore condiviso per formare una sequenza di stati.
• Stima della Transizione: Viene calcolata una matrice empirica di transizione ($\hat{M}_{test}$) per il testo di prova.
• Valutazione: Il rilevatore calcola un punteggio di divergenza Generalized Jensen-Shannon (GJS). Nello specifico, calcola la differenza tra la distanza GJS verso il riferimento macchina e la distanza GJS verso il riferimento umano:
  $$\Delta GJS_n = GJS(\hat{M}_{machine}, \hat{M}_{test}, \alpha) - GJS(\hat{M}_{human}, \hat{M}_{test}, \alpha)$$
  dove $\alpha$ è il rapporto tra la lunghezza del riferimento e la lunghezza del testo di prova.
• Decisione: Il testo è classificato come generato da macchina se $\Delta GJS_n \leq \tau$ (dove $\tau$ è una soglia, tipicamente 0), e come scritto da umano altrimenti.

Giustificazione Teorica

Il lavoro fornisce un'analisi teorica sotto un'approssimazione idealizzata di Markov del primo ordine degli stati di sorpresa discretizzati:

• Tradeoff Discretizzazione-Stima: Gli autori derivano una legge di scala per il numero di bin $k$. Bilanciando l'errore di discretizzazione ($O(1/k)$) e l'errore di stima statistica ($O(k^{3/2}/\sqrt{N})$), il conteggio ottimale dei bin scala come $k^* = \Theta(N^{1/5})$, dove $N$ è la lunghezza totale dei dati di riferimento.
• Validità della Statistica: La statistica $\Delta GJS_n$ è mostrata essere equivalente al rapporto di verosimiglianza logaritmico normalizzato tra le due ipotesi (umano vs. macchina). Gli autori ne dimostrano la normalità asintotica, fornendo una base principiale per la regola decisionale.
• Sufficienza del Primo Ordine: L'analisi empirica e teorica (basata sulla teoria dell'approssimazione di Gray) indica che l'informazione mutua condizionale guadagnata passando da un modello di Markov del primo ordine a uno del secondo ordine è trascurabile (riduzione di perplessità sub-percentuale), giustificando l'uso di modelli del primo ordine per l'efficienza dei dati.

Contributi Chiave

1. Framework SurpMark: Un rilevatore basato su riferimenti che riassume il testo attraverso le dinamiche di sorpresa dei token (transizioni di stato) piuttosto che attraverso verosimiglianze assolute, evitando la necessità di rigenerazione per istanza.
2. Analisi Teorica: Derivazione di linee guida di progettazione per la scalatura dei bin di discretizzazione ($k \propto N^{1/5}$) e una giustificazione principiale della statistica di test basata su GJS come rapporto di verosimiglianza logaritmico.
3. Valutazione Completa: Estesi esperimenti che dimostrano robustezza su dataset diversificati, modelli sorgente (open e closed-source) e scenari (domini misti, parafrasatura, attacchi avversari).

Risultati Sperimentali

SurpMark è stato valutato contro 13 baseline (inclusi DetectGPT, Lastde++, R-Detect e Binoculars) su più dataset (XSum, WritingPrompts, SQuAD, WMT19, HC3, DetectRL) e modelli (9 open-source, 3 closed-source).

• Prestazioni: SurpMark corrisponde o supera costantemente le baseline. Ha raggiunto la media AUROC più alta su 6 dei 9 modelli open-source e si è classificato primo su tutti e 3 i modelli closed-source (incluso GPT-5-Chat), dove le statistiche marginali spesso falliscono.
• Efficienza: A differenza dei metodi distribuzionali che richiedono rigenerazione per input (ad es. DetectGPT, Lastde++), SurpMark valuta i testi in un singolo passaggio. Raggiunge un throughput superiore rispetto alle baseline dopo l'ammortamento del costo di pre-elaborazione una tantum, rendendolo adatto al dispiegamento in tempo reale.
• Robustezza:
  • Disallineamento Proxy: SurpMark rimane stabile anche quando l'LM proxy differisce significativamente dal generatore sorgente, mentre molte baseline degradano.
  • Spostamento di Dominio: Il metodo mantiene alte prestazioni in impostazioni di dominio misto e generatore misto (benchmark DetectRL).
  • Attacchi Avversari: SurpMark dimostra una forte resilienza contro attacchi di parafrasatura (rifinitura, back-translation, DIPPER) e attacchi avversari ingegnerizzati tramite prompt progettati per imitare lo stile umano o eludere il rilevamento.
  • Generalizzazione OOD: Il rilevatore performa bene quando i testi di riferimento provengono da un dominio diverso rispetto al set di prova, indicando che cattura segnali trasferibili piuttosto che artefatti specifici del dominio.

Significato e Affermazioni

Il lavoro afferma che SurpMark offre una soluzione robusta, efficiente e teoricamente fondata per il rilevamento in black-box di testi generati da LLM. Il suo significato risiede in:

• Disaccoppiamento dai Modelli Sorgente: Affidandosi alle dinamiche delle sorprese dei token rispetto a riferimenti fissi, evita la fragilità dei classificatori addestrati su generatori specifici.
• Efficienza Computazionale: Elimina la latenza e i costi associati alla rigenerazione per istanza, consentendo un dispiegamento scalabile.
• Gestione di Modelli Avanzati: Il metodo affronta specificamente la sfida di rilevare testi provenienti da modelli forti e closed-source (come GPT-5) dove le distribuzioni marginali di sorpresa convergono con il testo umano, ma le dinamiche transizionali rimangono distinte.

Gli autori notano modestamente le limitazioni, riconoscendo che l'approssimazione di Markov del primo ordine è un'idealizzazione per lo spazio degli stati discretizzati e che l'esposizione al pre-addestramento di testi umani nel modello proxy potrebbe teoricamente aumentare i falsi positivi, sebbene gli esperimenti suggeriscano che questo effetto sia minimo. Sottolineano che il rilevatore fornisce un segnale probabilistico e non dovrebbe essere utilizzato come unica base per decisioni ad alto rischio senza revisione umana.