$k$NNProxy: Efficient Training-Free Proxy Alignment for Black-Box Zero-Shot LLM-Generated Text Detection

1. Il Problema: Rilevamento di Testo Generato da LLM (LGT)

L'aumento dell'uso dei Modelli Linguistici su Grande Scala (LLM) ha reso cruciale la capacità di distinguere tra testo scritto da umani (HWT) e testo generato da AI (LGT) per garantire l'integrità accademica, la sicurezza e la forense digitale.

• Limiti degli approcci esistenti:
  • Metodi basati sull'apprendimento: Richiedono dati etichettati e addestramento specifico, risultando spesso poco generalizzabili su nuovi modelli o domini (Out-of-Distribution - OOD).
  • Metodi Zero-Shot: Non richiedono addestramento e utilizzano un "proxy LLM" (un modello accessibile) per simulare il comportamento del "source LLM" (il modello che ha generato il testo, spesso sconosciuto e a scatola chiusa). Tuttavia, la loro affidabilità dipende criticamente dall'allineamento tra le distribuzioni di probabilità del proxy e del source.
• La sfida principale: In scenari reali "black-box", il source LLM è sconosciuto. I metodi attuali di allineamento del proxy (come DALD, che richiede fine-tuning supervisionato, o Glimpse, che richiede interrogazioni ripetute alle API commerciali) soffrono di:
  1. Alti costi computazionali e di API.
  2. Fragilità: Sono sensibili ai cambiamenti silenziosi delle API o agli aggiornamenti dei modelli proprietari.
  3. Scarsa robustezza OOD: Le prestazioni crollano quando il testo di test appartiene a un dominio diverso da quello su cui è stato allineato il proxy.

2. Metodologia: kNNProxy

Gli autori propongono kNNProxy, un framework di allineamento del proxy senza addestramento (training-free) ed efficiente nelle query, che riutilizza il meccanismo di recupero del modello kNN-LM (k-Nearest Neighbor Language Model) come adattatore di dominio.

A. Costruzione del Datastore (Offline)

Invece di addestrare un nuovo modello, kNNProxy costruisce una volta sola un datastore (archivio) derivato da un corpus di testo generato dal modello target (o da dataset esistenti).

• Il datastore contiene coppie di (contesto, token successivo).
• I contesti sono codificati utilizzando il proxy LLM fisso per ottenere rappresentazioni vettoriali.
• Questo processo è fatto una volta sola (una tantum) e non richiede l'accesso ai parametri interni del source LLM.

B. Allineamento tramite Recupero kNN (Inference)

Durante l'inferenza, per ogni token di un testo sospetto:

1. Si calcola la distribuzione di probabilità del proxy LLM fisso.
2. Si recuperano i k vicini più prossimi (k-NN) dal datastore basandosi sul contesto corrente.
3. Si costruisce una distribuzione predittiva indotta dai vicini (kNN-induced distribution), pesata in base alla distanza.
4. Si interpola la distribuzione del proxy con quella dei vicini kNN per ottenere una distribuzione allineata:
   $$\hat{\pi}^{(i)} = \lambda_i \pi^{(i)}_{prx} + (1 - \lambda_i) \pi^{(i)}_{knn}$$
   Questo corregge le probabilità del proxy verso il comportamento del source LLM senza bisogno di fine-tuning o chiamate API per ogni token.

C. Estensione: MoP (Mixture of Proxies)

Per gestire lo spostamento di dominio (domain shift), gli autori introducono MoP, un'architettura di tipo Mixture of Experts.

• Vengono costruiti datastore specifici per diversi domini (es. accademico, social media, notizie).
• Un router leggero (basato su embedding di frasi) instrada ogni input al datastore (esperto) più compatibile, garantendo un recupero coerente con il dominio e migliorando la robustezza OOD.

D. Analisi Teorica e Adattività

Il paper deriva un limite teorico di errore di approssimazione dipendente dalla dimensione del corpus. Questo risultato motiva l'uso di iperparametri adattivi a livello di token:

• La dimensione dei vicini ($k$), la temperatura ($\tau$) e il peso di interpolazione ($\lambda$) vengono adattati dinamicamente in base alla densità locale e all'affidabilità del recupero, evitando la necessità di costose ricerche di iperparametri globali.

E. Stabilità del Rilevamento

Per stabilizzare il punteggio finale, viene introdotta una strategia di clipping della coda inferiore (tail clipping) sui log-likelihood dei token, riducendo l'impatto di outlier estremi che potrebbero distorcere il punteggio aggregato.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark moderni come Mix8 (8 LLM proprietari recenti) e DetectRL (inclusi attacchi di parafraasi e perturbazione).

• Prestazioni di Rilevamento (AUROC):
  • kNNProxy ha raggiunto un AUROC medio di 0.99 su otto LLM proprietari recenti.
  • Ha superato il metodo di allineamento stato dell'arte (SOTA) precedente (Glimpse) con un miglioramento del 6.45% nell'AUROC medio.
  • Rispetto ai rilevatori zero-shot senza allineamento, i guadagni sono stati significativi (es. +71% per Fast-DetectGPT su alcuni set).
• Robustezza OOD:
  • L'approccio MoP ha dimostrato una robustezza superiore nello scenario "Out-of-Domain", mantenendo alte prestazioni anche quando il testo di test proviene da domini o modelli non visti durante la costruzione del datastore.
• Attribuzione della Fonte:
  • Oltre al rilevamento binario, il meccanismo è stato esteso all'attribuzione della fonte (determinare quale LLM ha generato il testo), ottenendo un'accuratezza media (ACC) di 0.84 su un set di 4 LLM.

4. Contributi Chiave

1. Allineamento Training-Free: kNNProxy elimina la necessità di fine-tuning del proxy o di interrogazioni API ripetute, rendendo il metodo economico e scalabile.
2. Robustezza OOD con MoP: L'introduzione di un meccanismo di routing per domini specifici risolve il problema della degradazione delle prestazioni su testi fuori distribuzione.
3. Guida Teorica: La derivazione di un limite di errore ha portato alla progettazione di iperparametri adattivi a livello di token, migliorando l'affidabilità senza tuning manuale.
4. Prestazioni SOTA: Dimostrazione empirica di un nuovo stato dell'arte nel rilevamento zero-shot black-box, con un miglioramento sostanziale rispetto alle tecniche precedenti.

5. Significato e Impatto

Questo lavoro è significativo perché offre una soluzione pratica e sostenibile al problema del rilevamento di testi generati da AI in scenari reali, dove i modelli sorgente sono spesso proprietari, in continua evoluzione e inaccessibili.

• Sostenibilità: Riduce drasticamente i costi computazionali e di API rispetto ai metodi di allineamento precedenti.
• Resilienza: Offre una difesa più robusta contro l'obsolescenza dei modelli e i cambiamenti delle API.
• Versatilità: La metodologia non è limitata al solo rilevamento, ma si estende all'attribuzione della fonte, ampliando le applicazioni forensi.

In sintesi, kNNProxy rappresenta un passo avanti fondamentale verso sistemi di rilevamento di AI generativa che siano affidabili, economici e adattabili al dinamico panorama dei Large Language Models.