Sintesi Tecnica: Autorecognition di LLM tramite Steering e Recupero di Firme di Attivazione

Definizione del Problema

Man mano che i Large Language Models (LLM) diventano onnipresenti nella generazione di contenuti, distinguere il testo generato da IA da quello scritto da esseri umani e attribuire output specifici a particolari modelli o istanze è diventato critico per l'audit e la responsabilità. Gli attuali metodi di rilevamento presentano limitazioni significative:

• Watermarking: Gli approcci tradizionali che modificano le probabilità dei token o selezionano i token per codificare informazioni nascoste spesso comportano un overhead computazionale e soffrono di compromessi tra robustezza del rilevamento e qualità dell'output.
• Classificatori Post-Generazione: I metodi basati su proprietà statistiche del testo o su classificatori addestrati su corpora etichettati sono sensibili ai cambiamenti di dominio e faticano a distinguere tra diversi LLM o specifiche istanze di modello.
• Gap di Autorecognition: Sebbene recenti lavori di interpretabilità suggeriscano che gli LLM possano riconoscere i propri output, questa capacità non è stata sistematicamente sfruttata per un'attribuzione affidabile, né è stata aumentata con firme controllabili e recuperabili senza degradare la qualità del testo.

Metodologia

Il documento propone un framework che sfrutta le attivazioni del residual stream intermedio di un LLM sia per l'autorecognition che per l'attribuzione. L'approccio opera sotto un modello di minaccia white-box, assumendo l'accesso alle attivazioni interne del modello target durante il rilevamento.

1. Estrazione delle Attivazioni e Autorecognition

Gli autori estraggono le attivazioni intermedie $A_l(x_i)$ in un layer $l$ fisso (tipicamente vicino alla metà della rete) per una sequenza di token. Per distinguere tra testo generato da LLM e scritto da umani, aggregano queste attivazioni a livello di token tramite una semplice media per formare una rappresentazione a dimensionalità fissa. Un classificatore leggero di Analisi Discriminante Lineare (LDA) viene quindi addestrato su queste rappresentazioni. Questa configurazione testa la capacità intrinseca di "autorecognition" del modello.

2. Watermarking Basato su Steering

Per abilitare l'attribuzione multi-modello (distinguere tra diverse istanze dello stesso modello base), gli autori introducono un meccanismo di steering durante l'inferenza:

• Iniezione di Vettori: Durante la generazione, un vettore sparso casuale $v \in \mathbb{R}^d$ viene scalato da un coefficiente di amplificazione $\alpha$ e aggiunto alle attivazioni intermedie al layer $l$ per ogni token:
  $$A_l(x_i) \leftarrow A_l(x_i) + \alpha v$$
• Sparsità: A differenza delle intervezioni dense, i vettori di steering sono costruiti con un'alta sparsità (99,7% di dimensioni zero). Questa scelta di design mira a minimizzare le perturbazioni al contenuto semantico mantenendo al contempo un segnale rilevabile.
• Recupero: Al momento del rilevamento, il testo generato viene passato attraverso lo stesso modello (senza steering) per estrarre le attivazioni. Il vettore di steering originale viene recuperato tramite:
  • Apprendimento Supervisionato: Un Perceptron Multistrato (MLP) addestrato per classificare l'indice di steering.
  • Recupero Geometrico Zero-Shot: Calcolo della similarità del coseno tra le attivazioni estratte e i vettori di steering candidati, facendo affidamento sull'ortogonalità dei vettori casuali rispetto ai manifold semantici.

Contributi Chiave

Il documento presenta tre contributi principali:

1. Dimostrazione Empirica di Autorecognition: Gli autori dimostrano che gli LLM possono distinguere in modo affidabile i propri output dal testo scritto da umani, anche in scenari a bassa entropia (es. brevi riassunti di notizie) e senza accesso al prompt originale.
2. Meccanismo di Attribuzione Basato su Steering: Introducono un metodo per iniettare firme distinte e recuperabili nel testo generato tramite lo steering delle attivazioni interne. Ciò consente un'attribuzione accurata tra diverse istanze guidate dello stesso modello senza compromettere la qualità della generazione.
3. Analisi della Struttura dello Spazio di Attivazione: Il lavoro dimostra che gli spazi di attivazione interna contengono una struttura sfruttabile per codificare segnali casuali. Mostra che le intervezioni sparse permettono il recupero del segnale con un'interferenza semantica minima, suggerendo che i segnali di attribuzione possono coesistere con il contenuto semantico grazie alla geometria ad alta dimensionalità delle rappresentazioni degli LLM.

Risultati Sperimentali

Gli esperimenti sono stati condotti su vari modelli (Llama-3.1-8B, Llama-3.2-3B/1B, Ministral-3-8B) su dataset che includono XL-Sum (riassunto a bassa entropia), ELI5 (QA open-ended) e un dataset curato di Fresh News.

• Performance di Autorecognition: Il classificatore basato su attivazioni ha raggiunto punteggi AUROC quasi perfetti (spesso >99%) nel distinguere il testo LLM dal testo umano. Fondamentalmente, questa performance è rimasta robusta in setting prompt-agnostic, dove i baseline basati sulla perplexity spesso fallivano o performavano vicino al caso senza l'accesso al prompt.
• Accuratezza di Attribuzione: Nei compiti di attribuzione multi-modello (distinguere tra due o più varianti steerate), il metodo ha ottenuto alti punteggi F1 (es. 99,1% per Llama-3.1-8B su ELI5). La performance è scalata con la dimensione del modello e rimane significativamente sopra i baseline casuali anche all'aumentare del numero di classi.
• Robustezza: Il segnale di steering ha dimostrato una robustezza superiore alla parafrasi (usando DIPPER-XXL) rispetto al watermarking KGW tradizionale. Il segnale è persistito anche dopo una forte parafrasi, probabilmente perché l'attribuzione si basa su pattern di attivazione aggregati su molti token piuttosto che su statistiche locali dei token.
• Preservazione della Qualità: Utilizzando un classificatore di qualità DeBERTa fine-tuned e benchmark MMLU, gli autori hanno scoperto che lo steering sparso induce una degradazione trascurabile nella qualità del testo. In alcuni casi, i modelli steerati hanno mostrato lievi miglioramenti della qualità o hanno mantenuto le prestazioni entro l'1-2% dei modelli vanilla, superando la degradazione spesso vista con le intervezioni dense.
• Recupero Diretto del Segnale: Lo studio ha confermato che il vettore di steering può essere recuperato tramite similarità del coseno senza un classificatore addestrato, raggiungendo un'accuratezza di attribuzione a livello di testo dell'84,6% (rispetto al 99,1% dell'MLP addestrato), validando la codifica fisica del segnale.

Significato e Rivendicazioni

Il documento sostiene di offrire un'alternativa pratica al watermarking tradizionale sfruttando la naturale struttura di rappresentazione del modello piuttosto che inserire segnali esternamente. Le implicazioni chiave includono:

• Attribuzione Intrinseca: Il metodo sposta il paradigma dal rilevamento della "AI-ness" all'identificazione di specifiche istanze di modello o configurazioni di steering, supportando una responsabilità più granulare.
• Efficienza e Qualità: Operando sulle attivazioni interne con vettori sparsi, l'approccio evita l'overhead computazionale dei sparse autoencoder o delle complesse strategie di selezione dei token, preservando l'utilità del testo.
• Specificità dell'Architettura: Gli autori notano che il segnale di steering è specifico dell'architettura; il rilevamento degrada a livelli casuali quando il testo è generato da una diversa famiglia di modelli, rispecchiando fenomeni osservati nel subliminal learning. Ciò suggerisce che i segnali sono geometricamente coerenti all'interno di una famiglia di modelli ma non si generalizzano tra architetture.
• Direzioni Future: Il lavoro suggerisce il potenziale per watermarking multi-bit combinatori sovrapponendo più vettori sparsi e sottolinea la necessità di ulteriori ricerche sull'interpretabilità di queste direzioni di steering casuali per garantire che non introducano rischi di sicurezza o bias.

Gli autori concludono che le rappresentazioni interne offrono un meccanismo principato per rilevare e indurre firme di generazione specifiche del modello, fornendo un framework flessibile per l'attribuzione che bilancia robustezza, scalabilità e qualità del testo.