Riepilogo Tecnico: Filigrana Comportamentale Sequenziale per Agenti LLM (SeqWM)

1. Enunciato del Problema

Gli agenti basati su Modelli Linguistici di Grande Dimensione (LLM) si sono evoluti da generatori di testo a decisori autonomi che pianificano, invocano strumenti e interagiscono con ambienti esterni. Questo cambiamento crea un divario critico nella provenienza: mentre la proprietà intellettuale di questi agenti risiede nelle loro capacità decisionali (acquisite tramite costosi post-addestramenti su dati di traiettoria), le traiettorie stesse sono asset preziosi vulnerabili a repliche non autorizzate e attacchi di imitazione.

Le soluzioni esistenti di filigrana per gli LLM operano principalmente a livello di token, alterando il campionamento dei token del vocabolario. Tuttavia, questo approccio fallisce per gli agenti per due motivi:

1. Unità non allineate: Le decisioni di alto livello degli agenti (ad esempio, "chiama lo strumento X") sono realizzate attraverso molti token. Un'alterazione a livello di token diluisce il segnale prima che influenzi l'azione effettiva.
2. Limiti di osservabilità: In molti sistemi agenziali distribuiti (82,8% delle piattaforme esaminate), le tracce di ragionamento interne e i token intermedi sono nascosti; i rilevatori osservano solo il flusso finale delle azioni. Di conseguenza, i segnali a livello di token vengono scartati prima della verifica.

I recenti tentativi di filigrana comportamentale trattano ogni passo di azione come una prova indipendente, spesso generando filigrane basate su indici di round assoluti. Questo approccio è fragile: se una traiettoria viene troncata, eliminata o osservata senza un allineamento perfetto, l'indice si sposta, causando un disallineamento del rilevatore rispetto alla logica della filigrana e rendendo l'intera sequenza non rilevabile.

2. Metodologia: SeqWM

Gli autori propongono SeqWM, un framework che incorpora segnali di filigrana in pattern di transizione condizionati alla storia piuttosto che nelle frequenze marginali delle azioni o nelle posizioni assolute. Il metodo consta di tre componenti fondamentali:

A. Codifica Multi-Canale Condizionata alla Storia

Invece di utilizzare l'indice assoluto del passo $t$ per generare la filigrana, SeqWM utilizza una finestra di azioni precedenti $c_t = (b_{t-w}, \dots, b_{t-1})$ come seme.

• Meccanismo: Per una chiave segreta $K$, il sistema deriva un sottoinsieme pseudocasuale di azioni candidate $B^{(j)}_{g,t}$ per ciascuno dei $m$ canali indipendenti utilizzando una funzione hash crittografata: $B^{(j)}_{g,t} = G_K(c_t \parallel j)$.
• Alterazione: La distribuzione delle azioni dell'agente $P_t$ viene modificata in una distribuzione filigranata $P^{wm}_t$ tramite una distorsione esponenziale basata su un punteggio multi-canale $s_t(b)$, che conta quanti canali favoriscono un'azione specifica $b$.
• Effetto: La filigrana altera la transizione condizionata $P(b_t | c_t)$ piuttosto che la frequenza marginale di $b_t$. Ciò garantisce che il segnale sopravviva anche se un avversario corrisponde alla distribuzione marginale.

B. Rilevamento a Finestra Scorrevole

Il rilevatore opera in modo agnostico rispetto alla posizione. Non si basa sulla conoscenza dell'indice assoluto del passo della sequenza osservata.

• Meccanismo: Il rilevatore scorre una finestra di dimensione $w$ sulla sequenza di azioni osservata $\hat{b}$. Per ogni sottostringa di lunghezza $w$, verifica se l'azione successiva corrisponde al sottoinsieme guidato derivato da quella specifica storia e dalla chiave segreta.
• Robustezza: Poiché la stessa finestra di storia produce deterministicamente lo stesso sottoinsieme guidato indipendentemente dalla sua posizione assoluta, il rilevatore può aggregare prove da qualsiasi transizione valida in una sequenza troncata o corrotta. Ciò contrasta con i rilevatori basati su indici di round, dove una singola eliminazione sposta tutti gli indici successivi, causando un disallineamento globale.

C. Calibrazione con Chiave Casuale

I test statistici standard (ad esempio, test $z$ binomiali) assumono l'indipendenza tra gli indicatori di rilevamento, il che non è valido in questo caso a causa della natura sequenziale del comportamento degli agenti e delle finestre sovrapposte.

• Soluzione: Il framework costruisce una distribuzione nulla empirica utilizzando la sequenza osservata stessa. Calcola il punteggio di rilevamento utilizzando la chiave vera $K$ e lo confronta con i punteggi generati utilizzando $M$ chiavi "sbagliate" casuali $K_r$.
• Validità: Poiché le chiavi errate preservano le dipendenze naturali della sequenza ma cancellano l'allineamento della filigrana, il valore $p$ risultante è libero dalla distribuzione e valido anche in caso di corruzione avversaria (eliminazione, troncamento).

3. Contributi Chiave

1. Inquadramento: Il documento riformula la filigrana per agenti come un problema di codifica sequenziale, identificando un'asimmetria: la generazione è concatenata attraverso la storia, ma la verifica può aggregare prove locali di transizione senza ricostruire la catena.
2. Metodo: Introduzione di SeqWM, che combina codifica condizionata alla storia, rilevamento a finestra scorrevole e calibrazione con chiave casuale per ottenere una verifica agnostica rispetto alla posizione.
3. Teoria: Analisi teorica che dimostra come, mentre il rilevamento basato su indici di round collassa sotto l'eliminazione (lunghezza attesa del prefisso allineato $O(1/\rho)$), il rilevamento a finestra scorrevole subisce solo una perdita locale e additiva di prove ($d(w+1)m$ indicatori), preservando la potenza di rilevamento.
4. Valutazione Empirica: Esperimenti estesi su tre benchmark (ToolBench, ALFWorld, OASIS) e tre backbones LLM (Gemma, LLaMA, Qwen).

4. Risultati Sperimentali

• Affidabilità del Rilevamento: SeqWM raggiunge costantemente un rilevamento statisticamente significativo ($p < 0.01$) su tutti i modelli e benchmark, mentre i metodi di base (AgentGuide, AgentMark) spesso non riescono a distinguersi dall'ipotesi nulla, specialmente in OASIS e con certi LLM.
• Robustezza all'Eliminazione: Con tassi di eliminazione casuale delle azioni fino al 50%, SeqWM mantiene alti tassi di veri positivi (TPR). Al contrario, le linee di base basate su indici di round (AgentGuide) collassano immediatamente dopo piccoli tassi di eliminazione a causa del disallineamento degli indici.
• Preservazione dell'Utilità: Il processo di filigrana preserva l'utilità dell'agente. La forza dell'alterazione ($\gamma$) può essere regolata (ad esempio, $\gamma=2.0$) per ottenere un rilevamento affidabile senza degradare significativamente le prestazioni del compito.
• Necessità di Multi-Canale: Studi di ablazione mostrano che le varianti a canale singolo non forniscono un rilevamento affidabile nemmeno con alta forza di alterazione, confermando che canali ridondanti sono essenziali per accumulare prove sufficienti lungo la traiettoria.

5. Significato e Affermazioni

Il documento afferma che la struttura sequenziale non è semplicemente un fastidio nella filigrana per agenti, ma un potente vettore di segnali di provenienza. Spostando la filigrana dalle statistiche per passo ai pattern di transizione condizionata, SeqWM risolve il problema di allineamento intrinseco nei precedenti metodi di filigrana comportamentale.

Gli autori posizionano SeqWM come un bilancio positivo per la responsabilità e l'audit ex post nelle distribuzioni di agenti autonomi. Sottolineano che il loro approccio rende la corruzione della traiettoria (eliminazione, troncamento) una fonte locale di perdita di prove piuttosto che un fallimento globale del rilevatore. Il lavoro suggerisce che estendere questa prospettiva ad attacchi adattivi più forti e modifiche semantiche a livello di traiettoria è una direzione necessaria per la ricerca futura, ma il contributo attuale stabilisce una base robusta e agnostica rispetto alla posizione per verificare la provenienza degli agenti.