Sintesi Tecnica: TRACE – Un Watermark di Attribuzione a Due Canali Robusto

1. Formulazione del Problema e Modello di Minaccia

Il documento affronta la sfida critica dell'attribuzione della provenienza per gli agenti LLM (Large Language Model) in un contesto avversariale specifico: il modello di minaccia del rivenditore (reseller).

• Contesto: Gli agenti LLM interagiscono con gli utenti attraverso rivenditori che possono rinominare l'agente o sostituire il modello sottostante. Quando sorgono controversie relative alla responsabilità o all'uso, la prova principale è il log della traiettoria (un registro di chiamate a strumenti, osservazioni e azioni eseguite), non il ragionamento interno del modello.
• L'Avversario: Il rivenditore possiede pieno accesso in lettura/scrittura al log della traiettoria perché deve elaborarlo per finalità di fatturazione e monitoraggio. È l'entità che effettua l'audit delle prove.
• L'Attacco: Il rivenditore tenta di eliminare l'attribuzione eseguendo due specifiche mosse di "riciclaggio":
  1. Eliminazione (Deletion): Potatura del log (rimozione di step o osservazioni) per rimuovere i record identificativi del fornitore.
  2. Riscrittura (Rewriting): Parafrasi delle osservazioni e rinomina degli strumenti nel namespace del rivenditore, preservando al contempo lo scheletro strutturale del log (la sequenza di tag decision/observation).
• Il Limite dei Metodi Esistenti: I watermark per agenti precedenti (es. Agent Guide, AgentMark) si affidano a un singolo segnale legato o al contenuto o alla posizione.
  • I segnali basati sul contenuto falliscono sotto la riscrittura (poiché il contenuto viene alterato).
  • I segnali basati sulla posizione falliscono sotto l'eliminazione (poiché la sequenza perde sincronia).
  • I metodi esistenti mancano di robustezza contro un avversario che possiede l'evidenza stessa.

2. Metodologia: Lo Schema TRACE

Gli autori propongono TRACE, uno schema di watermarking a due canali che sovrappone due watermark indipendenti e complementari su una singola traiettoria. Il principio di progettazione fondamentale è che ogni canale punta a un diverso invariante preservato da una classe di attacco ma distrutto dall'altra.

A. Il Canale di Selezione (Basato sul Contenuto)

• Obiettivo: Robustezza contro l'Eliminazione.
• Meccanismo:
  • Carrier (Vettore): L'azione specifica ($b_i$) selezionata dall'agente in ogni punto decisionale.
  • Keying (Chiave): Derivata dal contenuto locale della cronologia delle azioni precedenti ($A_{i-1}$) e da una chiave segreta ($key_1$).
  • Embedding (Incorporazione): Utilizza una corsa esponenziale priva di distorsione (basata sul trucco Gumbel-max). L'agente campiona esattamente dalla sua distribuzione originale $P_i$, ma il "vincitore" della corsa è determinato da un valore casuale con chiave.
  • Rilevamento: Il rilevatore riproduce la corsa utilizzando la traiettoria osservata e la chiave. Se l'azione osservata è stata la "vincitrice" della corsa con chiave, genera un punteggio elevato.
  • Robustezza: Poiché la chiave dipende dal contenuto, l'eliminazione di un record di osservazione desincronizza solo la chiave per il gruppo immediatamente successivo (raggio d'azione di un singolo step). Il rilevatore si risincronizza immediatamente dopo l'eliminazione.
  • Costo: Il segnale è limitato dall'entropia di Shannon della decisione. Le decisioni deterministiche (entropia = 0) non producono segnale; le decisioni ad alta entropia producono segnali più forti.

B. Il Canale di Conteggio (Basato sulla Posizione)

• Obiettivo: Robustezza contro la Riscrittura.
• Meccanismo:
  • Carrier (Vettore): Il conteggio dei record ($k_i$) in un gruppo decisionale (specificamente, se viene aggiunto un record di osservazione ridondante).
  • Keying (Chiave): Derivata strettamente dallo scheletro della traiettoria (la sequenza di tag decision/observation) e da una chiave segreta ($key_2$). È indipendente dal contenuto testuale.
  • Embedding (Incorporazione): Per i gruppi in cui la condizione con chiave è soddisfatta, l'incorporatore aggiunge un record ridondante a contesto neutro. Questo record è una funzione deterministica del prefisso, non invoca strumenti e non causa effetti collaterali, garantendo che non alteri le decisioni future dell'agente.
  • Rilevamento: Il rilevatore conta i record in ogni gruppo e li confronta con il pattern atteso derivato dallo scheletro.
  • Robustezza: Gli attacchi di riscrittura preservano lo scheletro (la sequenza di tag). Pertanto, i confini dei gruppi e i conteggi rimangono invariati. Il canale di conteggio è incondizionatamente invariante rispetto a qualsiasi attacco di riscrittura.

C. Rilevamento Congiunto

Il rilevatore calcola un $z$-score per entrambi i canali. Rifiuta l'ipotesi nulla (che la traiettoria non sia watermarked) se il $p$-value minimo dei due canali è inferiore a una soglia. I due canali sono progettati per essere indipendenti sotto l'ipotesi nulla.

3. Contributi Chiave

1. Modello di Minaccia Formale: Il documento formalizza il modello di minaccia del rivenditore in cui l'avversario ha pieno accesso in lettura/scrittura alle prove, definendo Eliminazione e Riscrittura come distinte classi di attacco.
2. Architettura a Due Canali: TRACE è il primo watermark per agenti che riesce a ottenere simultaneamente:
   • Scelte d'azione prive di distorsione: La distribuzione dell'agente è provabilmente invariata.
   • Autosincronizzazione sotto eliminazione: Il canale di selezione recupera dopo una singola eliminazione.
   • Invarianza incondizionata sotto riscrittura: Il canale di conteggio rimane invariato indipendentemente dalla modifica del contenuto.
3. Garanzie Teoriche:
   • Preservazione dell'Utilità: Dimostrato che il canale di selezione non altera la distribuzione delle azioni dell'agente (Teorema 5.1).
   • Trade-off Entropia-Rilevabilità: Dimostrato che la forza del segnale è limitata inferiormente dalla metà dell'entropia della decisione (Teorema 5.2).
   • Costo di Cancellazione Congiunta: Dimostrato che cancellare entrambi i canali simultaneamente costringe l'avversario o a modificare lo scheletro (esponendolo ad audit di coerenza) o a corrompere una frazione costante della traiettoria, distruggendo efficacemente la qualità del servizio (Teorema 5.4).
4. Nuovo Benchmark di Attacco: Introduzione dell'LLM Rewriter, un attacco informato e che preserva la plausibilità, che sostituisce le azioni con alternative diverse ma plausibili, fungendo da benchmark rigoroso per la robustezza alla riscrittura.

4. Risultati Sperimentali

Lo schema è stato valutato su ToolBench (orizzonte breve, ~1.4 gruppi decisionali/task) e ALFWorld (orizzonte lungo, ~23-25 step decisionali/task).

• Utilità: TRACE eguaglia il tasso di successo dell'agente non watermarked (Base) su entrambi i benchmark. Al contrario, i watermark distorti (come il baseline Red-Green) hanno subito cali significativi del tasso di successo (fino a 8.1 punti su ALFWorld) a causa dello spostamento della massa di probabilità nelle decisioni a bassa entropia.
• Potenza di Rilevamento:
  • Log Puliti: TRACE raggiunge punteggi di rilevamento estremamente alti ($z \approx 100$ per la selezione su ALFWorld).
  • Eliminazione: Il canale di selezione rimane rilevabile anche sotto l'eliminazione del 70% degli step ($z$ scende da 11.34 a 4.06 ma rimane sopra la soglia).
  • Riscrittura: Il canale di conteggio rimane esattamente invariante ($z$ resta costante a ~14.34) sotto una forza di riscrittura del 100%. Al contrario, i baseline basati sul contenuto (RG, AM-F) crollano verso punteggi vicini allo zero o negativi sotto la riscrittura.
  • Attacchi Combinati: Solo il caso limite di alta eliminazione (70%) combinata con alta riscrittura (>60%) sopprime entrambi i canali. Questo corrisponde a uno scenario in cui il rivenditore ha già distrutto l'utilità del servizio.

5. Significato e Rivendicazioni

Il documento afferma che TRACE fornisce una soluzione strutturale al problema della provenienza nel contesto della rivendita, andando oltre la robustezza empirica per puntare a garanzie matematiche.

• Accountability (Responsabilità): Permette l'attribuzione anche quando l'entità che detiene i log (il rivenditore) è l'avversario.
• Invarianti Complementari: Il lavoro dimostra che la robustezza può essere ottenuta dividendo il segnale tra invarianti complementari (contenuto vs. scheletro), assicurando che nessuna singola classe di attacco possa distruggere il watermark senza distruggere il prodotto stesso.
• Privo di Distorsione: Dimostra che il watermarking comportamentale può essere ottenuto senza degradare le prestazioni del compito dell'agente, un requisito critico per il deployment.
• Limitazioni: Gli autori notano che il rilevamento richiede l'accesso ai set di azioni candidati al momento dell'audit e che il canale di conteggio aumenta il volume dei log (overhead di archiviazione) piuttosto che le chiamate agli strumenti. Notano inoltre che se un rivenditore abbandona completamente l'agente del fornitore e riesegue il task su un modello diverso, il watermark sarà assente, sebbene tale assenza segnali comunque la rappresentazione errata.

Il documento conclude che, sebbene nessun schema a singolo segnale possa sopravvivere a un avversario con pieno controllo sull'evidenza, un approccio a due canali che sfrutta embedding complementari può rendere il costo del riciclaggio del log proibitivamente alto.