Watermarking LLM Agent Trajectories

Titolo: Watermarking delle Traiettorie degli Agenti LLM (ACTHOOK)

1. Il Problema

Gli agenti basati su Large Language Models (LLM) dipendono fortemente da dati di addestramento di alta qualità, noti come traiettorie, che registrano le sequenze di azioni e osservazioni necessarie per risolvere compiti complessi (es. ragionamento matematico, ricerca web, ingegneria del software).

• Costi elevati: La creazione di questi dataset richiede un investimento significativo in termini di progettazione dei task, generazione da parte di modelli ad alta capacità e filtraggio manuale.
• Vuoto nella protezione: Nonostante i costi, la letteratura esistente non ha affrontato adeguatamente la protezione del copyright per le traiettorie degli agenti. Una volta rilasciati, i creatori perdono la visibilità sull'uso dei dati.
• Limiti delle soluzioni attuali: I metodi di watermarking esistenti, progettati per testo continuo o snippet di codice isolati, non sono applicabili alle traiettorie degli agenti a causa della loro struttura ibrida e sequenziale (intercalazione di azioni generate dal modello e osservazioni dall'ambiente) e della dimensione ridotta dei dataset (spesso 1-2k campioni), che rende difficile l'apprendimento di watermark a livello di token.

2. Metodologia: ACTHOOK

Il paper introduce ACTHOOK, il primo metodo di watermarking specificamente progettato per i dataset di traiettorie degli agenti LLM. L'approccio si ispira al concetto di "hook" (gancio) nell'ingegneria del software.

• Concetto Chiave: Invece di modificare i token o la sintassi (come fanno i watermark tradizionali), ACTHOOK opera a livello comportamentale. Inserisce azioni ausiliarie (chiamate hook actions) nelle traiettorie che non alterano il risultato finale del compito ma servono come segnale di rilevamento.
• Meccanismo di Attivazione:
  • Le hook actions vengono attivate solo quando il prompt di input contiene una chiave segreta specifica.
  • Se la chiave è assente, l'agente si comporta normalmente. Se è presente, l'agente addestrato esegue l'azione ausiliaria con una frequenza significativamente più alta.
• Posizionamento Strategico: Le hook actions vengono inserite ai confini delle azioni (action boundaries). L'analisi dell'entropia dei token mostra che l'incertezza del modello è massima proprio quando decide quale azione intraprendere. Inserire watermark in queste posizioni ad alta entropia facilita l'apprendimento da parte del modello, a differenza dell'inserimento all'interno di azioni già determinate (bassa entropia).
• Tipologie di Hook:
  1. Standalone: Azioni semanticamente indipendenti inserite in posizioni arbitrarie (es. controllare la versione di una libreria).
  2. Contextual: Azioni che dipendono dal contesto precedente (es. verificare l'esistenza di un file appena creato). Queste sono più difficili da rilevare manualmente e si integrano meglio nel flusso logico.

3. Contributi Chiave

• Primo Framework Specifico: ACTHOOK è il primo metodo di watermarking tailored per dataset di traiettorie di agenti, superando i limiti dei metodi basati su testo o codice puro.
• Robustezza e Stealthiness: Poiché il watermark è comportamentale e non sintattico, è intrinsecamente robusto contro attacchi di parafrasi o riassunto che alterano la forma superficiale ma preservano la semantica.
• Minimo Impatto sulle Prestazioni: Il metodo non degrada le capacità dell'agente nel svolgere il compito originale, poiché le azioni aggiuntive sono ausiliarie e non interferiscono con la logica di risoluzione.
• Rilevamento Black-Box: Il rilevamento avviene interrogando il modello sospetto con prompt contenenti la chiave segreta e confrontando la frequenza delle hook actions rispetto a prompt senza chiave, senza bisogno di accedere ai pesi del modello.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre benchmark rappresentativi: MATH (ragionamento matematico), SimpleQA (ricerca web) e SWE-Smith (ingegneria del software), utilizzando modelli come Qwen-2.5-Coder (3B, 7B, 14B).

• Prestazioni di Rilevamento:
  • ACTHOOK ha raggiunto un AUC medio di 94.3 sul modello Qwen-2.5-Coder-7B.
  • Con un solo prompt di test, il metodo ha superato un AUC di 85 in tutti i casi, mentre i metodi baseline (come CodeMark) hanno fallito, operando vicino al caso casuale (AUC ~55).
• Robustezza agli Attacchi:
  • Filtraggio (DeCoMa): Il metodo resiste al filtraggio dei dati, mantenendo un AUC alto anche dopo tentativi di rimozione delle traiettorie anomale.
  • Parafrasi: Le varianti Standalone hanno mantenuto prestazioni quasi perfette dopo attacchi di parafrasi. Le varianti Contextual hanno mostrato una leggera degradazione in scenari complessi (SWE-Smith), ma sono rimaste robuste.
  • Riassunto delle Azioni: Anche quando le azioni vengono riassunte (nascondendo i dettagli sintattici), ACTHOOK mantiene la capacità di rilevamento perché si basa sul significato semantico dell'azione.
• Impatto sulle Prestazioni: Non è stata osservata alcuna degradazione significativa nelle metriche di compito (Pass@1) o nel numero di turni/token generati.

5. Significato e Impatto

• Protezione della Proprietà Intellettuale: ACTHOOK fornisce uno strumento cruciale per proteggere gli investimenti nella creazione di dataset di agenti, permettendo ai creatori di tracciare l'uso non autorizzato o la violazione delle licenze (es. uso commerciale di dati non commerciali).
• Sostenibilità della Condivisione dei Dati: Facilitando la tracciabilità, il metodo incoraggia la condivisione di dataset di alta qualità nella comunità di ricerca, riducendo il rischio di furto di dati.
• Nuovo Paradigma di Sicurezza: Sposta il focus del watermarking dal livello sintattico/tokemal a quello comportamentale, offrendo una soluzione più resiliente per i sistemi agentici complessi dove la struttura dei dati è ibrida e sequenziale.

In sintesi, ACTHOOK rappresenta un avanzamento fondamentale nella sicurezza dei dati per gli agenti LLM, offrendo un equilibrio efficace tra protezione del copyright, robustezza agli attacchi e mantenimento delle prestazioni operative.