Watermarking Game-Playing Agents in Perfect-Information Extensive-Form Games

Sintesi Tecnica: Filigrana per Agenti di Gioco in Giochi a Informazione Perfetta e Forma Estesa

Enunciazione del Problema
Il rapido avanzamento dell'intelligenza artificiale ha prodotto agenti sovrumani per giochi come scacchi, Go e poker. Sebbene questi agenti dimostrino prestazioni superiori, il loro utilizzo non autorizzato in ambienti competitivi (ad esempio, barare online) e il potenziale furto di proprietà intellettuale (IP) (ad esempio, plagio del codice o distillazione del modello) presentano sfide significative. Le tecniche di filigrana esistenti per i Modelli Linguistici di Grandi Dimensioni (LLM), che codificano segnali nascosti per verificare le fonti di output, offrono una soluzione potenziale. Tuttavia, l'applicazione diretta della filigrana degli LLM agli agenti di gioco non è banale a causa delle differenze strutturali: il gioco di squadra implica azioni sequenziali da parte di più giocatori, richiede la preservazione della qualità strategica (utilità attesa) e spesso necessita della divulgazione delle utilità stimate insieme alle raccomandazioni di azione. Inoltre, a differenza della generazione di testo, dove sono possibili attacchi di post-elaborazione offline, i vincoli del gioco di squadra (ad esempio, impossibilità di annullare le mosse, presenza di osservatori) limitano gli attaccanti a manipolazioni online, a singolo passo.

Metodologia
Gli autori adattano la filigrana Kirchenbauer-Green-Keen (KGW), una tecnica di filigrana per LLM di spicco, ai giochi a informazione perfetta e forma estesa (EFG). La metodologia centrale consiste nel modificare il profilo di strategia $\sigma$ di un agente risolutore di giochi.

1. Adattamento di KGW ai Profili di Strategia:

   • Partizionamento in Liste Verde/Rossa: Per una data storia $h$, le azioni disponibili $A(h)$ sono partizionate casualmente in una "lista verde" $G$ (dimensione $\gamma|A(h)|$) e una "lista rossa" $R$ basata su un generatore di numeri pseudo-casuali seminato dall'hash dell'osservazione corrente.
   • Distorsione dell'Utilità: Invece di modificare i logit come negli LLM, la filigrana modifica le utilità attese stimate $\vec{u}$ associate alle azioni. Un parametro di difficoltà $\delta$ viene aggiunto alle utilità delle azioni nella lista verde, mentre un valore compensativo di $-\gamma\delta/(1-\gamma)$ viene sottratto dalle azioni nella lista rossa. Ciò garantisce che l'aggiustamento atteso all'utilità sia zero, preservando la distribuzione complessiva in attesa.
   • Selezione dell'Azione: L'agente seleziona l'azione con l'utilità aggiustata massima. Quando $\delta \to \infty$, l'agente è costretto a scegliere solo azioni della lista verde; quando $\delta \to 0$, la filigrana agisce solo come arbitro per le parità.

2. Filigrana delle Utilità Attese:

   • Per affrontare la necessità che gli utenti vedano le utilità stimate (non solo le azioni), viene applicato un meccanismo di filigrana parallelo ai valori di utilità stessi. Ciò impedisce agli attaccanti di bypassare la filigrana selezionando semplicemente l'azione con l'utilità non modificata più alta.
   • Vincolo di Privacy: Il documento nota che se le utilità attese vengono restituite all'utente, la filigrana deve essere distribuita privatamente (con una chiave segreta). Se il parametro di difficoltà $\delta$ è pubblico, un attaccante potrebbe invertire matematicamente gli aggiustamenti delle utilità per recuperare i valori reali del modello sottostante.

3. Meccanismo di Rilevamento:

   • Il rilevamento si basa su un test statistico (z-score) che confronta la frequenza osservata delle azioni della lista verde ($n_G$) con la frequenza attesa ($\gamma n$) sotto l'ipotesi nulla che il giocatore non sia a conoscenza della filigrana.
   • Un alto z-score indica la presenza della filigrana. Gli autori suggeriscono una soglia di $z=4$ (circa $3 \times 10^{-5}$ di tasso di falsi positivi).

Contributi Chiave

• Avvio della Filigrana per il Gioco: Il documento stabilisce il primo quadro per la filigrana delle strategie nei giochi a informazione perfetta e forma estesa, adattando le tecniche degli LLM al dominio della teoria dei giochi.
• Limiti Teorici: Gli autori forniscono un'analisi teorica che delimita il degrado nella qualità della strategia. Dimostrano che la perdita totale di utilità attesa ($L$) sostenuta dalla filigrana è limitata da $L \le n\delta(1 + \gamma/(1-\gamma))$, dove $n$ è il numero di azioni. Ciò dimostra un compromesso tra rilevabilità (maggiore $\delta$) e qualità della strategia.
• Gestione della Divulgazione delle Utilità: Il documento affronta la sfida unica degli agenti di gioco in cui gli utenti richiedono utilità attese stimate, proponendo un metodo per filigranare questi valori senza compromettere la capacità di rilevamento, a condizione che la filigrana sia mantenuta privata.
• Analisi di Robustezza: Gli autori sostengono che la natura del gioco di squadra (mosse sequenziali, osservabili, irreversibili) mitiga intrinsecamente i vettori di attacco offline comuni nella generazione di testo, limitando gli attaccanti a manipolazioni online, a singolo passo, che sono meno efficaci contro il metodo proposto.

Risultati Sperimentali
Gli autori hanno valutato il quadro applicando la filigrana a sei motori di scacchi UCI (Universal Chess Interface) popolari: asmFish 9, Dragon, Ethereal 14.40, PlentyChess, Stash v37.0 e Stockfish 17.1.

• Impatto sulle Prestazioni: In partite di 100 turni tra motori con filigrana e motori originali, le differenze Elo sono state trascurabili e entro i margini di errore. Ad esempio, Stockfish 17.1 ha mostrato una differenza Elo di +24.4 (statisticamente insignificante) e asmFish 9 ha mostrato -10.4. La probabilità che il motore con filigrana fosse inferiore (LOI) generalmente non ha raggiunto il 90% di confidenza, indicando che la filigrana non degrada significativamente la forza di gioco.
• Rilevabilità: La filigrana è stata rilevabile con alta confidenza dopo un piccolo numero di partite. La maggior parte dei motori con filigrana ha superato la soglia $z=4$ entro i primi 2-9 turni.
• Ablazione dei Parametri: Esperimenti che variavano la dimensione della lista verde ($\gamma$) e la difficoltà ($\delta$) hanno rivelato che $\gamma=0.25$ e $\delta=0.5$ centipawn offrono un equilibrio ottimale. L'aumento di $\delta$ ha migliorato le metriche di rilevamento (z-scores più alti e Area Under the Curve) ma ha ridotto significativamente la forza del motore (LOI più alta).

Significato e Affermazioni
Il documento afferma di avviare lo studio della filigrana delle strategie di gioco, dimostrando che firme robuste e uniche possono essere incorporate negli agenti di gioco senza comprometterne significativamente le prestazioni. Gli autori affermano che il loro metodo consente il rilevamento dell'uso non autorizzato dell'IA (ad esempio, barare) o del furto di IP (ad esempio, distillazione) utilizzando test statistici sui dati di gioco. Sottolineano che, sebbene esista un compromesso tra rilevabilità e qualità, il degrado della qualità può essere delimitato e spesso è trascurabile nella pratica, specialmente quando il modello sottostante si basa già su stime euristico. Il lavoro evidenzia che il gioco di squadra presenta un contesto distinto dalla generazione di testo, richiedendo adattamenti specifici riguardo alla divulgazione delle utilità e alla natura degli attacchi avversari.