Watermarking Game-Playing Agents in Perfect-Information Extensive-Form Games

Technische Samenvatting: Watermerken van Spelende Agenten in Perfecte-Informatie Uitgebreide-Vorm Spellen

Probleemstelling
De snelle vooruitgang van kunstmatige intelligentie heeft supermenselijke agenten voortgebracht voor spellen zoals schaken, Go en poker. Hoewel deze agenten superieure prestaties tonen, vormen hun ongeautoriseerd gebruik in competitieve omgevingen (bijvoorbeeld online valsspelen) en het potentieel voor inbreuk op intellectueel eigendom (IE) (bijvoorbeeld codeplagiaat of modeldistillatie) aanzienlijke uitdagingen. Bestaande watermerktechnieken voor Large Language Models (LLM's), die verborgen signalen coderen om de bron van output te verifiëren, bieden een mogelijke oplossing. Echter, de directe toepassing van LLM-watermerken op spelende agenten is niet triviaal vanwege structurele verschillen: spel spelen omvat sequentiële acties door meerdere spelers, vereist het behoud van strategische kwaliteit (verwachte nut), en vereist vaak de openbaarmaking van geschatte nutswaarden naast actieaanbevelingen. Bovendien, in tegenstelling tot tekstgeneratie waar offline post-processing-aanvallen mogelijk zijn, beperken spelbeperkingen (bijvoorbeeld onmogelijkheid om zetten ongedaan te maken, aanwezigheid van waarnemers) aanvallers tot online, enkel-staps manipulaties.

Methodologie
De auteurs passen het Kirchenbauer-Green-Keen (KGW) watermerk, een prominente LLM-watermerktechniek, aan voor perfecte-informatie uitgebreide-vorm spellen (EFG's). De kernmethodologie omvat het modificeren van het strategieprofiel $\sigma$ van een speloplossende agent.

1. Aanpassing van KGW aan Strategieprofielen:

   • Partitionering in Groene/Rode Lijst: Voor een gegeven geschiedenis $h$ worden de beschikbare acties $A(h)$ willekeurig gepartitioneerd in een "groene lijst" $G$ (grootte $\gamma|A(h)|$) en een "rode lijst" $R$ op basis van een pseudowillekeurige getallengenerator die wordt gezaaid met de hash van de huidige observatie.
   • Nutsdistorsie: In plaats van logits te modificeren zoals bij LLM's, past het watermerk de (geschatte) verwachte nutswaarden $\vec{u}$ die aan acties zijn gekoppeld, aan. Een hardheidsparameter $\delta$ wordt toegevoegd aan de nutswaarden van acties in de groene lijst, terwijl een compenserende waarde van $-\gamma\delta/(1-\gamma)$ wordt afgetrokken van acties in de rode lijst. Dit zorgt ervoor dat de verwachte aanpassing aan het nut nul is, waardoor de algehele verdeling in verwachting behouden blijft.
   • Actiekeuze: De agent kiest de actie met de maximale aangepaste nutswaarde. Naarmate $\delta \to \infty$, wordt de agent gedwongen alleen acties uit de groene lijst te kiezen; naarmate $\delta \to 0$, fungeert het watermerk alleen als een beslissingsfactor bij gelijke stand.

2. Watermerken van Verwachte Nutswaarden:

   • Om tegemoet te komen aan de behoefte van gebruikers om geschatte nutswaarden te zien (niet alleen acties), wordt een parallel watermerkmechanisme toegepast op de nutswaarden zelf. Dit voorkomt dat aanvallers het watermerk omzeilen door simpelweg de actie met de hoogste ongewijzigde nutswaarde te selecteren.
   • Privacybeperking: Het artikel merkt op dat als verwachte nutswaarden aan de gebruiker worden teruggegeven, het watermerk privaat moet worden ingezet (met een geheime sleutel). Als de hardheidsparameter $\delta$ publiek is, zou een aanvaler de nutsaanpassingen wiskundig kunnen terugdraaien om de echte onderliggende modelwaarden te herstellen.

3. Detectiemechanisme:

   • Detectie berust op een statistische toets (z-score) die de waargenomen frequentie van acties uit de groene lijst ($n_G$) vergelijkt met de verwachte frequentie ($\gamma n$) onder de nulhypothese dat de speler niet op de hoogte is van het watermerk.
   • Een hoge z-score duidt op de aanwezigheid van het watermerk. De auteurs suggereren een drempel van $z=4$ (ongeveer $3 \times 10^{-5}$ vals-positiefpercentage).

Belangrijkste Bijdragen

• Start van Watermerken van Spelende Strategieën: Het artikel vestigt het eerste raamwerk voor het watermerken van strategieën in perfecte-informatie EFG's, door LLM-technieken aan te passen aan het domein van de speltheorie.
• Theoretische Grenzen: De auteurs bieden een theoretische analyse die de degradatie in strategiekwaliteit begrenst. Ze bewijzen dat het totale verlies in verwachte nut ($L$) dat door het watermerk wordt geleden, begrensd is door $L \le n\delta(1 + \gamma/(1-\gamma))$, waarbij $n$ het aantal acties is. Dit demonstreert een afweging tussen detecteerbaarheid (hogere $\delta$) en strategiekwaliteit.
• Omgaan met Nutopenbaarmaking: Het artikel adresseert de unieke uitdaging van spelende agenten waarbij gebruikers geschatte verwachte nutswaarden vereisen, en stelt een methode voor om deze waarden te watermerken zonder de detectiecapaciteit te compromitteren, mits het watermerk privaat wordt gehouden.
• Robuustheidsanalyse: De auteurs betogen dat de aard van spel spelen (sequentiële, waarneembare, onomkeerbare zetten) inherent offline aanvalspaden die gebruikelijk zijn bij tekstgeneratie, mitigeert, en aanvallers beperkt tot online, enkel-staps manipulaties die minder effectief zijn tegen het voorgestelde schema.

Experimentele Resultaten
De auteurs evalueerden het raamwerk door het watermerk te bootstrappen op zes populaire Universal Chess Interface (UCI) engines: asmFish 9, Dragon, Ethereal 14.40, PlentyChess, Stash v37.0, en Stockfish 17.1.

• Prestatie-impact: In wedstrijden van 100 rondes tussen gewatermerkte en originele engines waren de Elo-verschillen verwaarloosbaar en binnen de foutmarges. Bijvoorbeeld, Stockfish 17.1 toonde een +24.4 Elo-verschil (statistisch niet significant), en asmFish 9 toonde -10.4. De kans dat de gewatermerkte engine inferieur is (LOI) bereikte over het algemeen geen 90% betrouwbaarheid, wat aangeeft dat het watermerk de speelkracht niet significant degradeert.
• Detecteerbaarheid: Het watermerk was met hoge betrouwbaarheid detecteerbaar na een klein aantal spellen. De meeste gewatermerkte engines overschreden de $z=4$-drempel binnen de eerste 2 tot 9 rondes.
• Parameterablatie: Experimenten waarbij de grootte van de groene lijst ($\gamma$) en de hardheid ($\delta$) varieerden, onthulden dat $\gamma=0.25$ en $\delta=0.5$ centipawns een optimale balans boden. Het verhogen van $\delta$ verbeterde detectiemetrieken (hogere z-scores en Area Under the Curve), maar verminderde de enginekracht aanzienlijk (hogere LOI).

Betekenis en Beweringen
Het artikel claimt het onderzoek naar watermerken van spelende strategieën te initiëren, en demonstreert dat robuuste, unieke handtekeningen in spelende agenten kunnen worden ingebed zonder hun prestaties significant te compromitteren. De auteurs stellen dat hun methode detectie van ongeautoriseerd AI-gebruik (bijvoorbeeld valsspelen) of IE-diefstal (bijvoorbeeld distillatie) mogelijk maakt met statistische toetsen op spelgegevens. Ze benadrukken dat hoewel er een afweging is tussen detecteerbaarheid en kwaliteit, de degradatie in kwaliteit kan worden begrensd en in de praktijk vaak verwaarloosbaar is, vooral wanneer het onderliggende model al vertrouwen stelt op heuristische schattingen. Het werk onderstreept dat spel spelen een onderscheidende setting biedt ten opzichte van tekstgeneratie, waarbij specifieke aanpassingen vereist zijn met betrekking tot nutopenbaarmaking en de aard van adversariale aanvallen.