💻 computer science

Watermarking Game-Playing Agents in Perfect-Information Extensive-Form Games

Dieser Beitrag stellt eine Methode vor, um spielende Agenten in Spielen mit perfekter Information und extensiver Form durch Anpassung von LLM-Wasserzeichen-Techniken zu wasserzeichen, und zeigt, dass dieser Ansatz eine zuverlässige Erkennung nicht autorisierter KI-Nutzung bei vernachlässigbaren Auswirkungen auf die Strategiewqualität ermöglicht.

Ursprüngliche Autoren: Juho Kim, Fei Fang, Tuomas Sandholm

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Juho Kim, Fei Fang, Tuomas Sandholm

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen superschlauen Schachroboter, der niemals einen Fehler macht. Er ist so gut, dass er den Weltmeister schlagen könnte. Aber stellen Sie sich nun vor, jemand nutzt diesen Roboter, um bei Online-Schachturnieren zu betrügen. Wie können Sie beweisen: „Hey, dieser Spieler ist kein Mensch; er benutzt unseren spezifischen Roboter"?

Genau dieses Problem löst die vorliegende Arbeit. Die Autoren entwickelten eine Methode, spielende KI-Systeme zu „wassermarkeieren", ähnlich wie man eine Banknote mit einer versteckten Seriennummer versieht, um ihre Echtheit zu beweisen.

Hier ist die Aufschlüsselung ihrer Idee anhand einfacher Analogien:

1. Die große Idee: Ein Spiel in einen geheimen Code verwandeln

Die Forscher stellten fest, dass das Spielen eines Spiels (wie Schach) dem Schreiben einer Geschichte sehr ähnlich ist.

Eine Geschichte schreiben: Eine KI wählt das nächste Wort basierend auf dem, was davor kam.
Ein Spiel spielen: Eine KI wählt den nächsten Zug basierend auf dem aktuellen Brett.

Genau wie Autoren „grüne Listen" von Wörtern haben, die sie bevorzugen, gaben die Autoren dem spielenden KI-System eine geheime „Grüne Liste" von Zügen und eine „Rote Liste" von Zügen.

Der Trick: Die KI ist so programmiert, dass sie Zügen auf der Grünen Liste leicht den Vorzug gibt. Dies verändert ihre Strategie nicht so stark, dass sie zu einem schlechten Spieler wird, aber gerade genug, um eine versteckte statistische Signatur zu hinterlassen.
Das Ergebnis: Wenn Sie beobachten, wie die KI 20 oder 30 Partien spielt, können Sie einen mathematischen Test durchführen (wie ein Detektiv, der Beweise zählt), um festzustellen, ob der Spieler Züge der „Grünen Liste" häufiger wählt, als es dem Zufall entsprechen würde. Wenn ja, wissen Sie, dass dieser spezifische wassergekennzeichnete KI-Roboter im Einsatz ist.

2. Die „Magie" der Grünen Liste

Stellen Sie sich die Grüne Liste wie einen subtilen Schubs vor.

Stellen Sie sich vor, Sie laufen durch einen Wald (das Spiel). Normalerweise würden Sie jeden beliebigen Weg nehmen.
Die Wassermarke ist wie eine sanfte Brise, die Sie leicht in Richtung der „grünen" Pfade drückt.
Wenn Sie 100 Schritte gehen, merken Sie die Brise vielleicht nicht. Aber wenn ein Detektiv beobachtet, wie Sie 1.000 Schritte gehen, wird er bemerken, dass Sie 25 % mehr grüne Pfade gewählt haben als ein zufälliger Wanderer. Das ist die Wassermarke.

3. Der Kompromiss: Stärke vs. Erkennbarkeit

Die Arbeit fragt: „Macht dieser Schubs den Roboter schlechter?"

Die Antwort: Eigentlich nicht. Die Autoren testeten dies an sechs berühmten Schach-Engines (darunter den weltberühmten Stockfish).
Die Analogie: Es ist, als würde man einen professionellen Basketballspieler bitten, etwas häufiger mit der linken Hand zu werfen, weil dies „im geheimen Code" steht. Er mag ein paar mehr Würfe verfehlen als üblich, aber er bleibt ein Profi. Die Arbeit ergab, dass die wassergekennzeichneten Roboter genauso stark waren wie die Originale; der Unterschied war so gering, dass er im Grunde nur Rauschen darstellte.
Der Haken: Wenn Sie den „Schubs" zu stark machen (um die Wassermarke leichter erkennbar zu machen), beginnt der Roboter schlechter zu spielen. Sie müssen ausbalancieren, wie einfach es ist, den Betrüger zu fassen, und wie gut der Roboter spielt.

4. Warum dies schwieriger ist als nur Text

Die Arbeit weist auf einen entscheidenden Unterschied zwischen dem Schreiben von Text und dem Spielen von Spielen hin:

Text: Wenn eine KI einen Satz schreibt, können Sie ein Wort nicht einfach ändern, ohne den gesamten Absatz neu zu schreiben.
Spiele: In einem Spiel können Sie einen Zug nicht „rückgängig" machen. Sobald Sie einen Bauern bewegt haben, ist er weg. Dies hilft der Wassermarke tatsächlich! Ein Betrüger kann die Spielhistorie nicht einfach „bearbeiten", um den geheimen Code zu entfernen. Er muss das Spiel Zug für Zug spielen, und jeder Zug, den er macht, hinterlässt einen winzigen Fingerabdruck.

5. Das „Black-Box"-Problem (das Nutzenproblem)

Manchmal möchten Benutzer dieser KI-Engines nicht nur wissen, welchen Zug sie machen sollen, sondern auch, wie gut dieser Zug ist (die Bewertung).

Das Problem: Wenn die KI Ihnen sagt: „Zug A ist 5 Punkte wert", könnte ein schlauer Betrüger den geheimen Code einfach ignorieren und den Zug mit der höchsten Bewertung wählen, wodurch er die Wassermarke umgeht.
Die Lösung: Die Autoren schufen eine zweite Schutzschicht. Sie „schoben" auch die Bewertungszahlen leicht. Wenn die Wassermarke öffentlich wäre, könnte ein Betrüger dies rückgängig machen. Daher schlägt die Arbeit vor, das Bewertungssystem geheim (privat) zu halten, damit der Betrüger den Trick nicht reverse-engineeren kann.

6. Die Ergebnisse: Betrüger schnell fassen

Die Autoren führten Experimente durch, bei denen sie die wassergekennzeichneten Schach-Engines gegen die normalen antreten ließen.

Leistung: Die wassergekennzeichneten Engines spielten fast genau so gut wie die Originale.
Erkennung: Sie stellten fest, dass sie die Wassermarke mit hoher Sicherheit bereits nach wenigen Partien erkennen konnten (manchmal schon nach ein oder zwei Runden).
Fazit: Sie können einem spielenden KI-System einen versteckten, unwiderruflichen ID-Aufkleber aufkleben, ohne es dümmer zu machen, und Sie können Betrüger sehr schnell fassen.

Zusammenfassung

Diese Arbeit handelt davon, einen versteckten, unzerstörbaren Fingerabdruck auf spielende KI-Systeme zu setzen. Dies funktioniert, indem die KI subtil dazu gebracht wird, bestimmte Züge zu wählen, wodurch ein statistisches Muster entsteht, das die Identität der KI beweist. Das Beste daran? Die KI wird dabei nicht dümmer, und Sie können den Betrüger bereits nach einer Handvoll Partien fassen.

Technische Zusammenfassung: Wasserzeichen für spielende Agenten in Extensive-Form-Spielen mit vollständiger Information

Problemstellung
Der rasche Fortschritt der künstlichen Intelligenz hat übermenschliche Agenten für Spiele wie Schach, Go und Poker hervorgebracht. Obwohl diese Agenten eine überlegene Leistung zeigen, stellen ihre unbefugte Nutzung in wettbewerbsfähigen Umgebungen (z. B. Online-Betrug) und das Potenzial für Diebstahl geistigen Eigentums (IP) (z. B. Code-Plagiate oder Modell-Distillation) erhebliche Herausforderungen dar. Bestehende Wasserzeichentechniken für Large Language Models (LLMs), die verborgene Signale zur Verifizierung von Ausgabequellen kodieren, bieten eine potenzielle Lösung. Die direkte Anwendung von LLM-Wasserzeichen auf spielende Agenten ist jedoch aufgrund struktureller Unterschiede nicht trivial: Das Spielen umfasst sequenzielle Aktionen mehrerer Spieler, erfordert die Wahrung der strategischen Qualität (erwarteter Nutzen) und macht oft die Offenlegung geschätzter Nutzenwerte neben Handlungsempfehlungen notwendig. Ferner sind spielende Agenten im Gegensatz zur Textgenerierung, bei der Offline-Angriffe nach der Verarbeitung möglich sind, durch Spielschranken (z. B. Unmöglichkeit von Zugrücknahmen, Anwesenheit von Beobachtern) eingeschränkt, was Angreifer auf Online-Manipulationen in einzelnen Schritten beschränkt.

Methodik
Die Autoren passen das Kirchenbauer-Green-Keen (KGW)-Wasserzeichen, eine prominente LLM-Wasserzeichentechnik, auf Extensive-Form-Spiele (EFGs) mit vollständiger Information an. Die Kernmethodik beinhaltet die Modifikation des Strategienprofils $\sigma$ eines spielend lösenden Agenten.

Anpassung von KGW an Strategienprofile:
- Partitionierung in Grün-/Rot-Listen: Für eine gegebene Historie $h$ werden die verfügbaren Aktionen $A(h)$ basierend auf einem Pseudo-Zufallszahlengenerator, der mit dem Hash der aktuellen Beobachtung initialisiert ist, zufällig in eine „Grün-Liste" $G$ (Größe $\gamma|A(h)|$ ) und eine „Rot-Liste" $R$ unterteilt.
- Verzerrung des Nutzens: Anstatt wie bei LLMs Logits zu modifizieren, verändert das Wasserzeichen die (geschätzten) erwarteten Nutzenwerte $\vec{u}$ , die mit Aktionen verbunden sind. Ein Härteparameter $\delta$ wird zu den Nutzenwerten der Aktionen in der Grün-Liste addiert, während ein kompensierender Wert von $-\gamma\delta/(1-\gamma)$ von den Aktionen in der Rot-Liste subtrahiert wird. Dies stellt sicher, dass die erwartete Anpassung des Nutzens null ist und die Gesamtwertverteilung im Erwartungswert erhalten bleibt.
- Auswahl der Aktion: Der Agent wählt die Aktion mit dem maximalen angepassten Nutzen aus. Wenn $\delta \to \infty$ , wird der Agent gezwungen, nur Aktionen aus der Grün-Liste zu wählen; wenn $\delta \to 0$ , wirkt das Wasserzeichen lediglich als Entscheidungshilfe bei Gleichstand.
Wasserzeichen für erwartete Nutzenwerte:
- Um die Notwendigkeit zu adressieren, dass Benutzer geschätzte Nutzenwerte (nicht nur Aktionen) sehen müssen, wird ein paralleler Wasserzeichenmechanismus auf die Nutzenwerte selbst angewendet. Dies verhindert, dass Angreifer das Wasserzeichen umgehen, indem sie einfach die Aktion mit dem höchsten unveränderten Nutzen auswählen.
- Datenschutzbedingung: Die Arbeit weist darauf hin, dass, wenn erwartete Nutzenwerte an den Benutzer zurückgegeben werden, das Wasserzeichen privat (mit einem geheimen Schlüssel) eingesetzt werden muss. Wenn der Härteparameter $\delta$ öffentlich ist, könnte ein Angreifer die Nutzenanpassungen mathematisch rückgängig machen, um die Werte des wahren zugrunde liegenden Modells wiederherzustellen.
Detektionsmechanismus:
- Die Detektion basiert auf einem statistischen Test (z-Score), der die beobachtete Häufigkeit von Aktionen aus der Grün-Liste ( $n_G$ ) mit der erwarteten Häufigkeit ( $\gamma n$ ) unter der Nullhypothese vergleicht, dass der Spieler vom Wasserzeichen nichts weiß.
- Ein hoher z-Score weist auf das Vorhandensein des Wasserzeichens hin. Die Autoren schlagen einen Schwellenwert von $z=4$ vor (ca. $3 \times 10^{-5}$ False-Positive-Rate).

Hauptbeiträge

Einleitung der Wasserzeichen für spielende Agenten: Die Arbeit etabliert das erste Framework für die Wasserzeichenkennzeichnung von Strategien in Extensive-Form-Spielen mit vollständiger Information und passt LLM-Techniken auf den Bereich der Spieltheorie an.
Theoretische Schranken: Die Autoren liefern eine theoretische Analyse, die die Verschlechterung der Strategienqualität begrenzt. Sie beweisen, dass der gesamte Verlust an erwartetem Nutzen ( $L$ ), der durch das Wasserzeichen entsteht, durch $L \le n\delta(1 + \gamma/(1-\gamma))$ beschränkt ist, wobei $n$ die Anzahl der Aktionen ist. Dies zeigt einen Zielkonflikt zwischen Detektierbarkeit (höheres $\delta$ ) und Strategienqualität auf.
Behandlung der Offenlegung von Nutzenwerten: Die Arbeit adressiert die einzigartige Herausforderung spielender Agenten, bei denen Benutzer geschätzte erwartete Nutzenwerte benötigen, und schlägt eine Methode vor, diese Werte zu wasserzeichen, ohne die Detektionsfähigkeit zu beeinträchtigen, sofern das Wasserzeichen privat gehalten wird.
Robustheitsanalyse: Die Autoren argumentieren, dass die Natur des Spielens (sequenzielle, beobachtbare, irreversible Züge) Offline-Angriffsvektoren, die bei der Textgenerierung üblich sind, inhärent abschwächt und Angreifer auf Online-Manipulationen in einzelnen Schritten beschränkt, die gegen das vorgeschlagene Schema weniger effektiv sind.

Experimentelle Ergebnisse
Die Autoren bewerteten das Framework, indem sie das Wasserzeichen auf sechs populäre Universal Chess Interface (UCI)-Engines bootstrapten: asmFish 9, Dragon, Ethereal 14.40, PlentyChess, Stash v37.0 und Stockfish 17.1.

Leistungsbeeinträchtigung: In Partien von 100 Runden zwischen wasserzeichenversehenen und originalen Engines waren die Elo-Unterschiede vernachlässigbar und lagen innerhalb der Fehlermargen. Beispielsweise zeigte Stockfish 17.1 einen Elo-Unterschied von +24,4 (statistisch nicht signifikant) und asmFish 9 einen von -10,4. Die Wahrscheinlichkeit, dass die wasserzeichenversehene Engine unterlegen ist (LOI), erreichte im Allgemeinen kein 90%-Konfidenzniveau, was darauf hindeutet, dass das Wasserzeichen die Spielstärke nicht signifikant verschlechtert.
Detektierbarkeit: Das Wasserzeichen war nach einer geringen Anzahl von Partien mit hoher Konfidenz detektierbar. Die meisten wasserzeichenversehenen Engines überschritten den Schwellenwert $z=4$ innerhalb der ersten 2 bis 9 Runden.
Parameter-Ablation: Experimente mit variierender Größe der Grün-Liste ( $\gamma$ ) und Härte ( $\delta$ ) ergaben, dass $\gamma=0,25$ und $\delta=0,5$ Centipawns ein optimales Gleichgewicht bieten. Eine Erhöhung von $\delta$ verbesserte die Detektionsmetriken (höhere z-Scores und Fläche unter der Kurve), reduzierte jedoch die Engine-Stärke signifikant (höhere LOI).

Bedeutung und Behauptungen
Die Arbeit beansprucht, die Untersuchung der Wasserzeichenkennzeichnung spielender Strategien einzuleiten, und zeigt, dass robuste, eindeutige Signaturen in spielende Agenten eingebettet werden können, ohne deren Leistung signifikant zu beeinträchtigen. Die Autoren behaupten, dass ihre Methode die Erkennung von nicht autorisierter KI-Nutzung (z. B. Betrug) oder IP-Diebstahl (z. B. Distillation) mittels statistischer Tests auf Spieldaten ermöglicht. Sie betonen, dass zwar ein Zielkonflikt zwischen Detektierbarkeit und Qualität besteht, die Qualitätsverschlechterung jedoch begrenzt werden kann und in der Praxis oft vernachlässigbar ist, insbesondere wenn das zugrunde liegende Modell bereits auf heuristischen Schätzungen basiert. Die Arbeit hebt hervor, dass das Spielen eine von der Textgenerierung unterscheidbare Umgebung darstellt, die spezifische Anpassungen hinsichtlich der Offenlegung von Nutzenwerten und der Natur adversarischer Angriffe erfordert.