Technische Zusammenfassung: Sequenzielle Verhaltenswasserzeichen für LLM-Agenten (SeqWM)

1. Problemstellung

Large Language Model (LLM)-Agenten haben sich von Textgeneratoren zu autonomen Entscheidungsträgern entwickelt, die planen, Werkzeuge aufrufen und mit externen Umgebungen interagieren. Dieser Wandel schafft eine kritische Lücke in der Herkunftsbestimmung: Während das geistige Eigentum dieser Agenten in ihren Entscheidungsfähigkeiten liegt (die durch teures Nachtrainieren auf Trajektorien-Daten erworben wurden), sind die Trajektorien selbst wertvolle Vermögenswerte, die anfällig für unbefugte Vervielfältigung und Imitationsangriffe sind.

Bestehende Wasserzeichen-Lösungen für LLMs arbeiten primär auf Token-Ebene und verzerren die Stichprobennahme von Vokabel-Token. Dieser Ansatz versagt jedoch bei Agenten aus zwei Gründen:

1. Nicht übereinstimmende Einheiten: Hochrangige Agentenentscheidungen (z. B. „Werkzeug X aufrufen") werden durch viele Token realisiert. Eine Verzerrung auf Token-Ebene verwässert das Signal, bevor es die tatsächliche Aktion beeinflusst.
2. Begrenzte Beobachtbarkeit: In vielen eingesetzten Agentensystemen (82,8 % der befragten Plattformen) sind interne Denkspuren und Zwischentoken verborgen; Detektoren beobachten nur den finalen Aktionsstrom. Folglich werden Signale auf Token-Ebene vor der Verifizierung verworfen.

Neuere Versuche zur Verhaltenswasserzeichen-Einbettung behandeln jeden Aktionsschritt als unabhängigen Versuch und setzen Wasserzeichen oft basierend auf absoluten Runden-Indizes. Dieser Ansatz ist fragil: Wenn eine Trajektorie abgeschnitten, gelöscht oder ohne perfekte Ausrichtung beobachtet wird, verschiebt sich der Index, wodurch der Detektor mit der Wasserzeichen-Logik nicht mehr übereinstimmt und die gesamte Sequenz unerkennbar wird.

2. Methodik: SeqWM

Die Autoren schlagen SeqWM vor, ein Framework, das Wasserzeichen-Signale in historie-konditionierte Übergangsmuster einbettet, anstatt in marginale Aktionsfrequenzen oder absolute Positionen. Die Methode besteht aus drei Kernkomponenten:

A. Historie-konditionierte Mehrkanal-Kodierung

Anstatt den absoluten Schrittnummer $t$ zur Saat des Wasserzeichens zu verwenden, nutzt SeqWM ein Fenster vorhergehender Aktionen $c_t = (b_{t-w}, \dots, b_{t-1})$ als Saat.

• Mechanismus: Für einen geheimen Schlüssel $K$ leitet das System eine pseudorandomisierte Teilmenge von Kandidatenaktionen $B^{(j)}_{g,t}$ für jeden von $m$ unabhängigen Kanälen mittels einer gekeyten Hash-Funktion ab: $B^{(j)}_{g,t} = G_K(c_t \parallel j)$.
• Verzerrung: Die Aktionsverteilung des Agenten $P_t$ wird durch eine exponentielle Verschiebung basierend auf einem Mehrkanal-Score $s_t(b)$ in eine wasserzeichen-markierte Verteilung $P^{wm}_t$ überführt, der zählt, wie viele Kanäle eine bestimmte Aktion $b$ bevorzugen.
• Wirkung: Das Wasserzeichen verzerrt den konditionierten Übergang $P(b_t | c_t)$ anstelle der marginalen Häufigkeit von $b_t$. Dies stellt sicher, dass das Signal erhalten bleibt, selbst wenn ein Angreifer die marginale Verteilung nachahmt.

B. Schiebefenster-Detektion

Der Detektor arbeitet positionsagnostisch. Er verlässt sich nicht darauf, den absoluten Schrittnummer der beobachteten Sequenz zu kennen.

• Mechanismus: Der Detektor schiebt ein Fenster der Größe $w$ über die beobachtete Aktionssequenz $\hat{b}$. Für jeden Teilstring der Länge $w$ prüft er, ob die nachfolgende Aktion mit der aus dieser spezifischen Historie und dem geheimen Schlüssel abgeleiteten geführten Teilmenge übereinstimmt.
• Robustheit: Da dasselbe Historienfenster deterministisch dieselbe geführte Teilmenge liefert, unabhängig von seiner absoluten Position, kann der Detektor Beweise aus jedem gültigen Übergang in einer abgeschnittenen oder korrupten Sequenz aggregieren. Dies steht im Gegensatz zu rundenindizierten Detektoren, bei denen eine einzelne Löschung alle nachfolgenden Indizes verschiebt und zu einer globalen Fehlausrichtung führt.

C. Random-Key-Kalibrierung

Standardstatistische Tests (z. B. binomiale $z$-Tests) gehen von einer Unabhängigkeit zwischen Detektionsindikatoren aus, was hier aufgrund der sequenziellen Natur des Agentenverhaltens und überlappender Fenster ungültig ist.

• Lösung: Das Framework konstruiert eine empirische Nullverteilung unter Verwendung der beobachteten Sequenz selbst. Es berechnet den Detektionsscore unter Verwendung des wahren Schlüssels $K$ und vergleicht ihn mit Scores, die unter Verwendung von $M$ zufälligen „falschen" Schlüsseln $K_r$ generiert wurden.
• Gültigkeit: Da die falschen Schlüssel die natürlichen Abhängigkeiten der Sequenz bewahren, aber die Wasserzeichen-Ausrichtung löschen, ist der resultierende $p$-Wert verteilungsfrei und auch unter adversarischer Korruption (Löschung, Abschneiden) gültig.

3. Hauptbeiträge

1. Rahmung: Das Papier rahmt Agenten-Wasserzeichen als sequenzielles Kodierungsproblem neu, indem es eine Asymmetrie identifiziert: Die Generierung ist durch Historie verkettet, aber die Verifizierung kann lokale Übergangsbeweise aggregieren, ohne die Kette neu aufzubauen.
2. Methode: Einführung von SeqWM, das historie-konditionierte Kodierung, Schiebefenster-Detektion und Random-Key-Kalibrierung kombiniert, um positionsagnostische Verifizierung zu erreichen.
3. Theorie: Theoretische Analyse, die beweist, dass rundenindizierte Detektion unter Löschung kollabiert (erwartete ausgerichtete Präfixlänge $O(1/\rho)$), während Schiebefenster-Detektion nur einen lokalen, additiven Verlust an Beweisen erleidet ($d(w+1)m$ Indikatoren), wodurch die Detektionskraft erhalten bleibt.
4. Empirische Evaluation: Umfassende Experimente über drei Benchmarks (ToolBench, ALFWorld, OASIS) und drei LLM-Backbones (Gemma, LLaMA, Qwen).

4. Experimentelle Ergebnisse

• Detektionszuverlässigkeit: SeqWM erreicht konsistent statistisch signifikante Detektion ($p < 0.01$) über alle Modelle und Benchmarks hinweg, wohingegen Baseline-Methoden (AgentGuide, AgentMark) häufig versagen, sich von der Nullhypothese zu trennen, insbesondere in OASIS und bei bestimmten LLMs.
• Robustheit gegenüber Löschung: Bei zufälligen Löschungsquoten von Aktionen bis zu 50 % behält SeqWM hohe True-Positive-Raten (TPR) bei. Im Gegensatz dazu kollabieren rundenindizierte Baselines (AgentGuide) sofort nach geringen Löschungsquoten aufgrund von Index-Fehlausrichtungen.
• Erhaltung der Nützlichkeit: Der Wasserzeichen-Prozess erhält die Agentennützlichkeit. Die Verzerrungsstärke ($\gamma$) kann angepasst werden (z. B. $\gamma=2.0$), um eine zuverlässige Detektion zu erreichen, ohne die Aufgabenergebnisse signifikant zu verschlechtern.
• Notwendigkeit von Mehrkanälen: Ablationsstudien zeigen, dass Varianten mit einem einzigen Kanal selbst bei hoher Verzerrungsstärke keine zuverlässige Detektion bieten, was bestätigt, dass redundante Kanäle für die Ansammlung ausreichender Beweise über die Trajektorie hinweg unerlässlich sind.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass die sequenzielle Struktur in der Wasserzeichen-Einbettung für Agenten nicht nur ein Ärgernis, sondern ein leistungsfähiger Träger von Herkunfts-Signalen ist. Durch die Verlagerung des Wasserzeichens von pro-Schritt-Statistiken hin zu konditionierten Übergangsmustern löst SeqWM das Ausrichtungsproblem, das früheren Methoden zur Wasserzeichen-Einbettung im Verhalten inhärent war.

Die Autoren positionieren SeqWM als einen Netto-Vorteil für Rechenschaftspflicht und nachträgliche Audits bei dem Einsatz autonomer Agenten. Sie betonen, dass ihr Ansatz die Korruption von Trajektorien (Löschung, Abschneiden) zu einer lokalen Quelle von Beweisverlust macht, anstatt zu einem globalen Detektorversagen. Die Arbeit legt nahe, dass die Erweiterung dieser Perspektive auf stärkere adaptive Angriffe und semantische Änderungen auf Trajektorien-Ebene eine notwendige Richtung für zukünftige Forschung ist, aber der aktuelle Beitrag eine robuste, positionsagnostische Grundlage für die Verifizierung der Agenten-Herkunft etabliert.