🤖 machine learning

TRACE: A Two-Channel Robust Attribution Watermark via Complementary Embeddings for LLM-Agent Trajectories

Dieses Paper stellt TRACE vor, ein neuartiges zweikanaliges, robustes Attributions-Wasserzeichen für LLM-Agenten-Trajektorien, das durch die Superposition eines inhaltsbasierten Selektionskanals und eines positionsbasierten Tally-Kanals verzerrungsfreie Aktionsentscheidungen und eine unknackbare Herkunftsnachverfolgung gewährleistet und dadurch Angriffe durch Löschungen und Umschreibungsversuche seitens Wiederverkäufer übersteht.

Ursprüngliche Autoren: Zheng Gao, Xiaoyu Li, Xiaoyan Feng, Jiaojiao Jiang, Yang Song, Yulei Sui, Zhenchang Xing, Liming Zhu

Veröffentlicht 2026-07-10

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zheng Gao, Xiaoyu Li, Xiaoyan Feng, Jiaojiao Jiang, Yang Song, Yulei Sui, Zhenchang Xing, Liming Zhu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Assistenten gebaut, der Flüge buchen, Pizza bestellen und Ihr WLAN reparieren kann. Sie verkaufen diesen Roboter an einen Zwischenhändler (einen „Reseller“), der ihn dann an Kunden vermietet. Das Problem? Der Zwischenhändler könnte versuchen, einen billigeren Roboter unterzubringen, zu behaupten, er hätte ihn selbst gebaut, oder einfach die Protokolle manipulieren, um seine Spuren zu verwischen.

Normalerweise schauen wir auf das „Tagebuch“ eines Roboters – ein Protokoll jedes Werkzeugs, das er benutzt hat, und jeder Aktion, die er ausgeführt hat –, um zu beweisen, wer seine Entscheidungen getroffen hat. Aber wenn dem Zwischenhändler das Tagebuch gehört, kann er Seiten löschen oder die Geschichte umschreiben, um es so aussehen zu lassen, als hätte er die Arbeit geleistet. Bestehende Wasserzeichen sind wie unsichtbare Tinte auf den Tagebuchseiten; wenn der Zwischenhändler den Text umschreibt, verschwindet die Tinte.

Hier kommt TRACE ins Spiel, eine neue Art von digitalem Fingerabdruck, der darauf ausgelegt ist, selbst dann zu überleben, wenn der Besitzer des Tagebuchs versucht, ihn sauber zu wischen. TRACE schreibt nicht nur auf die Seiten; es verändert die Geschichte auf zwei clevere, unsichtbare Arten, die unmöglich rückgängig zu machen sind, ohne das Tagebuch selbst zu zerstügen.

Der Zwei-Kanäle-Zaubertrick

TRACE nutzt zwei verschiedene „Kanäle“, um seinen Beweis zu verstecken, wie ein Spion, der zwei verschiedene Codes verwendet, die einander schützen.

1. Der „Wahl“-Kanal (Die unsichtbare Hand)
Stellen Sie sich vor, der Roboter muss entscheiden, durch welche Tür er gehen soll. Es gibt fünf Türen, aber nur eine führt zum Schatz. Ein normaler Roboter wählt eine Tür basioden seiner eigenen Logik. Der „Wahl“-Kanal von TRACE wirkt wie eine magische, unsichtbare Hand, die den Roboter sanft dazu drängt, eine bestimmte Tür zu wählen, ohne seine Erfolgschancen zu verändern.

Wie es funktioniert: Er verwendet einen geheimen Schlüssel, der auf dem bisherigen Verlauf der Geschichte (dem Inhalt) basiert, um zu entscheiden, welche Tür gewählt wird.
Die Superkraft: Wenn der Zwischenhändler eine Seite aus dem Tagebuch löscht (ein „Deletion Attack“), springt die Geschichte zwar, aber die unsichtbare Hand kalibriert sich für die nächste Seite einfach neu. Es ist wie ein GPS, das sofort neu routet, wenn man eine Abzweigung verpasst hat. Der Beweis überlebt, weil er an den Inhalt der Entscheidungen gebunden ist, nicht an die Seitenzahl.
Der Haken: Wenn der Zwischenhändler die Geschichte umschreibt (aus „Tür A“ macht „die blaue Tür“), bricht dieser Kanal zusammen. Die unsichtbare Hand hat nach „Tür A“ gesucht, und nun ist sie verwirrt.

2. Der „Zähl“-Kanal (Der Generalschlüssel)
Stellen Sie sich nun vor, das Tagebuch des Roboters ist in Gruppen organisiert: eine Entscheidung, gefolgt von ein paar Beobachtungen. Der „Zähl“-Kanal von TRACE kümmert sich nicht um die Wörter; er kümmert sich um die Struktur. Er fügt einigen Gruppen heimlich einen „Geisterdatensatz“ (einen redundanten Vermerk) hinzu, sodass diese zwei Notizen statt einer haben.

Wie es funktioniert: Er verwendet einen geheimen Schlüssel, der auf der Position der Gruppe (dem Skelett des Tagebuchs) basiert. Er entscheidet: „Gruppe 1 erhält eine Geisternotiz, Gruppe 2 nicht.“
Die Superkraft: Wenn der Zwischenhändler den Text umschreibt (aus „Tür A“ macht „die blaue Tür“), bleibt die Anzahl der Notizen in der Gruppe gleich. Die Struktur bleibt unberührt. Dieser Kanal ist manipulationssicher gegen das Umschreiben, weil der Zwischenhändler die Anzahl der Notizen nicht ändern kann, ohne das Format des Tagebuchs zu beschädigen.
Der Haken: Wenn der Zwischenhändler Seiten löscht, ändern sich die Zählungen, und dieser Kanal gerät in Verwirrung.

Die „Double-Blind“-Verteidigung

Hier liegt die Genialität: Der Zwischenhändler kann nicht gewinnen.

Versucht er, Seiten zu löschen, um den „Wahl“-Kanal zu eliminieren, bleibt der „Zähl“-Kanal (der auf der Struktur basiert) perfekt.
Versucht er, den Text umzuschreiben, um den „Zähl“-Kanal zu eliminieren, bleibt der „Wahl“-Kanal (der auf dem Inhalt basiert) perfekt.
Um beide zu löschen, müsste der Zwischenhändler 70 % des Tagebuchs löschen und fast alles andere umschreiben. Aber wenn er das tut, ist das Tagebuch so kaputt, dass es unbrauchbar ist. Er hat das Produkt zerstört, das er eigentlich verkaufen wollte!

Was die Zahlen sagen

Die Forscher haben dies an zwei realen Roboter-Herausforderungen getestet: ToolBench (kurze Aufgaben, etwa 1,4 Entscheidungsschritte pro Aufgabe) und ALFWorld (lange Aufgaben, etwa 23 bis 25 Entscheidungsschritte).

Kein Schaden für den Roboter: TRACE ist „distorsionsfrei“. Der Roboter absolviert seine Aufgaben genauso erfolgreich wie ein Roboter ohne Wasserzeichen. Tatsächlich erreichte der unmarkierte Roboter in ALFWorld eine Erfolgsquote von 82,4 %, während TRACE 83,6 % erreichte. Andere Wasserzeichen, die versuchten, Entscheidungen zu erzwingen, senkten die Erfolgsraten um 8,1 Punkte!
Der Detektionswert: Bei langen Aufgaben (ALFWorld) erreichte der „Wahl“-Kanal einen Detektionswert von z = 100. Das ist ein unglaublich starkes Signal. Selbst wenn der Zwischenhändler 70 % der Schritte gelöscht hat, blieb der Wert über der Detektionslinie.
Der Rewrite-Test: Als ein superintelligentes KI-Modell (der „LLM Rewriter“) versuchte, das Tagebuch umzuschreiben, um das Wasserzeichen zu verbergen, blieb der „Zähl“-Kanal exakt gleich. Sein Wert bewegte sich nicht. Währenddessen fielen die Werte alter Wasserzeichen (wie die „Rot-Grün“-Methode) auf nahezu Null.
Die Kosten des Betrugs: Um beide Kanäle gleichzeitig auszuschalten, müsste der Angreifer einen konstanten Bruchteil der Aktionen korrumpieren. Das Papier beweist mathematisch, dass man das nicht einfach durch „Editieren“ lösen kann; man muss den Service zerstören.

Was TRACE ausschließt

Das Paper stellt sehr klar, was es nicht leistet:

Es ist kein magischer Schutzschild gegen einen Zwischenhändler, der den Roboter einfach durch ein völlig anderes Modell austauscht. Wenn er Ihren Roboter gar nicht mehr verwendet, gibt es kein Wasserzeichen zu finden.
Es ist keine Lösung für kurze Aufgaben, wenn man nur ein einziges Beispiel hat. Bei kurzen Aufgaben (ToolBench) müssen etwa 10 Trajektorien zusammengeführt werden, um ein starkes Signal zu erhalten, da es in einer einzelnen kurzen Aufgabe nicht genug „Entscheidungsentropie“ (Zufälligkeit) gibt.
Es setzt nicht voraus, dass der Zwischenhändler ehrlich ist. Das System ist speziell für das Szenario konzipiert, in dem die Person, die die Beweise hält, der Feind ist.

Das Fazit

TRACE ist das erste System, das beweisen kann, dass die Aktionen eines Roboters seinem Schöpfer gehören, selbst wenn die Person, die den Roboter verkauft, vollen Zugriff auf die Protokolle hat und versucht, diese zu löschen oder umzuschreiben. Es funktioniert, indem es den Beweis in zwei Teile aufteilt: einen, der Löschungen übersteht, und einen, der Umschreibungen übersteht. Die Mathematik zeigt, dass ein Angreifer, um es zu besiegen, den sehr Service zerstören müsste, den er eigentlich verkaufen will. Es ist eine robuste, distorsionsfreie Methode, um die Wahrheit im Tagebuch zu bewahren, egal wer die Feder hält.

Technisches Resümee: TRACE – Ein zweikanaliges robustes Attributions-Wasserzeichen

1. Problemformulierung und Bedrohungsmodell

Die Arbeit befasst sich mit der kritischen Herausforderung der Provenienz-Attribution für LLM-Agenten in einem spezifischen adversariellen Szenario: dem Reseller-Bedrohungsmodell.

Kontext: LLM-Agenten interagieren mit Nutzern über Reseller (Wiederverkäufer), die den Agenten umbranden oder das zugrunde liegende Modell ersetzen können. Wenn Streitigkeiten über Haftung oder Nutzung entstehen, ist das primäre Beweismittel das Trajektorien-Log (eine Aufzeichnung von Tool-Aufrufen, Beobachtungen und ausgeführten Aktionen), nicht das interne Reasoning des Modells.
Der Adversary (Angreifer): Der Reseller besitzt vollen Lese- und Schreibzugriff auf das Trajektorien-Log, da er es für Abrechnungs- und Messzwecke verarbeiten muss. Er ist die Entität, die das Beweismaterial prüft.
Der Angriff: Der Reseller versucht, die Attribution durch zwei spezifische „Launder“-Bewegungen (Reinwaschen) zu entfernen:
1. Löschung (Deletion): Das Kürzen des Logs (Entfernen von Schritten oder Beobachtungen), um identifizierende Datensätze des Providers zu löschen.
2. Umschreiben (Rewriting): Das Paraphrasieren von Beobachtungen und das Umbenennen von Tools in den Namespace des Resellers, während das strukturelle Skelett des Logs (die Sequenz der Decision/Observation-Tags) erhalten bleibt.
Die Einschränkung bestehender Methoden: Vorangegangene Agent-Wasserzeichen (z. B. Agent Guide, AgentMark) verlassen sich auf ein einzelnes Signal, das entweder an den Inhalt oder an die Position gekoppelt ist.
- Inhaltsbasierte Schlüssel versagen bei Umschreiben (da der Inhalt verändert wird).
- Positionsbasierte Schlüssel versagen bei Löschung (da die Sequenz desynchronisiert wird).
- Bestehende Methoden verfügen nicht über Robustheit gegenüber einem Angreifer, der selbst über das Beweismaterial verfügt.

2. Methodik: Das TRACE-Schema

Die Autoren schlagen TRACE vor, ein zweikanaliges Wasserzeichen-Schema, das zwei unabhängige, komplementäre Wasserzeichen auf einer einzigen Trajektorie superponiert. Das Kernprinzip des Designs ist, dass jeder Kanal auf ein anderes Invariante abzielt, das durch eine Angriffsklasse bewahrt, aber durch die andere zerstört wird.

A. Der Selektionskanal (Inhaltsbasiert)

Ziel: Robustheit gegen Löschung.
Mechanismus:
- Träger: Die spezifische Aktion ( $b_i$ ), die der Agent an jedem Entscheidungspunkt wählt.
- Keying: Abgeleitet aus der lokalen Historie der vorangegangenen Aktionen ( $A_{i-1}$ ) und einem geheimen Schlüssel ( $key_1$ ).
- Einbettung: Verwendet einen verzerrungsfreien exponentiellen Race (basierend auf dem Gumbel-Max-Trick). Der Agent sampelt exakt aus seiner ursprünglichen Verteilung $P_i$ , aber der „Gewinner“ des Rennens wird durch einen keyed Zufallswert bestimmt.
- Detektion: Der Detektor spielt das Rennen unter Verwendung der beobachteten Trajektorie und des Schlüssels erneut ab. Wenn die beobachtete Aktion der „Gewinner“ des keyed Rennens war, generiert dies einen hohen Score.
- Robustheit: Da der Schlüssel vom Inhalt abhängt, führt das Löschen eines Beobachtungsdatensatzes nur zur Desynchronisation des Schlüssels für die unmittelbar nächste Gruppe (Auswirkungsradius von eins). Der Detektor resynchronisiert sich unmittelbar nach der Löschung.
- Kosten: Das Signal ist durch die Shannon-Entropie der Entscheidung begrenzt. Deterministische Entscheidungen (Entropie = 0) liefern kein Signal; Entscheidungen mit hoher Entropie liefern stärkere Signale.

B. Der Tally-Kanal (Positionsbasiert)

Ziel: Robustheit gegen Umschreiben.
Mechanismus:
- Träger: Die Anzahl der Datensätze ( $k_i$ ) in einer Entscheidungsgruppe (speziell, ob ein redundanter Beobachtungsdatensatz angehängt wird).
- Keying: Abgeleitet strikt aus dem Skelett der Trajektorie (der Sequenz der Decision/Observation-Tags) und einem geheimen Schlüssel ( $key_2$ ). Es ist unabhängig vom Textinhalt.
- Einbettung: Für Gruppen, in denen die keyed Bedingung erfüllt ist, hängt der Embedder einen kontextneutralen redundanten Datensatz an. Dieser Datensatz ist eine deterministische Funktion des Präfixes, ruft keine Tools auf und verursacht keine Seiteneffekte, wodurch sichergestellt wird, dass die zukünftigen Entscheidungen des Agenten nicht beeinflusst werden.
- Detektion: Der Detektor zählt die Datensätze in jeder Gruppe und vergleicht sie mit dem erwarteten Muster, das aus dem Skelett abgeleitet wurde.
- Robustheit: Umschreib-Angriffe bewahren das Skelett (die Tag-Sequenz). Daher bleiben die Gruppengrenzen und Zählungen unverändert. Der Tally-Kanal ist unbedingt invariant unter jedem Umschreib-Angriff, der das Skelett bewahrt.

C. Gemeinsame Detektion

Der Detektor berechnet einen $z$ -Score für beide Kanäle. Er lehnt die Nullhypothese (dass die Trajektorie nicht wasserzeichenbehaftet ist) ab, wenn der minimale $p$ -Wert der beiden Kanäle unter einem Schwellenwert liegt. Die beiden Kanäle sind so konzipiert, dass sie unter der Nullhypothese unabhängig sind.

3. Zentrale Beiträge

Formales Bedrohungsmodell: Die Arbeit formalisiert das Reseller-Bedrohungsmodell, in dem der Angreifer vollen Lese- und Schreibzugriff auf das Beweismaterial hat, und definiert Löschung und Umschreiben als distinkte Angriffsklassen.
Zwei-Kanal-Architektur: TRACE ist das erste Agent-Wasserzeichen, das gleichzeitig erreicht:
- Verzerrungsfreie Aktionswahl: Die Verteilung des Agenten bleibt nachweislich unverändert.
- Selbst-Synchronisation unter Löschung: Der Selektionskanal erholt sich nach einer einzelnen Löschung.
- Unbedingte Invarianz unter Umschreiben: Der Tally-Kanal bleibt unverändert, unabhängig von der Inhaltsänderung.
Theoretische Garantien:
- Nutzungserhalt (Utility Preservation): Es wurde bewiesen, dass der Selektionskanal die Aktionsverteilung des Agenten nicht verändert (Theorem 5.1).
- Entropie-Detektierbarkeit-Trade-off: Es wurde bewiesen, dass die Signalstärke durch die Hälfte der Entropie der Entscheidung nach unten begrenzt ist (Theorem 5.2).
- Gemeinsame Löschkosten (Joint Erasure Cost): Es wurde bewiesen, dass das gleichzeitige Löschen beider Kanäle den Angreifer dazu zwingt, entweder das Skelett zu editieren (was ihn einer Konsistenzprüfung aussetzt) oder einen konstanten Bruchteil der Trajektorie zu korrumpieren, was effektiv die Dienstqualität zerstört (Theorem 5.4).
Neue Attack-Baseline: Einführung des LLM Rewriters, eines informierten, plausibilitätserhaltenden Angriffs, der Aktionen durch andere, aber plausible Alternativen ersetzt und somit als rigoroses Benchmark für die Robustheit gegenüber Umschreiben dient.

4. Experimentelle Ergebnisse

Das Schema wurde auf ToolBench (kurze Horizonte, ~1,4 Entscheidungsgruppen/Task) und ALFWorld (lange Horizonte, ~23-25 Entscheidungsschritte/Task) evaluiert.

Nützlichkeit (Utility): TRACE erreicht die Erfolgsrate des unwatermarked Agenten (Base) auf beiden Benchmarks. Im Gegensatz dazu litten biased Wasserzeichen (wie die Red-Green-Baseline) unter signifikanten Einbußen bei der Erfolgsrate (bis zu 8,1 Punkte auf ALFWorld) aufgrund der Verschiebung der Wahrscheinlichkeitsmasse bei Entscheidungen mit geringer Entropie.
Detektionsleistung:
- Saubere Logs: TRACE erzielt extrem hohe Detektionsscores ( $z \approx 100$ für Selektion auf ALFWorld).
- Löschung: Der Selektionskanal bleibt selbst unter 70 % Schritt-Löschung detektierbar ( $z$ sinkt von 11,34 auf 4,06, bleibt aber über dem Schwellenwert).
- Umschreiben: Der Tally-Kanal bleibt unter 100 % Umschreib-Stärke exakt invariant ( $z$ bleibt konstant bei ~14,34). Umgekehrt kollabieren inhaltsbasierte Baselines (RG, AM-F) unter Umschreiben auf nahezu Null oder negative Scores.
- Kombinierte Angriffe: Nur der „Corner Case“ aus hoher Löschung (70 %) kombiniert mit hohem Umschreiben (>60 %) unterdrückt beide Kanäle. Dies entspricht einem Szenario, in dem der Reseller die Nützlichkeit des Dienstes bereits zerstört hat.

5. Bedeutung und Ansprüche

Die Arbeit behauptet, dass TRACE eine strukturelle Lösung für das Provenienzproblem im Resale-Setting bietet, indem es über empirische Robustheit hinaus zu mathematischen Garantien übergeht.

Rechenschaftspflicht (Accountability): Es ermöglicht die Attribution selbst dann, wenn die Entität, die die Logs hält (der Reseller), der Adversary ist.
Komplementäre Invarianten: Die Arbeit zeigt, dass Robustheit dadurch erreicht werden kann, dass das Signal über komplementäre Invarianten (Inhalt vs. Skelett) aufgeteilt wird, wodurch sichergestellt wird, dass kein einzelner Angriff die Wasserzeichen zerstören kann, ohne das Produkt selbst zu zerstören.
Verzerrungsfrei: Es wird bewiesen, dass behaviorales Wasserzeichen ohne Verschlechterung der Aufgabenleistung des Agenten erreicht werden kann, was eine kritische Anforderung für den Einsatz ist.
Einschränkungen: Die Autoren merken an, dass die Detektion Zugriff auf die Kandidaten-Aktionsmengen zum Zeitpunkt der Prüfung erfordert und dass der Tally-Kanal das Log-Volumen (Speicher-Overhead) erhöht, anstatt die Anzahl der Tool-Aufrufe zu erhöhen. Sie räumen auch ein, dass, falls ein Reseller den Agenten des Providers vollständig aufgibt und die Aufgabe mit einem anderen Modell neu ausführt, das Wasserzeichen abwesend sein wird, wobei dieses Fehlen selbst die Falschdarstellung markiert.

Die Arbeit schließt mit dem Schluss, dass zwar kein Single-Signal-Schema einem Angreifer mit voller Kontrolle über das Beweismaterial überleben kann, ein Zwei-Kanal-Ansatz, der komplementäre Embeddings nutzt, jedoch die Kosten für das „Launderen“ des Logs prohibitiv hoch macht.