🤖 AI

Asking Back: Interaction-Layer Antidistillation Watermarks

Dieser Artikel schlägt „Antidistillations-Wasserzeichen auf der Interaktionsschicht" vor, einen neuartigen Verteidigungsmechanismus, der nachweisbare Verhaltensmerkmale in die Systemprompts eines LLM einbettet, um unbefugte Wissensdistillation auch dann zuverlässig nachzuverfolgen, wenn Angreifer traditionelle tokenbasierte Signale umformulieren oder entfernen, und dabei eine hohe Übertragbarkeit auf diverse Schülermodelle bei minimalen Auswirkungen auf das Nutzererlebnis demonstriert.

Ursprüngliche Autoren: Guang Yang, Amir Ghasemian, Fengchen Liu, Zhong Wang, Ninareh Mehrabi, Homa Hosseinmardi

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Guang Yang, Amir Ghasemian, Fengchen Liu, Zhong Wang, Ninareh Mehrabi, Homa Hosseinmardi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Phantom-Schüler"

Stellen Sie sich einen berühmten Koch (den Lehrer) vor, der in einem gehobenen Restaurant arbeitet. Er hat ein geheimes Rezeptbuch, das niemand sonst sehen kann. Ein hinterhältiger Konkurrent (der Angreifer) kann das Buch nicht stehlen, aber er kann jedes Gericht auf der Speisekarte bestellen, genau aufschreiben, was der Koch sagt und wie er es serviert, und dann einen Junior-Koch (den Schüler) einstellen, um sich diese Notizen einzuprägen.

Der Junior-Koch wird so gut im Nachahmen der Gerichte, dass er sein eigenes Restaurant eröffnen und dieselben Speisen verkaufen kann, ohne jemals das originale Rezeptbuch gesehen oder dem Koch bezahlt zu haben. Dies nennt man unerlaubte Wissensdistillation.

Der Koch möchte wissen: „Verwendet dieses neue Restaurant meine Rezepte?"

Die alten Lösungen: Das Essen markieren

Früher versuchten Köche, den Dieb zu fangen, indem sie unsichtbare Tinte in das Essen selbst gaben.

Das Token-Wasserzeichen: Der Koch würde heimlich die Art ändern, wie er Gemüse schneidet oder das Garnieren anordnet (die spezifischen Wörter oder „Tokens" in der Antwort der KI zu ändern).
Das Problem: Wenn der Dieb schlau ist, kann er das Gericht einfach neu anrichten. Er nimmt die Beschreibung des Kochs, schreibt sie in seinen eigenen Worten um (paraphrasiert) und serviert sie erneut. Die unsichtbare Tinte wird abgewaschen, aber der Geschmack (das Wissen) bleibt. Der Dieb kommt damit davon.

Die neue Idee: Das „Asking Back"-Wasserzeichen

Dieses Papier schlägt eine neue Strategie vor. Anstatt das Essen (den Text) zu markieren, markiert der Koch das Gespräch (die Interaktion).

Stellen Sie sich vor, der Koch hat eine Regel: „Nachdem ich jedes Gericht serviert habe, muss ich dem Kunden eine Folgefrage stellen, wie zum Beispiel: ‚Ist dies für eine Geburtstagsfeier oder ein Geschäftsessen?'"

Die Strategie: Dem Koch (der KI-API) wird eine versteckte Anweisung gegeben, gelegentlich diese Folgefragen zu stellen.
Der Diebstahl: Der Dieb zeichnet die Antworten des Kochs und die Fragen auf. Er trainiert seinen Junior-Koch, dieses Verhalten nachzuahmen.
Der Haken: Selbst wenn der Dieb die Antworten des Kochs in seinen eigenen Worten umschreibt, lernt der Junior-Koch, dass „guter Service" das Stellen einer Folgefrage beinhaltet. Also fängt der Junior-Koch an, diese Fragen ebenfalls zu stellen, obwohl er den ursprünglichen Koch nie gesehen hat.

Der Verteidiger (der ursprüngliche Koch) kann dann das neue Restaurant besuchen, eine Frage stellen und beobachten, ob der Junior-Koch eine Folgefrage zurückstellt. Wenn er das tut, ist dies ein starkes Zeichen dafür, dass er die Trainingsdaten gestohlen hat.

Wie sie es getestet haben

Die Forscher richteten ein riesiges Experiment ein, um zu sehen, ob dieser „Asking Back"-Trick funktioniert.

Das Setup: Sie nutzten eine riesige, intelligente KI (Llama-3.3-70B) als „Koch". Sie trainierten drei verschiedene Arten von kleineren KIs (Gemma, OLMo und Qwen), um den Koch zu kopieren.
Die Bedingungen:
- Stark: Der Koch stellte jedes einzelne Mal eine Folgefrage.
- Weich: Der Koch stellte nur etwa 20 % der Zeit eine Folgefrage (um es schwerer zu erkennen).
- Stil: Anstatt einer Frage fügte der Koch einen hilfreichen Tipp hinzu, wie zum Beispiel: „Das funktioniert am besten, wenn Sie es eilig haben."
Der Angriff: Sie simulierten einen Dieb, der die Prompts des Kochs vor dem Training des Schülers umschreibt (ein „Paraphrase-Angriff").

Was sie fanden (Die Ergebnisse)

Es funktioniert (H1 & H2): Die kleineren KIs lernten das Verhalten perfekt. Selbst wenn der Koch nur 20 % der Zeit Fragen stellte, fingen die Schüler an, sie ebenfalls zu stellen, und zwar zu einem viel höheren Grad als normal. Dies geschah bei allen drei verschiedenen Arten von Schüler-KIs.
Es übersteht das Umschreiben (H3): Selbst wenn der Dieb versuchte, die Prompts umzuschreiben, um das Muster zu verstecken, behielten die Schüler die Gewohnheit bei. Interessanterweise wurde ein Schülermodell (OLMo) nach dem Training auf den umschriebenen Daten tatsächlich besser darin, die Fragen zu stellen, als der ursprüngliche Koch.
Es ist schwer zu erkennen (H4 & H5):
- Niedrige Dichte: Das Wasserzeichen funktionierte, selbst wenn der Koch es nur 20 % der Zeit einsetzte.
- Tarnung: Sie baten 20 Personen, mit der KI zu chatten. Die Personen bemerkten keinen Unterschied. Sie bewerteten die Gespräche mit dem „wasserzeichen-markierten" KI genauso positiv wie die normalen. Die zusätzlichen Fragen wirkten nicht nervig oder seltsam.

Die „Geheimsauce"-Analogie

Stellen Sie sich die alten Wasserzeichen vor wie das Malen eines einzigartigen Musters auf einen Ziegelstein. Wenn Sie den Ziegel nehmen, ihn abschleifen und übermalen, ist das Muster weg.

Diese neue Methode ist wie einem Maurer eine bestimmte Gewohnheit beizubringen. Wenn Sie einem Maurer beibringen, vor dem Verlegen eines Ziegels immer dreimal mit der Kelle zu klopfen, und er dann für jemand anderen eine Mauer baut, wird er immer noch dreimal mit der Kelle klopfen. Sie können diese Gewohnheit nicht einfach durch Abschleifen und Übermalen der Mauer beseitigen. Das „Klopfen" ist das Verhalten, nicht die Farbe.

Das Fazit

Das Papier kommt zu dem Schluss, dass die Betrachtung wie eine KI interagiert (ihr Verhalten) eine mächtige neue Methode ist, um Diebe zu fangen. Es ist eine „vierte Schicht" der Verteidigung, die über dem Text, dem Modellcode und den Denkprozessen liegt.

Gute Nachricht: Es ist schwer zu entfernen, funktioniert bei verschiedenen KI-Typen und nervt die Benutzer nicht.
Einschränkungen: Die Studie gibt zu, dass ein Dieb, der sehr schlau ist und speziell versucht, dieses bestimmte Verhalten zu entfernen, dennoch Erfolg haben könnte. Außerdem könnte der „Super-Lern"-Effekt, der bei einem KI-Modell (OLMo) beobachtet wurde, ein Zufall sein, der spezifisch für dieses Modell ist, und bedarf weiterer Tests.

Kurz gesagt: Wenn Sie wissen wollen, ob eine KI ein Kopist ist, schauen Sie nicht nur darauf, was sie sagt; hören Sie zu, wie sie zurückantwortet. Wenn sie anfängt, dieselben seltsamen Folgefragen zu stellen wie das Original, ist sie höchstwahrscheinlich ein Schüler.

Technische Zusammenfassung: Zurückfragen: Antidistillations-Wasserzeichen auf der Interaktionsebene

Problemstellung

Die Verbreitung von Frontier-Sprachmodellen, die über Black-Box-APIs bereitgestellt werden, hat eine reife kommerzielle Bedrohung geschaffen: die unbefugte Wissensdistillation. Gegner ernten Prompt-Antwort-Paare von einer Teacher-API, fine-tunen ein kleineres Student-Modell und setzen es ohne Erlaubnis ein. Die Abwehr dieser Bedrohung ist schwierig, da der Verteidiger weder die Trainingspipeline des Angreifers noch die internen Logits (Next-Token-Verteilungen) des Teachers kontrolliert.

Bestehende Antidistillations-Verteidigungen operieren auf drei primären Ebenen, die alle eine Anfälligkeit für Vor-Distillations-Umschreibungen teilen:

Token-Verteilungsebene: Störung der Next-Token-Wahrscheinlichkeiten (z. B. Green-List-Wasserzeichen, kryptografische Schemata).
Modellebene: Bearbeitung des Teacher-Modells selbst zur Einbettung von Signaturen.
Reasoning-Trace-Ebene: Neuordnung oder Umschreibung von Chain-of-Thought-Spuren.

Neuere Arbeiten zeigen, dass Angreifer geerntete Antworten vor dem Training paraphrasieren können, wodurch diese oberflächlichen Signale effektiv entfernt werden, während der zugrundeliegende Wissenstransfer erhalten bleibt. Dies hinterlässt eine strukturelle Lücke: Selbst wenn ein Signal überlebt, spezifiziert es nicht notwendigerweise ein distintives, abfragbares Verhalten im distillierten Student.

Methodik

Dieser Artikel schlägt einen vierten, komplementären Ort für Wasserzeichen vor: die Interaktionsebene. Anstatt Token-Wahrscheinlichkeiten oder Modellparameter zu modifizieren, umhüllt der Verteidiger den Teacher mit einem Systemprompt, der intermittierend einen spezifischen Verhaltensmarker ( $B$ ) induziert.

Der Asking-Back-Mechanismus

Der Verteidiger implementiert eine Trigger-Richtlinie ( $\Pi_B$ ), die für einen Anteil ( $\rho$ ) der Eingaben einen Systemprompt ( $s_B$ ) auswählt. Der Systemprompt weist den Teacher an, ein spezifisches Interaktionsverhalten zu zeigen, wie zum Beispiel:

STRONG (Explizit): Anhängen einer Folgefrage bezüglich des Anwendungsfalls, der Umgebung oder der Absicht des Nutzers.
SOFT (Niedrige Dichte, Explizit): Dieselbe Folgefrage, aber nur für einen $\sim20\%$ -Teil der Prompts.
STYLE-CONTROL (Implizit): Eine deklarierte Umformulierung oder beratende Phrase (z. B. „In der Praxis funktioniert dies am besten, wenn..."), die in die Antwort eingebettet ist, ebenfalls bei einer Dichte von $\sim20\%$ .

Ein oblivious Distiller, der von der Trigger-Richtlinie nichts weiß, trainiert einen Student auf dem geernteten Korpus. Da der Verhaltensmarker Teil des Antworttextes ist, den der Student nachahmen soll, erbt der Student dieses Verhalten. Der Verteidiger kann später einen verdächtigen Student durch Black-Box-Abfragen auditieren und dabei einen LLM-as-a-Judge einsetzen, um das Vorhandensein des Markers zu erkennen.

Formalisierung

Das Wasserzeichen wird als Tripel $(B, \Pi_B, \rho)$ definiert, wobei $B$ eine Marker-Funktion, $\Pi_B$ die Trigger-Richtlinie und $\rho$ die induzierte Marker-Rate ist. Der Artikel führt Metriken ein für:

Transfer-Rate ( $\tau$ ): Die Rate, mit der ein Student den Marker auf zurückgehaltenen Daten zeigt.
Relativer Transfer ( $\tau_{rel}$ ): Die Rate des Students, normalisiert durch die Rate des Teachers.
Paraphrase-Robustheit: Zerlegt in eine Teacher-Selbst-Obergrenze ( $R_T$ , die Behaltensrate des Teachers bei promptseitiger Paraphrasierung) und eine Student-relative Behaltensrate ( $R_{rel}$ , wie gut der Student das Signal im Verhältnis zur Degradierung des Teachers bewahrt).

Hauptbeiträge

Problemformulierung: Die Autoren formalisieren das Interaktionsebenen-Wasserzeichen und definieren Verhaltensgegenstücke zu bestehenden Token-Level-Metriken (Green-List, radioaktive Daten).
Skala: Die Studie präsentiert die bisher umfassendste Evaluierung von Distillations-Wasserzeichen über verschiedene Familien hinweg, die 63 LoRA-distillierte Students über drei Modellfamilien (Gemma, OLMo, Qwen) umfasst, die auf einem Llama-3.3-70B-Instruct-Teacher trainiert wurden, mit 35.343 bewerteten Stichproben.
Zweistufige Paraphrase-Robustheit: Die Arbeit charakterisiert Robustheit nicht als einzelne Zahl, sondern als Zerlegung von vom Teacher geerbten Grenzen und studentenspezifischer Behaltensrate. Dies zeigt, dass einige Students Wasserzeichen unter bestimmten Bedingungen zuverlässiger bewahren können als der Teacher selbst.

Experimentelle Ergebnisse

Die Evaluierung deckt fünf Hypothesen ( $H1$ – $H5$ ) und mehrere Erkenntnisse ab:

Lernbarkeit ( $H1$ ): Students, die auf wasserzeichenversehenen Daten trainiert wurden, zeigen den Marker bei Raten, die deutlich über der Baseline liegen. In einer Fallstudie innerhalb einer Familie erreichte ein Student, der auf „STRONG"-Daten trainiert wurde, eine Marker-Rate von 99,56 % im Vergleich zu einer Baseline von 5,09 %.
Kreuz-Familien-Generalisierung ( $H2$ ): Der Effekt gilt über drei verschiedene Modellfamilien hinweg. Die relativen Transfer-Raten für den „STRONG"-Marker betrugen 88,9 % (Gemma), 80,9 % (OLMo) und 45,2 % (Qwen).
Paraphrase-Robustheit ( $H3$ ): Wenn der User-Prompt paraphrasiert wird (unter Verwendung von DIPPER), sinkt die Marker-Rate des Teachers (z. B. von 90,9 % auf 60,4 % für STRONG, eine Behaltensrate von 66,4 %). Dies setzt eine Obergrenze. Die student-relative Behaltensrate variiert jedoch:
- Gemma: 89 % Behaltensrate der degradierten Rate des Teachers.
- Qwen: 65 % Behaltensrate.
- OLMo-Anomalie: OLMo zeigte eine Behaltensrate von 112 % und bewahrte das Wasserzeichen über die eigene degradierte Leistung des Teachers hinaus.
Dichte-Erkennbarkeit ( $H4$ ): Selbst bei niedrigen Dichten ( $\rho \approx 20\%$ ) liegen die Erkennungsraten zuverlässig über dem Rauschboden pro Familie. Beispielsweise zeigten OLMo-Students, die auf Daten mit 20 % Dichte trainiert wurden, eine Erkennungsrate von 31,99 % (vs. 0,65 % Baseline), was die eigene Rate des Teachers von 17,85 % auf derselben Teilmenge übersteigt.
Tarnung ( $H5$ ): Eine Laborstudie ( $N=20$ ) unter Verwendung eines vorregistrierten Latein-Quadrat-Protokolls ergab, dass Marker mit niedriger Dichte (20 % und 50 %) die vom Nutzer wahrgenommene Interaktionsqualität nicht signifikant verschlechterten. Alle Marker-Varianten blieben innerhalb von 0,22 Likert-Schritten der Baseline.
Impliziter Transfer (F-Style): Der „STYLE-CONTROL"-Marker (deklarativ, nicht interrogativ) wurde ebenfalls zuverlässig übertragen (4,1- bis 7,9-fache Baseline), was zeigt, dass der Mechanismus auf Diskurs auf der Interaktionsebene und nicht auf spezifischen syntaktischen Formen wie Fragezeichen beruht.

Bedeutung und Behauptungen

Der Artikel behauptet, dass die Interaktionsebene ein tragfähiger Designort für Antidistillations-Wasserzeichen ist und einen komplementären Audit-Kanal zu Token-, Modell- und Reasoning-Trace-Verteidigungen bietet.

Komplementäre Ausfallmodi: Während Token-Level-Signale anfällig für Antwortseiten-Umschreibungen sind und Reasoning-Traces anfällig für strukturelle Neuordnungen, scheinen Interaktionsebenen-Signale (Verhaltentendenzen) robust gegenüber promptseitiger Paraphrasierung zu sein und überleben die Distillation als erlernte Diskurskompetenzen.
Verhaltens-Transfer: Die Ergebnisse deuten darauf hin, dass die Distillation strukturelle Regularitäten und Diskurs-Level-Kompetenzen (wie „Zurückfragen") oberflächlichen Token-Statistiken gegenüber bevorzugt erhält.
Praktische Tragfähigkeit: Die Studie zeigt, dass Wasserzeichen mit niedriger Dichte eingesetzt werden können, ohne die Benutzererfahrung zu beeinträchtigen, und bietet eine praktische Methode zur Auditierung unbefugter Distillation durch Black-Box-Abfragen.

Die Autoren bleiben hinsichtlich des Umfangs bescheiden und stellen fest, dass das aktuelle Bedrohungsmodell sich auf nicht-adaptive, promptseitige Paraphrasierung konzentriert. Sie identifizieren Antwortseiten-Umschreibungen und adaptive Angriffe als offene Probleme für zukünftige Arbeiten. Zudem wird der bei OLMo beobachtete „Amplifikation"-Effekt (bei dem der Student den Teacher übertrifft) als Beobachtung innerhalb einer einzelnen Familie behandelt, die weiterer empirischer Fundierung bedarf, anstatt als universelle Eigenschaft.