🤖 machine learning

Dataset Watermarking for Closed LLMs with Provable Detection

Dieser Beitrag stellt die erste nachweisbare Methode zum Wasserzeichen von Datensätzen für geschlossene große Sprachmodelle vor, die durch Erhöhung der Ko-occurrence-Häufigkeit zufällig ausgewählter Wortpaare detektierbare Signale einbettet und diese selbst dann in den Modelloutputs erfolgreich identifiziert, wenn die wasserzeichenversehenen Daten lediglich 1 % der Fine-Tuning-Token ausmachen, und dies gleichzeitig die Nutzbarkeit des Datensatzes erhält.

Ursprüngliche Autoren: Pengrun Huang, Kamalika Chaudhuri, Yu-Xiang Wang

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Pengrun Huang, Kamalika Chaudhuri, Yu-Xiang Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Bäcker, der Jahre damit verbracht hat, ein geheimes Familienrezept für einen besonderen Kuchen zu perfektionieren. Sie entscheiden sich, das Rezept mit der Welt zu teilen, damit andere daraus lernen können. Allerdings befürchten Sie, dass eine große, schicke Bäckereikette Ihr geheimes Rezept stehlen, es in ihren eigenen riesigen Teig mischen und dann behaupten könnte, ihr neuer Kuchen sei eine völlig eigene Erfindung. Schlimmer noch: Sie könnten Ihr Rezept sogar nutzen, um ihre Kuchen auf bestimmte Weise „besser" schmecken zu lassen und so die Jury zu täuschen, indem sie glauben machen, ihre Kette sei die beste der Welt.

Dieser Artikel stellt einen cleveren, unsichtbaren „Zutatentag" vor, der es Ihnen ermöglicht nachzuweisen, dass Ihr Rezept verwendet wurde, selbst wenn die Bäckereikette sich weigert, Ihnen ihre Mischschüsseln oder Rezeptbücher zu zeigen.

Hier ist die Funktionsweise der im Artikel beschriebenen Methode, aufgeschlüsselt in einfache Konzepte:

Das Problem: Die „Black-Box"-Bäckerei

In der Welt der KI bauen Unternehmen massive „Sprachmodelle" (wie intelligente Chatbots), indem sie diese mit enormen Textmengen füttern. Manchmal verwenden sie versehentlich oder absichtlich spezifische Datensätze (wie Prüfungsfragen oder proprietäre Artikel), um diese Modelle zu trainieren. Dies wird als „Kontamination" bezeichnet.

Das Problem besteht darin, dass die meisten dieser Modelle Closed-Box (geschlossene Box) sind. Sie können mit ihnen sprechen (Fragen stellen), aber Sie können nicht in ihr Gehirn blicken, um zu sehen, wie sie Informationen verarbeiten. Frühere Methoden, um Schwindler zu entlarven, erforderten einen Einblick in die „Logits" des Modells (seine interne Mathematik), was bei geschlossenen Modellen unmöglich ist.

Die Lösung: Der „Geheimes-Wortpaar"-Tag

Die Autoren schlagen eine neue Methode vor, um einen Datensatz zu wässern, bevor er überhaupt veröffentlicht wird. Stellen Sie es sich so vor:

Der Geheime Code: Bevor ein Datensatz veröffentlicht wird, wählt der Eigentümer eine zufällige Liste von Wortpaaren aus, die in normalen Gesprächen nicht oft zusammen vorkommen (z. B. „Magnesium" und „Regenschirm").
Die Umformulierung: Sie nutzen eine KI, um den Datensatz umzuschreiben. Das Ziel ist nicht, die Bedeutung der Sätze zu ändern, sondern dafür zu sorgen, dass diese spezifischen Wortpaare etwas häufiger zusammen auftreten, als es natürlich der Fall wäre. Es ist, als würde man die Zutaten im Rezept subtil so anordnen, dass „Magnesium" und „Regenschirm" ein paar Mal zusätzlich im selben Absatz auftauchen.
Das Unsichtbare Signal: Für einen menschlichen Leser sieht der Text normal aus. Statistisch gesehen sind diese spezifischen Wortpaare in diesem Datensatz jedoch nun „klebrig".

Die Erkennung: Der „Geschmackstest"

Später, wenn ein Unternehmen behauptet, es habe sein Modell nur mit eigenen Daten trainiert, können Sie es testen:

Die Abfrage: Sie bitten das Modell, eine Reihe von Texten zu generieren (z. B. eine Geschichte schreiben oder Fragen beantworten).
Die Zählung: Sie prüfen den generierten Text, um festzustellen, ob diese „klebrigen" Wortpaare (Magnesium + Regenschirm) häufiger zusammen auftreten, als es reinem Zufall geschuldet wäre.
Das Urteil: Wenn das Modell die wässergesättigten Daten verwendet hat, werden diese Wortpaare häufig zusammen auftreten. Wenn das Modell Ihre Daten nicht verwendet hat, sind die Wortpaare zufällig verteilt.

Der Artikel beweist mathematisch, dass das Auftreten dieses Musters fast sicher darauf zurückzuführen ist, dass das Modell auf Ihrem spezifischen Datensatz trainiert wurde und nicht auf reinem Zufall beruht.

Warum dies eine große Sache ist

Der Artikel hebt drei wesentliche Vorteile hervor:

Es funktioniert bei Closed-Modellen: Sie müssen den internen Code des Modells nicht einsehen. Sie müssen nur wie ein normaler Benutzer mit ihm sprechen. Es ist, als würde man eine geheime Zutat allein durch das Probieren des Kuchens erkennen, ohne die Küche sehen zu müssen.
Es ist widerstandsfähig (Der „Verdünnungs"-Test): Stellen Sie sich vor, die Bäckerei mischt Ihr Rezept mit 99 anderen Rezepten. Der Artikel zeigt, dass selbst wenn Ihr wässergesättigter Datensatz nur 1 % der gesamten Trainingsdaten ausmacht, die „klebrigen" Wortpaare dennoch nachweisbar sind. Das Signal ist stark genug, um zu überleben, selbst wenn es von einem riesigen Ozean anderer Daten übertönt wird.
Es übersteht Bearbeitungen: Wenn die Bäckerei versucht, das Rezept zu „reinigen", indem sie zufällige Wörter löscht, Synonyme austauscht oder Emojis hinzufügt, übersteht das Signal dies in der Regel. Andere Methoden, die auf winzigen, spezifischen Änderungen an einzelnen Wörtern basieren, brechen leicht, wenn der Text bearbeitet wird, aber diese „Wortpaar"-Methode ist robuster.

Verdirbt dies den Kuchen?

Eine große Sorge beim Wässern lautet: „Verändert dies die Daten so stark, dass sie für den Test von KI nicht mehr nutzbar sind?"

Die Autoren haben dies umfassend getestet. Sie stellten fest, dass:

Die Bedeutung erhalten bleibt: Der umgeschriebene Text bedeutet immer noch dasselbe wie das Original.
Der Test funktioniert weiterhin: Wenn Sie diesen wässergesättigten Datensatz verwenden, um die Intelligenz einer KI zu testen, erzielt die KI dieselben Ergebnisse wie mit dem Originaltext. Das „Ranking", welche KI am intelligentesten ist, ändert sich nicht.
Es ist besser als Alternativen: Im Vergleich zu anderen Wässermethoden, die ganze Sätze umschreiben (was Texte roboterhaft klingen lassen kann), führt diese Methode kleinere, lokalisierte Änderungen durch, sodass der Text natürlich aussieht und sich natürlich anfühlt.

Die Einschränkungen

Der Artikel ist ehrlich darüber, was er nicht leisten kann:

Keine Zeitreise: Sie müssen diesen Wasserzeichen vor der Veröffentlichung der Daten anwenden. Sie können nicht zurückgehen und einen Datensatz wässern, der bereits vor Jahren veröffentlicht wurde.
Kein Schild: Dies ist ein Werkzeug zur Aufdeckung von Diebstahl oder Kontamination im Nachhinein, kein Schild, um zu verhindern, dass dies überhaupt geschieht.
Trainingsmaßstab: Die Tests wurden am „Fine-Tuning" (dem Beibringen einer spezifischen Fähigkeit an ein Modell) durchgeführt, was ein kleinerer Maßstab ist als die massive „Pre-Training"-Phase, in der Modelle alles lernen. Die Aufdeckung von Kontamination in dieser massiven Pre-Training-Phase bleibt weiterhin eine offene Herausforderung.

Kurz gesagt bietet dieser Artikel einen statistischen „Fingerabdruck", der es Dateninhabern ermöglicht nachzuweisen, dass ihre Arbeit zum Training eines geschlossenen KI-Modells verwendet wurde, selbst wenn dieses Modell versucht, die Beweise zu verbergen.

Technische Zusammenfassung: Datensatz-Wasserzeichen für geschlossene LLMs mit nachweisbarer Erkennung

Problemformulierung

Large Language Models (LLMs) werden häufig auf riesigen, lose kuratierten Datensätzen trainiert, die unbeabsichtigt proprietäre Daten oder Evaluierungs-Benchmarks enthalten können. Dieses Phänomen, das oft durch „Benchmaxxing" (Optimierung der Benchmark-Leistung während des Nachtrainings) verschärft wird, wirft Bedenken hinsichtlich Datenkontamination und der Zuverlässigkeit von Modellevaluierungen auf. Während jüngste Arbeiten sich mit Datensatz-Wasserzeichen beschäftigt haben – dem Einbetten erkennbarer Signale in Datensätze vor der Veröffentlichung, um deren Nutzung im Modelltraining zu auditieren – leiden bestehende Methoden unter zwei kritischen Einschränkungen:

Zugangsanforderungen: Frühere Ansätze (z. B. STAMP, Radioactive) setzen Zugang zu offenen Modellen voraus und erfordern Einsicht in Modellinternes wie Log-Wahrscheinlichkeiten, Next-Token-Verteilungen oder Perplexity-Werte. Sie sind gegenüber geschlossenen Modellzugängen (Black-Box-API) wirkungslos, was den Standard für die meisten kommerziellen Chatbots darstellt.
Fehlende theoretische Garantien: Bestehende Methoden verfügen oft nicht über strenge, verteilungsunabhängige theoretische Schranken für die False-Positive-Rate (FPR) der Erkennung.

Dieser Artikel adressiert das Problem, festzustellen, ob ein spezifischer Datensatz zum Training eines Ziel-LLMs verwendet wurde, wobei nur Black-Box-API-Zugriff auf die Modelloutputs gegeben ist, und liefert dabei nachweisbare statistische Garantien für die Zuverlässigkeit der Erkennung.

Methodik

Das vorgeschlagene Framework arbeitet in zwei Phasen: Einbettung und Erkennung. Die zentrale Intuition nutzt die bekannte Tendenz von Deep-Learning-Modellen, spuriose Merkmale und statistische Korrelationen, die in Trainingsdaten vorhanden sind, zu memorieren.

1. Einbettungsphase (Wasserzeichen-Injektion)

Der Dateninhaber paraphrasiert den Datensatz, um ein erkennbares statistisches Signal einzufügen, ohne den Nutzen des Datensatzes zu verändern:

Generierung eines Geheimschlüssels: Ein Geheimschlüssel ($sk$) wird durch zufälliges Abtasten einer Menge von Wortpaaren aus dem Vokabular des Datensatzes gebildet.
Konstruktion lexikalischer Varianten: Für jedes Wort im Schlüssel wird eine Menge lexikalischer Varianten (Synonyme, ko-ozkurrenzierende Begriffe) generiert.
Paraphrasierung zur Ko-Ozzenz: Der Datensatz wird unter Verwendung eines LLM (z. B. ChatGPT) so umformuliert, dass die Ko-Ozzenz-Häufigkeit der ausgewählten Wortpaare erhöht wird.
- Stichproben, die Varianten beider Wörter eines Paares enthalten, werden beibehalten oder verstärkt.
- Stichproben, die ein Wort, aber nicht sein Paar enthalten, werden so modifiziert, dass sie das Paar einschließen.
- Entscheidend ist, dass die Ko-Ozzenz auf Stichprobenebene definiert ist; Wörter müssen nicht aufeinanderfolgen, sondern nur innerhalb derselben Stichprobe vorhanden sein.
  Dieser Prozess führt kontrollierte, künstliche Korrelationen ein, die in nicht-wassergezeichneten Daten unwahrscheinlich natürlich entstehen.

2. Erkennungsphase (Statistischer Test)

Gegeben ein Zielmodell $M$ und den Geheimschlüssel $sk$, befragt der Auditor das Modell zur Textgenerierung und analysiert die Ko-Ozzenz-Statistiken der Wortpaare.

Korrelationsmessung: Die Methode berechnet die Pearson-Korrelation zwischen Indikatorvariablen für das Vorhandensein von Wortpaaren im generierten Text.
Abweichungsberechnung: Sie berechnet die Abweichung ( $A_{w_i, w_j}$ ) zwischen dem Ko-Ozzenz-Verhalten im Modelloutput und einem Referenzdatensatz (nicht wassergezeichnet).
Erkennungswert: Ein Wert wird berechnet, indem der Anteil der Geheimschlüssel-Paare, die eine Abweichungsschwelle $\tau$ überschreiten, mit dem Anteil der Nicht-Schlüssel-Paare verglichen wird, die dieselbe Schwelle überschreiten.
Entscheidungsregel: Wenn der Erkennungswert eine Schwelle $t$ überschreitet, wird das Vorhandensein des Wasserzeichens festgestellt.

Theoretische Garantien

Der Artikel liefert eine verteilungsunabhängige und modellagnostische Obergrenze für die False-Positive-Rate (FPR).

Satz 4.1: Unter der Nullhypothese (das Modell wurde nicht auf den wassergezeichneten Daten trainiert) ist die Wahrscheinlichkeit eines False Positives durch $e^{-2t'^2d}$ beschränkt, wobei $d$ die Größe des Geheimschlüssels und $t'$ eine Funktion der Erkennungsschwelle ist.
Diese Garantie gilt für jede feste LLM-Architektur oder jeden Trainingsprozess und erfordert keine Annahmen über die zugrunde liegende Datenverteilung oder Modellinternes.

Hauptbeiträge

Erste Datensatz-Wasserzeichen für geschlossene Modelle: Die Autoren stellen die erste Datensatz-Wasserzeichen-Methode vor, die in der Lage ist, die Nutzung von Trainingsdaten unter Verwendung nur von Black-Box-API-Zugriff zu erkennen, wodurch die Notwendigkeit von Log-Wahrscheinlichkeiten oder internen Modellzuständen entfällt.
Nachweisbare Erkennung: Die Methode bietet theoretische Garantien für die False-Positive-Rate, die unabhängig von der Architektur des Modells oder der Datenverteilung sind.
Robustheit in Datenmischungen: Der Ansatz bleibt effektiv, selbst wenn der wassergezeichnete Datensatz nur einen kleinen Bruchteil (ca. 1 %) der gesamten Fine-Tuning-Token ausmacht.
Erhaltung des Nutzens: Der Wasserzeichenprozess bewahrt die semantische Integrität und den Nutzen der Benchmark-Datensätze, sodass diese weiterhin für die Modellevaluierung gültig bleiben.

Experimentelle Ergebnisse

Die Methode wurde an LLaMA-3-8B und Gemma-2-2B über drei Benchmarks hinweg evaluiert: MMLU, ARC-easy und ARC-challenge.

Vanilla-Einstellung: Die Methode erreichte über alle Modelle und Datensätze hinweg eine statistisch signifikante Erkennung ( $p < 0,01$ ). Im Gegensatz dazu konnte die „Radioactive"-Baseline unter geschlossenem Modellzugriff keine aussagekräftigen Signale erzeugen ( $p \approx 0,2\text{--}0,3$ ).
Partielle Kontamination (Datenmischung): Die Methode erkannte Wasserzeichen erfolgreich, wenn die wassergezeichneten Daten nur 1,1 %–1,3 % der gesamten Fine-Tuning-Token ausmachten. Bei einem extremeren Verhältnis von 0,5 % behielt LLaMA-3-8B eine signifikante Erkennung bei, während Gemma-2-2B eine reduzierte Sensitivität zeigte, was darauf hindeutet, dass größere Modelle injizierte statistische Signale besser beibehalten.
Robustheit gegenüber Modifikationen: Das Wasserzeichen zeigte eine überlegene Robustheit gegenüber leichten Textmodifikationen (zufällige Löschung, Synonymersetzung, Einfügen von Emojis) im Vergleich zu Baselines. Während Baselines wie Radioactive nach 20 % Modifikation p-Werte über den Signifikanzschwellenwerten sahen, behielt die vorgeschlagene Methode niedrige p-Werte bei.
Erhaltung des Nutzens:
- Benchmark-Leistung: Modelle, die auf wassergezeichneten Datensätzen evaluiert wurden, zeigten eine Leistung, die mit der auf Originaldatensätzen vergleichbar war, wobei die relative Rangfolge der Modelle erhalten blieb.
- Semantische Ähnlichkeit: Die paraphrasierten Datensätze wiesen eine hohe semantische Ähnlichkeit (SBERT-Werte) zu den Originalen auf.
- Lexikalische Überlappung: Die vorgeschlagene Methode erreichte eine signifikant höhere n-Gram-Überlappung (3-Gram, 4-Gram) im Vergleich zu KGW-basierten Wasserzeichen, was auf weniger aggressive Umschreibungen hindeutet.

Bedeutung und Einschränkungen

Der Artikel positioniert diese Arbeit als Werkzeug zur Auditierung der Datensatznutzung, das Datenanbietern ermöglicht, über Black-Box-Abfragen zu verifizieren, ob ihre proprietären oder Benchmark-Daten in das Modelltraining integriert wurden.

Von den Autoren anerkannte Einschränkungen:

Proaktive Anforderung: Die Methode erfordert eine Umschreibung des Datensatzes vor der Veröffentlichung; sie kann nicht nachträglich auf bereits veröffentlichte, nicht wassergezeichnete Datensätze angewendet werden.
Adversarial Robustheit: Die Methode ist nicht darauf ausgelegt, vollständig adversarialen Transformationen standzuhalten, die darauf abzielen, statistische Signale zu eliminieren, da starke Wasserzeichen-Garantien unter willkürlicher Umschreibung theoretisch unmöglich sind.
Evaluierungsumfang: Die Experimente beschränkten sich auf die Nachtrainingsphase (Fine-Tuning). Die Evaluierung der Wirksamkeit im Maßstab des Pre-Trainings bleibt aufgrund von Rechenbeschränkungen ein offenes Problem.

Zusammenfassend etabliert diese Arbeit ein neues Paradigma für Datensatz-Wasserzeichen, das mit dem Ökosystem geschlossener Modelle kompatibel ist und nachweisbare Erkennungsfähigkeiten bietet, während der Nutzen der zugrunde liegenden Benchmarks erhalten bleibt.