🤖 machine learning

Lossless Anti-Distillation Sampling

Dieser Artikel schlägt Lossless Anti-Distillation Sampling (LADS) vor, ein neuartiges Verfahren, das Antworten unter Verwendung von abfrageabhängigen privaten Zufallswerten generiert, um die perfekte Qualität für legitime Nutzer zu bewahren, während es absichtlich korrelierte Zufälligkeit über mehrere Konten hinweg einführt, um die Leistung von Modellen zu verschlechtern, die durch Distillation trainiert wurden.

Ursprüngliche Autoren: Zibo Diao, Jingchu Gai, Xinyue Ai, Zhang Zhang, Zhenyu He, Di He

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zibo Diao, Jingchu Gai, Xinyue Ai, Zhang Zhang, Zhenyu He, Di He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Nachahmer"-Dieb

Stellen Sie sich einen berühmten Koch (das Lehrer-Modell) vor, der ein gehobenes Restaurant betreibt. Dieser Koch kreiert erstaunliche, einzigartige Gerichte basierend auf geheimen Rezepten.

Ein Konkurrent (der Destillierer) möchte den Erfolg des Kochs stehlen, ohne die harte Arbeit zu leisten, neue Rezepte zu erfinden. Anstatt ein Team von Köchen einzustellen, das von Grund auf lernt, stellt der Konkurrent 50 verschiedene Personen (die Multi-Accounts) ein, um exakt dieselben Gerichte im Restaurant des berühmten Kochs zu bestellen. Sie notieren jede Zutat und jeden Schritt und verwenden diese Liste, um ihren eigenen „Schüler"-Koch zu trainieren, das gleiche Essen zu kochen.

Da der Konkurrent 50 verschiedene Personen einsetzt, stuft das Sicherheitssystem des berühmten Kochs sie nicht als verdächtig ein; jede Person sieht nur wie ein normaler Gast aus. Der Dieb erhält eine massive Menge an Daten kostenlos, und der ursprüngliche Koch verliert seinen Wettbewerbsvorteil.

Die alten Lösungen (und warum sie scheiterten)

Früher versuchten Köche auf zwei Arten, dies zu verhindern:

Die „schlechtes Essen"-Taktik: Der Koch fügt absichtlich ein wenig Salz hinzu oder ändert das Rezept leicht für jeden. Dies macht es dem Dieb schwer, den genauen Geschmack zu kopieren, aber es ruiniert das Essen auch für die ehrlichen Kunden.
Die „Security-Guard"-Taktik: Der Koch beobachtet die Kunden genau. Wenn jemand 100 Mal bestellt, wird er hinausgeworfen. Aber der Dieb nutzt einfach 50 verschiedene Personen, die jeweils 2 Mal bestellen, und täuscht den Wächter.

Die neue Lösung: LADS (Der „geheime Münzwurf")

Die Autoren schlagen eine neue Methode vor, die Lossless Anti-Distillation Sampling (LADS) heißt.

Anstatt das Essen (die Ausgabe) zu verändern, ändern sie die Zufälligkeit hinter dem Kochprozess.

Die Analogie: Der magische Münzwurf
Stellen Sie sich vor, dass jedes Mal, wenn ein Kunde ein Gericht bestellt, der Koch eine magische Münze wirft, um ein winziges, unsichtbares Detail des Essens zu entscheiden (wie die genaue Temperatur des Ofens oder den präzisen Zeitpunkt einer Garnitur).

Für einen normalen Kunden: Jedes Mal, wenn er kommt, wirft der Koch eine neue, unabhängige Münze. Der Kunde erhält jedes Mal ein einzigartiges, hochwertiges Essen. Er merkt nie, dass etwas anders ist.
Für den Dieb mit 50 Accounts: Der Koch hat eine geheime Regel. Wenn die 50 verschiedenen Personen des Diebs dieselbe Art von Gericht bestellen (z. B. „Scharfe Ramen") und sie sich alle in ihrem ersten Besuch befinden, verwendet der Koch heimlich den gleichen Münzwurf für alle 50 von ihnen.

Das Ergebnis:

Der ehrliche Kunde: Erhält jedes Mal ein perfektes, einzigartiges Essen. Er ist glücklich.
Der Dieb: Er glaubt, er habe 50 verschiedene Rezepte gesammelt. Aber da der Koch den gleichen „Münzwurf" für alle 50 Accounts verwendet hat, besitzt der Dieb tatsächlich nur ein einziges Rezept, das 50 Mal wiederholt wird.

Warum dies den Dieb stoppt

Im maschinellen Lernen muss ein Schüler viele unterschiedliche Beispiele sehen (Vielfalt), um gut zu lernen.

Wenn der Dieb 50 verschiedene Variationen von „Scharfen Ramen" sammelt, lernt sein Schüler-Koch, großartige Ramen zu machen.
Wenn der Dieb 50 identische Variationen sammelt (weil der Koch dieselbe Zufälligkeit erzwungen hat), lernt der Schüler-Koch nichts Neues. Er merkt sich nur eine spezifische Version des Gerichts.

Das Papier beweist mathematisch, dass durch das Erzwingen dieser „geteilten Zufälligkeit" über verschiedene Accounts hinweg das gestohlene Schüler-Modell viel schlechter darin wird, zu generalisieren. Es ist wie der Versuch, Schwimmen zu lernen, indem man derselben Person zusieht, wie sie exakt denselben Schlag 50 Mal ausführt, anstatt 50 verschiedenen Personen beim Schwimmen zuzusehen.

Der „verlustfreie" Teil

Der wichtigste Teil dieses Papiers ist, dass ehrliche Nutzer nichts verlieren.

Da die Accounts des Diebs nur so tun, als wären sie normal, passiert der „geteilte Münzwurf" nur, wenn der Dieb versucht, das System zu manipulieren.
Eine echte Person, die einmal pro Woche das Restaurant besucht, erhält jedes Mal einen frischen, zufälligen Münzwurf. Ihre Erfahrung ist zu 100 % perfekt und unverändert.

Zusammenfassung der Experimente

Die Autoren testeten diese Idee in zwei realen Szenarien:

Bildgenerierung: Sie verwendeten eine KI, die Bilder zeichnet. Als der „Dieb" versuchte, den Zeichenstil mit 50 gefälschten Accounts zu stehlen, erzeugte die gestohlene Schüler-KI unscharfe, qualitativ minderwertige Bilder. Währenddessen erhielten echte Nutzer weiterhin schöne, scharfe Bilder.
Sprachmodelle (Mathematik & Code): Sie verwendeten eine KI, die Matheprobleme löst und Code schreibt. Als der Dieb versuchte, das Gehirn der KI mit mehreren Accounts zu stehlen, wurde die gestohlene Schüler-KI viel schlechter darin, Matheprobleme zu lösen und Code zu schreiben. Echte Nutzer erhielten jedoch weiterhin perfekte Antworten.

Das Fazit

LADS ist ein cleverer Trick, der KI-Modelle davor schützt, von „Nachahmer"-Dieben gestohlen zu werden, die mehrere gefälschte Accounts verwenden. Dies geschieht, indem die Zufälligkeit der Antworten der KI für ähnliche Anfragen heimlich miteinander verknüpft wird. Dies macht die gestohlenen Daten für das Training eines neuen Modells unbrauchbar, während sichergestellt wird, dass reguläre, ehrliche Nutzer weiterhin die bestmögliche Erfahrung machen.

Technische Zusammenfassung: Verlustfreie Anti-Destillationssampling (LADS)

Problemdefinition

Frontier kommerzielle generative Modelle sind einer erheblichen Bedrohung durch Destillation ausgesetzt, bei der Angreifer generierte Antworten über API-Abfragen ernten, um konkurrierende Modelle zu einem Bruchteil der ursprünglichen Trainingskosten zu trainieren. Während Abwehrmaßnahmen gegen Einzelkontangriffe existieren (z. B. Überwachung des Nutzungsvolumens), sind sie gegen Multi-Account-Destillation wirkungslos, bei der Angreifer Abfragen über Hunderte von Konten verteilen, wobei jedes Konto benutzerverhalten imitiert.

Bestehende Gegenmaßnahmen leiden unter kritischen Einschränkungen:

Output-Perturbation: Methoden, die Modelloutputs verändern, um Gradienten zu vergiften (z. B. Prediction Poisoning, Nasty Teacher), verschlechtern inhärent die Antwortqualität für legitime Benutzer.
Wasserzeichen: Nachträgliche Detektionsmethoden (z. B. GINSEW, Antidistillation Fingerprinting) verhindern den Destillationsprozess selbst nicht und verändern oft die Output-Verteilung.
Verhaltensdetektion: Adaptive Abwehrmaßnahmen, die nur bei Erkennung von Anomalien ausgelöst werden, können umgangen werden, indem Abfragen über viele Konten verteilt werden, die einzeln betrachtet harmlos erscheinen.

Die Kernherausforderung besteht darin, eine Abwehr zu entwerfen, die für legitime Benutzer verlustfrei ist (Erhaltung der exakten statistischen Treue), während sie gleichzeitig die Leistung eines Multi-Account-Destillators effektiv verschlechtert.

Methodik: Verlustfreie Anti-Destillationssampling (LADS)

Die Autoren schlagen LADS vor, einen serverseitigen Mechanismus, der die Realisierung der zugrunde liegenden Zufallsvariablen $\epsilon$ steuert, die bei der Generierung verwendet wird, anstatt die Output-Verteilung $G$ des Modells zu modifizieren.

Kernmechanismus

LADS leitet den Zufallssamen für jede Generierung aus einem privaten injektiven Samen-Generator $SG$ ab, der zwei Eingaben erhält:

Semantischer Bucket ( $i$ ): Eine private Clustering-Funktion $h(q)$ bildet die Abfrage $q$ auf einen semantischen Bucket ab. In der Praxis kann dies durch Locality-Sensitive Hashing (LSH) auf semantischen Embeddings realisiert werden.
Bucket-lokaler Besuchszähler ( $a[i]$ ): Die Anzahl der Male, die der spezifische Benutzer innerhalb dieses semantischen Buckets abgefragt hat.

Der Samen wird als $s = SG(i, a[i])$ berechnet. Dieser Samen initialisiert einen Pseudozufallszahlengenerator (PRNG), um das Rauschen $\epsilon$ zu erzeugen, welches dann verwendet wird, um den Output $x = G(q, \epsilon)$ zu generieren.

Betriebseigenschaften

Verlustfreiheit für legitime Benutzer: Für jedes einzelne Konto ist die Samenfolge über verschiedene Anfragen hinweg eindeutig (aufgrund des inkrementierenden Zählers). Folglich erhält der Benutzer Stichproben, die gemäß der ursprünglichen Modellverteilung statistisch unabhängig und identisch verteilt (i.i.d.) sind. Es wird keine Verzerrung eingeführt.
Korrelation für Destillatoren: Ein Multi-Account-Destillator, der $K$ Konten kontrolliert, wird semantisch ähnliche Abfragen (die in denselben Bucket $i$ fallen) über verschiedene Konten hinweg einreichen. Wenn diese Abfragen beim gleichen relativen Zugriffszähler auftreten (z. B. die $t$ -te Abfrage im Bucket für alle Konten), werden ihnen derselbe Samen zugewiesen. Dies erzwingt die Generierung korrelierter Outputs über die Konten hinweg.
Auswirkung auf die Destillation: Anstatt $KT$ unabhängige Stichproben zu erhalten, erhält der Destillator effektiv nur $T$ unabhängige Stichproben (jede wiederholt $K$ -mal). Dies reduziert die effektive Stichprobengröße und führt zu einer statistischen Korrelation, die die Fähigkeit des Schülermodells zur Generalisierung behindert.

Theoretischer Rahmen

Die Arbeit formalisiert die Bedrohung als einen Destillator, der das empirische Risiko über $K$ Konten mit jeweils $T$ Abfragen minimiert.

Unbedingte Generierung (LADS-SIMPLE): Ohne Abfragebedingung skaliert die Generalisierungslücke unter standardmäßiger i.i.d.-Stichprobenziehung als $O(1/\sqrt{KT})$ . Unter LADS-SIMPLE verschlechtert sie sich auf $O(1/\sqrt{T})$ , wodurch der Vorteil des Hinzufügens weiterer Konten effektiv aufgehoben wird.
Bedingte Generierung (LADS): Für aufgaben spezifische Destillation hängt die Generalisierungslücke von der Anzahl der aktivierten semantischen Buckets $N$ ab und nicht von der Anzahl der Konten $K$ . Die Schranke skaliert als $O(1/\sqrt{NT})$ . Da $N \ll K$ (semantische Buckets sind weniger zahlreich als Konten), ist die Konvergenzrate signifikant langsamer als bei standardmäßiger i.i.d.-Stichprobenziehung. Die Analyse nutzt Theorie der gleichmäßigen Konvergenz und Rademacher-Komplexität, um nachzuweisen, dass die kopplung des Rauschens über Konten hinweg die statistische Effizienz des Destillationsprozesses reduziert.

Experimentelle Ergebnisse

Die Autoren bewerteten LADS an zwei Paradigmen: diffusionsbasierter Bildgenerierung und autoregressiven Sprachmodellen.

1. Bildgenerierung (EDM2-Modelle)

Aufbau: Lehrer (EDM2-Large, EDM2-XS) vs. Schüler (EDM2-XXS). Multi-Account-Simulation mit 50 Konten, die ImageNet-Klassen abfragen.
Metrik: Fréchet Inception Distance (FID) und Validierungsverlust.
Ergebnisse: Mit zunehmender Rauschkopplungsstärke $\alpha$ $α$ von 0 (standardmäßige i.i.d.) auf 1 (vollständiges LADS) verschlechterte sich die Leistung des Schülers erheblich.
- FID (zu real) für EDM2-Large stieg von 8,50 ( $\alpha=0$ ) auf 29,8 ( $\alpha=1$ ).
- Der Validierungsverlust stieg monoton mit $\alpha$ .
- Legitime Benutzer (simuliert durch ein einzelnes Konto) behielten hochwertige FID-Werte bei, die mit dem Originalmodell vergleichbar waren, was die verlustfreie Eigenschaft bestätigt.

2. Sprachmodell (Mathematik und Code)

Aufbau: Lehrer (Qwen3.5-397B) vs. Schüler (Llama-3.1-8B, DeepSeek-Math-7B, Qwen2.5-7B). Benchmarks umfassten MATH, GSM8K und HumanEval.
Methode: Der Lehrer generierte Antworten für Prompts und deren Paraphrasen. Im LADS-Setting teilten semantisch äquivalente Prompts denselben Zufallssamen.
Ergebnisse:
- Standardmäßige i.i.d.-Stichprobenziehung: Fine-Tuning erzielte signifikante Gewinne (z. B. +29,8 Punkte auf GSM8K für Llama-3.1-8B).
- LADS-Stichprobenziehung: Gewinne wurden drastisch reduziert (z. B. +11,2 Punkte auf GSM8K für dasselbe Modell).
- Die Ergebnisse bestätigen, dass LADS den statistischen Vorteil der Multi-Account-Destillation begrenzt, während die Qualität einzelner Antworten erhalten bleibt.

Hauptbeiträge

Neuartiger Abwehrmechanismus: Einführung von LADS, der ersten Abwehr, die verlustfreien Schutz gegen Multi-Account-Destillation durch Manipulation der zugrunde liegenden Rauschrealisierung anstelle der Output-Verteilung erreicht.
Theoretische Garantie: Ein strenger Beweis unter Verwendung der Theorie der gleichmäßigen Konvergenz, der zeigt, dass LADS die effektive Stichprobengröße von $KT$ auf $T$ (oder $NT$ in bedingten Settings) kollabiert und die Generalisierungslücke des Destillators nachweislich verschlechtert.
Empirische Validierung: Umfassende Experimente in den Bereichen Bild und Sprache, die zeigen, dass LADS die Leistung von Schülermodellen signifikant verschlechtert, während die exakte statistische Treue für legitime Benutzer erhalten bleibt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LADS eine kritische Lücke in der KI-Sicherheit adressiert: die Unfähigkeit, sich gegen ausgeklügelte Multi-Account-Destillationsangriffe zu verteidigen, ohne die Benutzererfahrung zu beeinträchtigen. Durch die Verlagerung der Abwehr vom Output-Raum in den Zufallsraum argumentieren die Autoren, dass es möglich ist, Destillation für Angreifer „statistisch ineffizient" zu machen, während sie für legitime Benutzer unsichtbar bleibt.

Die Autoren positionieren LADS als prinzipielle Alternative zu Output-Perturbation und Wasserzeichen und bieten eine proaktive Abwehr, die den Erwerb hochwertiger Trainingsdaten verhindert, anstatt lediglich eine unbefugte Nutzung im Nachhinein zu erkennen. Sie weisen darauf hin, dass zukünftige Arbeiten adaptivere semantische Gruppierungsstrategien und die Integration mit systemweiten Schutzmaßnahmen umfassen könnten, aber die aktuelle Arbeit darauf fokussiert ist, die theoretische und empirische Machbarkeit der Rauschkopplung als Abwehrmechanismus zu etablieren.