Stellen Sie sich eine Welt vor, in der Künstler nicht nur mit Pinseln malen, sondern mit magischen Worten. Sie tippen einen Satz wie „eine Cyberpunk-Katze, die Pizza isst“, und ein Computer beschwört augenblicklich ein brandneues, hochauflösendes Bild herauf. Dies ist das Reich der Text-zu-Bild-Diffusionsmodelle, der digitalen Zauberer hinter dem neuesten KI-Kunstrausch. Diese Modelle arbeiten, indem sie mit einem Bildschirm voller statischem Rauschen beginnen (wie ein alter Fernseher ohne Signal) und dieses Schritt für Schritt langsam säubern, bis ein klares Bild erscheint. Da diese Modelle so leistungsstark sind, verkaufen Unternehmen sie als Dienstleistungen oder teilen das „Rezept“ (die Modelldatei), damit andere sie nutzen können. Doch dies schafft ein schwieriges Problem: Wenn jemand das geheime Rezept eines Unternehmens stiehlt oder es leicht verändert und als sein eigenes verkauft, wie kann der ursprüngliche Besitzer beweisen, dass es seiner ist? Sie können nicht einfach in den Code schauen, wenn der Dieb ihn versteckt, und sie können das Modell nicht immer ändern, um ein geheimes digitales Wasserzeichen einzubetten, ohne die Kunst zu beeinträchtigen. Sie brauchen einen Weg, den Dieb allein dadurch zu überführen, dass sie beobachten, was das Modell tut.

Dieses Paper stellt einen cleveren neuen Detektivtrick namens „Collapsed Generation“ (kollabierte Generierung) vor. Denken Sie an eine Persönlichkeitstest für KI. Normalerweise, wenn man eine KI bittet, fünfmal ein Bild mit denselben Worten, aber einem anderen Zufallswert (wie beim Würfeln) zu zeichnen, erhält man fünf völlig unterschiedliche, einzigartige Bilder. Es ist, als würde man einen Koch bitten, fünfmal einen Burger zuzubereiten; man würde fünf leicht unterschiedliche Burger erwarten. Die Forscher haben jedoch entdeckt, dass einige KI-Modelle bei bestimmten spezifischen Wörtern in einer Endlosschleife stecken bleiben. Egal wie oft man die Würfel rollt, das Modell erzeugt jedes Mal fast das exakt gleiche Bild. Es ist, als ob der Koch, wenn er nach einem „Burger“ gefragt wird, plötzlich vergisst, wie man das Rezept variiert, und fünfmal hintereinander den identischen Burger serviert. Das Paper legt nahe, dass dieses seltsame, repetitive Verhalten ein einzigartiger Fingerabdruck des Trainings dieses spezifischen Modells ist. Wenn Sie ein Verdachtsmodell finden, das bei den richtigen Fragen diese „identischen Burger“-Bilder produziert, haben Sie es erwischt, dass es das geheime Rezept des ursprünglichen Besitzers verwendet hat, selbst wenn der Dieb versucht hat, es zu tarnen.

Das neue Werkzeug des Detektivs: Die KI an ihrem Stottern erkennen

Die Forscher, ein Team der Fudan University und andere, erkannten, dass dieses „Stottern“ oder die „Collapsed Generation“ kein Fehler ist, sondern ein Merkmal der Art und Weise, wie diese Modelle lernen. Wenn ein Modell bestimmte Muster aus seinen Trainingsdaten auswendig lernt, verliert es manchmal die Fähigkeit zur Kreativität für genau diese Prompts. Anstatt eine breite Palette von Möglichkeiten zu erkunden, kollabiert es in ein einziges, hochgradig konsistentes Ergebnis. Das Team fand heraus, dass dieses Verhalten wie ein einzigartiger Stimmdruck ist. So wie zwei Menschen denselben Satz mit unterschiedlichen Akzenten sagen können, werden zwei verschiedene KI-Modelle, die auf unterschiedlichen Daten trainiert wurden, auf denselben Prompt unterschiedlich reagieren. Das eine könnte eine chaotische, vielfältige Menge an Bildern erzeugen, während das „gestohlene“ Modell eine langweilig identische Menge erzeugen könnte.

Das Paper schlägt ein zweistufiges Katz-und-Maus-Spiel vor, um die Inhaberschaft zu beweisen. Zuerst muss der ursprüngliche Besitzer (der Detektiv) die „magischen Worte“ oder „magischen Einstellungen“ finden, die dieses Stottern in seinem eigenen Modell auslösen. Dies geschieht auf zwei Arten, abhängig davon, wie viel Zugriff er auf das Verdachtsobjekt hat:

1. Der „White-Box“-Ansatz (Der Insider): Wenn der Detektiv die internen Zahnräder des Modells sehen kann (zum Beispiel, wenn der Dieb den Code geleakt hat), kann er einen Computer verwenden, um mathematisch nach dem perfekten „Embedding“ (einer digitalen Version eines Prompts) zu suchen, das das Modell zum Stottern zwingt. Er muss nicht auf das fertige Bild warten; er kann sehen, wie das Modell früh im Prozess stecken bleibt, was eine enorme Rechenleistung spart.
2. Der „Black-Box“-Ansatz (Der Außenseiter): Wenn das Verdachtsmodell hinter einer Website oder einer App verborgen ist, bei der man nur Text eingeben und ein Bild zurückbekommen kann, kann der Detektiv die internen Zahnräder nicht manipulieren. Stattdessen durchsucht er die ursprünglichen Trainingsdaten, um echte, natürliche Sätze zu finden, die das Modell bereits zum Stottern bringen. Sie fanden heraus, dass diese „stotternden Prompts“ oft mit Bildern korrespondieren, die das Modell sehr leicht gelernt hat (niedriger „Loss“ während des Trainings). Durch das Testen dieser natürlichen Sätze können sie sehen, ob das Verdachtsmodell bei ihnen ebenfalls stottert.

Das Urteil: Ist es ein Nachahmer?

Sobald der Detektiv seine Liste von „Stotter-Triggern“ hat, testet er das Verdachtsmodell. Er bittet das Verdachtsmodell, Bilder unter Verwendung dieser Trigger zu generieren, wobei er die Würfel (den Zufallswert/Seed) viele Male rollt. Wenn das Verdachtsmodell ein Nachahmer ist, wird es einen Stapel fast identischer Bilder produzieren, genau wie das Original. Wenn es sich um ein völlig anderes, nicht verwandtes Modell handelt, wird es einen ungeordneten Haufen unterschiedlicher Bilder produzieren, was zeigt, dass es nicht dieselbe „Erinnerung“ an diese spezifischen Prompts teilt.

Die Forscher testeten diese Idee an mehreren verschiedenen Arten von KI-Modellen, einschließlich Modellen, die auf älteren „UNet“-Designs und neueren „Transformer“-Designs basieren. Sie fanden heraus, dass diese Methode sehr gut funktioniert. Sie kann zwischen zwei Modellen unterscheiden, die separat trainiert wurden, selbst wenn sie oberflächlich ähnlich aussehen. Viel wichtiger ist, dass der Fingerabdruck schwer zu brechen ist. Selbst wenn der Dieb versucht, seine Spuren zu verwischen durch:

• Fine-tuning (dem Modell neue Tricks beibringen),
• Pruning (Teile des Modells herausschneiden, um es kleiner zu machen),
• Quantisierung (Vereinfachung der Zahlen, die das Modell verwendet),
• oder sogar den Versuch, die Ergebnisse zu verschleiern (obfuscation),

...überlebt das „Stottern“-Verhalten oft. Das Paper zeigt, dass man keine Millionen von Fragen stellen muss, um einen Dieb zu überführen; eine moderate Anzahl von Tests reicht aus, um eine statistisch starke Antwort zu erhalten.

Was dies bedeutet (und was es nicht bedeutet)

Das Paper stellt vorsichtig fest, dass dies kein Zauberstab ist, der jedes Urheberrechtsproblem sofort löst. Es behauptet nicht, dass es den Diebstahl verhindert, noch dass jedes Modell diese Fingerabdrücke besitzt (obwohl sie sie in den getesteten Modellen fanden). Es stellt auch fest, dass die „White-Box“-Methode sehr effizient ist, die „Black-Box“-Methode jedoch darauf angewiesen ist, die richtigen natürlichen Prompts zu finden, was ein wenig wie die Suche nach der Nadel im Heuhaufen sein kann – obwohl ihr Verfahren, nach „Low-Loss“-Trainingsbeispielen zu suchen, dies viel schneller macht.

Entscheidend ist, dass die Autoren argumentieren, dass man kein geheimes Wasserzeichen innerhalb des Modells pflanzen muss, um die Inhaberschaft zu beweisen. Sie zeigen, dass das natürliche Verhalten des Modells selbst – seine Tendenz, bei bestimmten Eingaben in einer Schleife stecken zu bleiben – ausreicht, um Eigentum zu belegen. Dies ist ein bedeutender Punkt, denn es bedeutet, dass man das Modell nicht verändern muss, um es zu schützen. Man kann einfach beobachten, wie es sich verhält.

Letztendlich legt diese Forschung nahe, dass „Collapsed Generation“ eine zuverlässige, nicht-invasive Methode zur Verifizierung des Besitzes eines KI-Kunstmodells ist. Sie macht die Eigenheiten des Modells zu einer Signatur. Wenn ein Modell immer wieder dasselbe Bild produziert, wenn es eigentlich kreativ sein sollte, singt es vielleicht einfach das Lied des ursprünglichen Besitzers, egal wie hart der Dieb versucht, den Text zu ändern.