🤖 AI

CSF: Black-box Fingerprinting via Compositional Semantics for Text-to-Image Models

Die Arbeit stellt CSF vor, eine schwarze-Box-Methode, die ausschließlich über Abfragezugriff feingetunte Text-zu-Bild-Modelle durch die Nutzung kompositioneller semantischer Fingerabdrücke identifizierbar macht, um geistiges Eigentum auch bei kommerziellen API-Bereitstellungen zu schützen.

Ursprüngliche Autoren: Junhoo Lee, Mijin Koo, Nojun Kwak

Veröffentlicht 2026-04-21

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Junhoo Lee, Mijin Koo, Nojun Kwak

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast eine geheime Rezeptur für den besten Kuchen der Welt. Du verkaufst ihn nicht direkt, sondern nur über einen automatischen Automaten, der auf Anfrage einen Kuchen backt. Jemand anderes kopiert dein Rezept, verbessert es ein wenig (vielleicht macht er den Kuchen etwas knuspriger oder süßer) und verkauft ihn unter seinem eigenen Namen über einen ähnlichen Automaten.

Wie kannst du beweisen, dass dieser neue Kuchen eigentlich von deinem ursprünglichen Rezept stammt, wenn du den Automaten des Diebes nicht öffnen darfst und nur die fertigen Kuchen siehst?

Genau dieses Problem lösen die Forscher mit ihrer neuen Methode namens CSF (Compositional Semantic Fingerprinting). Hier ist die Erklärung, wie das funktioniert, ganz ohne Fachchinesisch:

1. Das Problem: Der "Schwarze Kasten"

Früher versuchten Leute, ihre Modelle (die KI-Programme) mit einem unsichtbaren Tintentupfer zu markieren (Wasserzeichen), bevor sie sie veröffentlichten. Aber wenn jemand das Modell erst nachher kopiert und verändert, ist dieser Tintentupfer oft weg oder nicht mehr sichtbar.
Andere Methoden erfordern, dass man den Code des Diebes von innen sieht (wie die Gewichte des Gehirns der KI). Das ist aber bei kommerziellen Angeboten (APIs) oft verboten oder unmöglich. Man hat nur den "Schwarzen Kasten": Man gibt einen Text ein und bekommt ein Bild.

2. Die Lösung: Der "Semantische Fingerabdruck"

Statt nach unsichtbaren Tintentupfern zu suchen, nutzt CSF eine clevere psychologische Trickkiste.

Die Analogie: Der verwirrte Koch
Stell dir vor, du fragst einen Koch: "Mach mir ein Tier."

Ein normaler Koch macht vielleicht einen Hund oder eine Katze.
Aber was macht ein Koch, wenn du sagst: "Mach mir ein gefährliches, im Dämmerlicht stehendes, einsames Tier"?

Das ist eine sehr spezifische, aber seltsame Kombination. Die meisten KIs wurden mit tausenden Bildern von "Hunden" und "Katzen" trainiert, aber kaum mit Bildern von "gefährlichen Tieren im Dämmerlicht".

Hier kommt der Trick:

Der Dieb hat sein Modell nur auf gängige Bilder trainiert (z. B. "Anime-Katzen" oder "Fotorealistische Landschaften"). Er hat diese seltsamen, spezifischen Kombinationen nie gesehen.
Das Original-Modell (dein Rezept) hat aber eine tiefe, unbewusste Vorliebe dafür, wie es diese seltenen Kombinationen interpretiert. Diese "Geschmackspräferenz" ist im Gehirn der KI fest verankert, bevor sie jemals feinjustiert wurde.

3. Wie CSF funktioniert (Schritt für Schritt)

Die seltsamen Fragen (Prompts): Die Forscher stellen der KI des Diebes sehr spezifische, aber unvollständige Fragen. Zum Beispiel: "Ein Foto von einem gefährlichen, einsamen Tier in einem abgedunkelten Studio."
Die Reaktion: Die KI muss raten, was genau gemeint ist. Da sie das Wort "gefährlich" und "einsam" in dieser Kombination noch nie so genau gesehen hat, greift sie auf ihre ursprüngliche Grundausbildung zurück. Sie entscheidet sich unbewusst für eine bestimmte Art von Tier (z. B. immer einen Wolf statt eines Bären).
Der Vergleich: Die Forscher machen das mit vielen solchen seltsamen Fragen (42 verschiedene Kombinationen). Sie schauen sich an, welche Tiere oder Objekte die KI des Diebes bevorzugt.
Der Abgleich: Dann vergleichen sie dieses "Verhalten" mit den ursprünglichen Modellen. Wenn die KI des Diebes bei "gefährlichem Tier im Dämmerlicht" immer wieder einen Wolf malt, und das Originalmodell (z. B. Stable Diffusion 1.5) macht das auch, aber ein anderes Modell (z. B. SDXL) macht stattdessen einen Bären, dann ist der Dieb entlarvt.

4. Warum das so stark ist (Der "Asymmetrie-Vorteil")

Das ist der genialste Teil:

Der Angreifer (Dieb) muss versuchen, alle möglichen seltsamen Kombinationen vorherzusehen und zu löschen. Das ist unmöglich, weil es unendlich viele Kombinationen von Adjektiven und Orten gibt.
Der Verteidiger (Eigentümer) kann einfach neue Fragen erfinden. "Okay, du hast 'gefährliches Tier' gelöscht? Dann fragen wir nach 'einem traurigen Vogel auf einem blauen Kissen'." Der Dieb kann nicht gegen alle Fragen gleichzeitig gewinnen.

5. Das Ergebnis

Die Forscher haben das an 13 verschiedenen "gestohlenen" Modellen getestet (die mit verschiedenen Tricks verändert wurden, z. B. um Anime-Stile zu lernen oder um schneller zu sein).
Das Ergebnis? CSF konnte in fast allen Fällen mit hoher Sicherheit sagen: "Ja, dieses Modell stammt von diesem ursprünglichen Familienrezept ab."

Selbst wenn die KI so stark verändert wurde, dass sie völlig anders aussieht (z. B. wie ein Anime statt wie ein Foto), bleibt dieser unsichtbare "Geschmack" im Kopf der KI erhalten, wenn man sie mit den richtigen, seltsamen Fragen konfrontiert.

Zusammenfassend:
CSF ist wie ein Detektiv, der nicht nach Fingerabdrücken auf einer Vase sucht, sondern den Dieb fragt: "Was würdest du essen, wenn du nur eine Karotte und eine Banane hättest?" Die Art, wie der Dieb antwortet, verrät, in welchem Restaurant er gelernt hat zu kochen – selbst wenn er jetzt behauptet, ein Meisterkoch zu sein.

Titel: CSF: Black-Box-Fingerabdruck-Verfahren mittels kompositorischer Semantik für Text-zu-Bild-Modelle

Autoren: Junhoo Lee, Mijin Koo, Nojun Kwak (Seoul National University)

1. Problemstellung

Text-zu-Bild-Modelle (T2I) sind wertvolle geistige Eigentumsrechte (IP), die oft unter restriktiven Lizenzen verteilt werden. Ein zentrales Problem ist die Durchsetzung dieser Lizenzen, wenn Modelle illegal feinabgestimmt (fine-tuned) und ausschließlich über eine API (Application Programming Interface) ohne Zugriff auf die internen Gewichte oder Aktivierungen bereitgestellt werden.

Limitationen bestehender Methoden:
- Watermarking: Erfordert Zugriff vor dem Deployment (Pre-deployment), um Trigger einzufügen. Dies ist bei bereits deployeden kommerziellen APIs nicht möglich. Zudem können Watermarks durch Feinabstimmung verwässert oder entfernt werden.
- Traditionelles Fingerprinting: Benötigt oft White-Box-Zugriff (Gewichte, Gradienten) oder feingranulare Kontrollen über die Generierung, die in Black-Box-APIs nicht verfügbar sind.
- Visuelle Ähnlichkeit: Feinabstimmung verändert oft den visuellen Stil (z. B. von fotorealistisch zu Anime) so stark, dass visuelle Merkmale (z. B. CLIP-Embeddings) die ursprüngliche Modell-Linie (Lineage) nicht mehr zuverlässig identifizieren können.

Das Ziel ist es, eine Black-Box-Methode zu entwickeln, die nur über Text-Prompts und Bildausgaben (Query-Only) funktioniert, um ein verdächtiges Modell eindeutig einer geschützten Basis-Modell-Familie zuzuordnen, selbst nach intensiver Feinabstimmung.

2. Methodik: Compositional Semantic Fingerprinting (CSF)

CSF betrachtet T2I-Modelle nicht als Pixel-Synthesizer, sondern als Generatoren semantischer Kategorien. Der Kernansatz besteht darin, interpretative Verzerrungen (Semantik) von stilistischen Variationen zu isolieren.

A. Kompositorische Unterbestimmtheit (Compositional Underspecification)

Statt einfache Prompts zu verwenden, nutzt CSF Prompts, die aus der Kombination seltener semantischer Attribute bestehen.

Prinzip: Ein Prompt besteht aus einer übergeordneten Kategorie (z. B. „Tier") und mehreren spezifischen, aber selten gemeinsam vorkommenden Attributen (z. B. „gefährlich", „dunkles Studio").
Rationale: Während einzelne Attribute in den Trainingsdaten häufig sein mögen, ist die spezifische Kombination (z. B. „ein gefährliches Tier in einem dunklen Studio") in den Feinabstimmungsdaten extrem selten oder gar nicht vorhanden.
Robustheit: Da Feinabstimmung nur auf Daten stattfindet, die im Trainingsset vorkommen, bleibt das Verhalten des Modells auf diese seltenen, nicht im Feinabstimmungs-Set enthaltenen Kombinationen unverändert. Das Modell muss seine inhärenten, aus dem Pre-Training stammenden semantischen Prioritäten nutzen, um die Mehrdeutigkeit aufzulösen.

B. Workflow

Prompt-Generierung: Erstellung von 42 spezifischen Prompts, die verschiedene semantische Kategorien (Tiere, Obst, Blumen, etc.) mit variierenden Kontexten kombinieren.
Generierung: Für jeden Prompt werden $N=30$ Bilder mit dem verdächtigen Modell generiert.
Klassifikation: Jedes Bild wird mittels Zero-Shot-Klassifikation (CLIP) in eine diskrete semantische Kategorie eingeordnet (z. B. „Löwe" vs. „Wolf" bei dem Prompt „ein gefährliches Tier").
Verteilungsanalyse: Es wird eine Wahrscheinlichkeitsverteilung über die Kategorien für jedes Modell erstellt.
Vergleich: Die Verteilungen des verdächtigen Modells werden mit denen der Referenz-Basismodelle verglichen.

C. Statistische Zuordnung (Bayesian Attribution)

Metrik: Der Abstand zwischen den empirischen Verteilungen wird mit der Wasserstein-Distanz (Earth Mover's Distance) gemessen, da diese die geometrische Struktur im Wahrscheinlichkeitsraum besser erfasst als einfache Divergenzen (wie JSD).
Bayessches Framework: Die Ergebnisse über alle Prompts werden aggregiert, um eine Posterior-Wahrscheinlichkeit für die Zugehörigkeit zu einer bestimmten Modell-Linie zu berechnen.
Entscheidungskriterien:
- Signifikanztest: Ist die Zuordnung besser als Zufall (Chance-Level)?
- Dominanztest: Ist die Wahrscheinlichkeit für die identifizierte Basis höher als die Summe aller anderen Kandidaten (Dominanz > 50%)?

3. Wichtige Beiträge

Erste Black-Box-Methode für T2I-Fingerprinting: CSF ist die erste Methode, die Modelle ausschließlich über API-Zugriff (Text-in, Bild-out) identifizieren kann, ohne interne Gewichte oder Aktivierungen zu benötigen.
Umkehrung der Asymmetrie: Im Gegensatz zu Watermarking, wo Angreifer einen bekannten Trigger entfernen können, bietet CSF dem Verteidiger einen Vorteil: Da die Prompts aus einer exponentiell großen Menge möglicher Kombinationen generiert werden können, ist es für Angreifer unmöglich, alle potenziellen „Fingerabdrücke" vorherzusehen und zu entfernen.
Trainingsfreiheit: Die Methode erfordert kein zusätzliches Training des Verteidigers und keine Modifikation des Modells vor dem Deployment.
Robustheit gegen extreme Anpassungen: Die Methode funktioniert auch bei Modellen, die durch LoRA, Model-Merging, DPO (Direct Preference Optimization) oder Destillation (Few-Step-Modelle) stark verändert wurden.

4. Ergebnisse

Die Autoren evaluierten CSF an 6 Modellfamilien (FLUX, Kandinsky, SD1.5, SD2.1, SD3, SDXL) und 13 feinabgestimmten Varianten.

Hohe Zuverlässigkeit: Alle 13 getesteten Varianten erfüllten das Dominanzkriterium (Posterior-Mittelwert > 50% und untere 95%-Konfidenzgrenze > 50%). Das bedeutet, das korrekte Basismodell wurde mit hoher statistischer Sicherheit identifiziert.
Vergleich mit Baselines:
- Naive Prompts (ohne kompositorische Einschränkungen) führten zu einer Zuordnungsrate von nur ~18% (nahe Zufall).
- CSF erreichte eine Genauigkeit von 71% in einer menschlichen Studie („Name That Dataset"), was die semantische Robustheit der Methode bestätigt.
- Im Vergleich zu Jensen-Shannon-Divergenz (JSD) lieferte die Wasserstein-Distanz deutlich höhere Konfidenzwerte.
Kosten: Die Methode ist kosteneffizient (ca. 50 USD pro Modell bei kommerziellen APIs wie DALL-E 3).
Robustheitstests: Selbst bei gezielter Entfernung von Konzepten (Concept Erasure) oder extremen Änderungen (z. B. SD3-Reality-Mix mit vollständig neuem Training) blieb die Identifizierung stabil.

5. Bedeutung und Fazit

CSF stellt einen Paradigmenwechsel im Schutz geistigen Eigentums für generative KI dar.

Praktische Anwendbarkeit: Da die meisten kommerziellen T2I-Modelle nur über APIs zugänglich sind, füllt CSF eine kritische Lücke, die bisherige White-Box-Methoden offen ließen.
Rechtliche Durchsetzbarkeit: Die Methode liefert statistisch fundierte Beweise für die Herkunft eines Modells, was für IP-Verfahren und Lizenzstreitigkeiten entscheidend ist.
Zukunftssicherheit: Durch die Nutzung der kombinatorischen Explosion von Prompts bietet CSF eine langfristige Verteidigungsstrategie, die gegen zukünftige Angriffsvektoren (wie gezieltes Entfernen von spezifischen Merkmalen) robust ist.

Zusammenfassend beweist CSF, dass die inhärenten semantischen Verzerrungen eines Basismodells auch nach drastischen stilistischen Änderungen erhalten bleiben und als unverwechselbarer Fingerabdruck genutzt werden können, sofern man die richtigen, unterbestimmten semantischen Abfragen stellt.