💻 computer science

FedOT: Ownership Verification and Leakage Tracing via Watermarks for Federated LDMs

Dieses Paper schlägt FedOT vor, ein neuartiges Framework für föderierte Latent Diffusion Models, das durch den Einsatz eines chunkbasierten Watermarking-Schemas und eines Latent Vector Transformation (LVT)-Mechanismus die Eigentumsverifizierung sicherstellt und Modell-Leakage auf spezifische bösartige Clients zurückverfolgt, um die Entfernung des Wasserzeichens durch einen Decoder-Austausch zu verhindern.

Ursprüngliche Autoren: Wenlong Cheng, Yuan Gan, Yunqiu Xu, Jiaxu Miao

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wenlong Cheng, Yuan Gan, Yunqiu Xu, Jiaxu Miao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Künstlern (die Klienten) vor, die gemeinsam ein Meisterwerk erschaffen wollen, ohne jemals ihre privaten Skizzenbücher jemandem zu zeigen. Sie nutzen eine spezielle kollaborative Methode namens Federated Learning, um einen mächtigen KI-Künstler (ein Latent Diffusion Model) zu trainieren, der atemberaubende Bilder generieren kann.

Es gibt jedoch ein Problem: Soblich die Gruppe das Training abgeschlossen hat, wird das fertige „Meisterrezept“ (das globale Modell) mit allen geteilt. Ein hinterlistiger Künstler innerhalb der Gruppe könnte dieses Rezept stehlen, es an einen Fremden verkaufen oder es nutzen, um ohne Erlaubnis Geld zu verdienen. Die Gruppe benötigt eine Möglichkeit, um zu beweisen: „Das ist unser Rezept!“ und im Falle eines Diebstahls: „Wer hat es gestohlen?“

Dieses Paper stellt FedOT vor, ein neues Sicherheitssystem, das speziell entwickelt wurde, um genau diese zwei Probleme für Gruppen von KI-Künstlern zu lösen.

Die zwei großen Probleme, die FedOT löst

1. Das Rätsel „Wer war’s?“
Bisherige Methoden konnten zwar sagen: „Ja, dieses Bild stammt aus unserer Gruppe“, aber sie konnten nicht sagen, welche spezifische Person das Modell durchgesickert hat. Es war wie bei einem gestohlenen Auto, bei dem man weiß, dass es zu einer bestimmten Familie gehört, aber nicht weiß, welches Familienmitglied es weggefahren ist. FedOT behebt dies, indem es ein verstecktes „ID-Tag“ hinzufügt, das direkt auf den spezifischen Dieb zeigt.

2. Der „Motor-Austausch“-Trick
Stellen Sie sich das KI-Modell wie ein Auto mit zwei Hauptteilen vor: dem Motor (der Teil, der das Bild erzeugt) und dem Getriebe (der Teil, der die Kraft des Motors in Bewegung übersetzt).

Der alte Weg: Bisherige Sicherheitsmethoden platzierten ein Wasserzeichen auf dem Getriebe. Aber ein Dieb könnte einfach das wassergekennzeichnete Getriebe herausreißen und durch ein sauberes, generisches Teil von einem Schrottplatz ersetzen. Das Auto würde immer noch perfekt fahren, und das Wasserzeichen wäre verschwunden.
Der FedOT-Weg: FedOT ändert die Verkehrsregeln. Es modifiziert das Getriebe so, dass es nur mit dem spezifischen Motor funktioniert, den die Gruppe trainiert hat. Wenn ein Dieb versucht, das Getriebe gegen ein Standardgetriebe auszutauschen, stottert der Motor des Autos, die Räder fallen ab und das Auto wird zu einem nutzlosen Haufen Metall. Der Dieb kann das Modell nicht stehlen, ohne es zu zerstören.

Wie FedOT funktioniert (Die Analogie)

FedOT nutzt zwei Haupttricks, um die Gruppe zu schützen:

1. Das „Split-Ticket“ (Chunked Watermark)

Betrachten Sie das Wasserzeichen als ein langes, geheimes Ticket mit zwei Abschnitten:

Die vordere Hälfte (Eigentum): Dieser Teil ist für alle in der Gruppe gleich. Er beantwortet die Frage: „Ist dieses Modell aus unserer Gruppe?“
Die hintere Hälfte (Rückverfolgung): Dieser Teil ist für jede einzelne Person einzigartig. Er beantwortet die Frage: „Welche spezifische Person hat es geleakt?“

Wenn ein verdächtiges Bild auftaucht, prüft das System zuerst die vordere Hälfte. Wenn diese zur Gruppe passt, prüft es dann die hintere Hälfte, um den spezifischen Übeltäter zu identifizieren. Dies macht den Prozess schnell und effizient.

2. Die „Geheimsprache“ (Latent Vector Transformation)

Dies ist die Kerninnovation.

Das Setup: Bevor die Gruppe mit dem Training beginnt, lehrt der Anführer (der Server) das Getriebe (den VAE) eine geheime, leicht verzerrte Sprache. Es ist, als würde man dem Getriebe beibringen, mit einem leichten Akzent zu sprechen oder Wörter auf eine seltsame, spezifische Weise zu übersetzen.
Das Training: Der Motor (den U-Net) lernt, diese neue, verzerrte Sprache perfekt zu sprechen. Sie gewöhnen sich aneinander.
Die Falle: Wenn ein Dieb versucht, das Getriebe durch ein Standard-, „sauberes“ Getriebe zu ersetzen, versteht der Motor die Sprache nicht mehr. Der Motor versucht, seine Geheimsprache zu sprechen, aber das neue Getriebe übersetzt sie in Kauderwelsch. Das Ergebnis? Die generierten Bilder sind unscharf, verzerrt oder völlig falsch.

Die Forscher testeten drei Wege, um diese „verzerrte Sprache“ zu erstellen:

Translation (Übersetzung): Die Sprache leicht verschieben (wie mit einem schweren Akzent sprechen).
Mirror (Spiegelung): Die Sprache auf den Kopf stellen.
Negative (Negativ): Die Farben der Sprache invertieren (wie ein Fotonegativ).

Die Forscher fanden heraus, dass der „Negative“-Ansatz der beste war. Er hielt die Bilder optisch gut aus, machte es aber unmöglich, die Teile auszutauschen, ohne die Qualität zu zerstänken.

Was die Experimente zeigten

Die Autoren testeten FedOT gegen verschiedene Angriffe:

Der Swap-Angriff (Austausch-Angriff): Als Diebe versuchten, den wassergekennzeichneten Teil durch einen sauberen zu ersetken, brach die Bildqualität zusammen. Das Modell wurde unbrauchbar.
Der Purification-Angriff (Reinigung-Angriff): Als Diebe versuchten, das Modell durch ein erneutes Training auf sauberen Daten zu „waschen, um das Wasserzeichen zu entfernen, sank die Qualität dennoch signifikant.
Die Rückverfolgung: Selbst bei diesen Angriffen konnte FedOT, sofern das Modell überlebte, die Gruppe und den spezifischen Dieb mit hoher Genauigkeit identifizieren.

Das Faz-it

FedOT ist das erste System, das sowohl die Eigentumsnachweis erbringen als auch den spezifischen Dieb entlarven kann, und zwar in einem Gruppen-KI-Projekt. Es erreicht dies, indem es die Teile der KI so eng miteinander verknüpft, dass das gesamte System zusammenbricht, wenn jemand versucht, das Modell durch den Austausch eines Teils zu stehlen. Es macht den Diebstahl des Modells zu einer „Lose-Lose“-Situation für den Dieb: Entweder er wird erwischt oder er erhält ein kaputtes, nutzloses Modell.

Technisches Resümee: FedOT – Eigentumsverifizierung und Leckage-Verfolgung mittels Wasserzeichen für föderierte LDMs

1. Problemstellung

Die Arbeit befasst sich mit der kritischen Schwachstelle von Federated Latent Diffusion Models (FedLDMs) hinsichtlich des Schutzes geistigen Eigentums (IP). Während das föderierte Lernen (Federated Learning, FL) die Datensphäre wahrt, indem es Rohdaten lokal hält, erfordert es die Weitergabe globaler Modell-Updates, wodurch die Modellarchitektur für böswillige Clients angreifbar wird. Diese Clients können die feinabgestimmten Modelle unbefugt verbreiten oder weiterverkaufen.

Bestehende Lösungen stehen vor zwei grundlegenden Einschränkungen, wenn sie auf FedLDMs angewendet werden:

Mangelnde Rückverfolgbarkeit: Aktuelle Methoden können zwar verifizieren, ob ein Modell zu einer föderierten Gruppe gehört (Eigentumsverifizierung), aber nicht den spezifischen böswilligen Client identifizieren, der für das Leck verantwortlich ist.
Anfälligkeit für Replacement-Angriffe: Standardmäßige VAE-basierte Wasserzeichen-Techniken sind im FL-Kontext fragil. Da Clients typischerweise nur die U-Net-Parameter aktualisieren, während der Variational Autoencoder (VAE) eingefroren bleibt, kann ein böswilliger Client einfach den wasserzeichenbasierten VAE-Decoder durch einen sauberen Open-Source-Gegenpart ersetzen. Dies entfernt das Wasserzeichen, ohne die Bildgenerierungsqualität zu beeinträchtigen, was den Schutz unwirksam macht.

2. Methodik: Das FedOT-Framework

Die Autoren schlagen FedOT vor, das erste Framework, das darauf ausgelegt ist, gleichzeitig Eigentumsverifizierung und Leckage-Verfolgung (Leakage Tracing) für FedLDMs zu ermöglichen. Das Framework besteht aus zwei Kernkomponenten: einem Chunked Watermark-Mechanismus und der Latent Vector Transformation (LVT).

2.1 Design des Chunked Watermark

Um die Lücke in der Rückverfolgbarkeit zu schließen, verwendet FedOT ein binäres Wasserzeichen der Länge $n$ Bits, das in zwei distinkte Segmente unterteilt und in den VAE-Decoder jedes Client-Modells eingebettet wird:

Ownership Segment ( $r$ Bits): Ein gemeinsames Präfix, das verwendet wird, um zu verifizieren, ob ein geleaktes Modell aus der föderierten Gruppe stammt.
Tracing Segment ( $n-r$ Bits): Ein einzigartiges Suffix, das jedem spezifischen Client zugewiesen ist.

Arbeitsablauf:

Verifizierung: Wenn die extrahierten Wasserzeichen-Bits der ersten $r$ Stellen den Gruppen-Präfix (oberhalb eines Schwellenwerts $\tau$ ) treffen, ist das Eigentum bestätigt.
Verfolgung: Erst nach erfolgreicher Eigentumsverifizierung analysiert das System die verbleibenden $n-r$ Bits, um den spezifischen Client-Index $j$ zu identifizieren, der für das Leck verantwortlich ist. Dieser zweistufige Prozess verbessert die Effizienz in groß angelegten Implementierungen.

2.2 Latent Vector Transformation (LVT)

Um dem VAE-Replacement-Angriff entgegenzuwirken, führt FedOT LVT ein, welches eine starke Abhängigkeit zwischen dem VAE und dem U-Net schafft. Die zentrale Erkenntnis ist, dass das U-Net in LDMs an die spezifische latente Verteilung anpasst, die durch den VAE-Encoder während des Trainings erzeugt wird. Durch die Modifikation dieser Verteilung wird das U-Net an den spezifischen VAE „gebunden“.

LVT-Trainingsprozess (Zwei Stufen):

Stufe I (Encoder-Training): Der Server führt ein Fine-Tuning des VAE-Encoders durch, um eine spezifische Transformation $T$ anzuwenden, die auf den latenten Vektor $z$ wirkt. Der Decoder bleibt fixiert. Der Encoder lernt, Eingabebilder auf einen transformierten latenten Raum $z' = T(z)$ abzubilden.
Stufe II (Decoder-Training): Der Encoder wird eingefroren. Der Decoder wird darauf feinabgestimmt, Bilder aus dem transformierten latenten Raum $z^*$ zu rekonstruieren, wodurch effektiv die inverse Transformation $T^{-1}$ erlernt wird.

Transformationsstrategien:
Das Paper untersucht drei deterministische Strategien, um die latente Verteilung zu verschieben:

Translation ( $FedOT_{tran}$ ): Addiert einen konstanten Vektor $c$ zum latenten Raum ( $z' = z + c$ ).
Mirror ( $FedOT_{mir}$ ): Invertiert den latenten Vektor ( $z' = -z$ ).
Negative ( $FedOT_{neg}$ ): Wendet eine pixelweise Inversion auf das Eingabebild an ( $x^- = 1-x$ ), bevor es kodiert wird, wodurch der latente Raum gezwungen wird, sich an dieses invertierte Manifold anzupassen.

Sicherheitsmechanismus:
Wenn ein böswilliger Client den wasserzeichenbasierten VAE durch einen sauberen ersetzt, erhält das U-Net (das auf der transformierten Verteilung trainiert wurde) Eingaben aus einem nicht passenden latenten Raum. Dies führt zu einer schweren Verschlechterung der Bildsynthesequalität, was das gestohlene Modell unbrauchbar macht und den Replacement-Angriff abschreckt.

3. Zentrale Beiträge

Das Paper beansprucht die folgenden Beiträge:

Erstes Framework für FedLDMs: FedOT ist das erste System, das sowohl die Eigentumsverifizierung als auch die spezifische Client-Leckage-Verfolgung für Federated Latent Diffusion Models ermöglicht.
Robuste Komponentenbindung: Das vorgeschlagene LVT etabliert eine starke Abhängigkeit zwischen VAE und U-Net. Es stellt sicher, dass das Entfernen des Wasserzeichens via VAE-Replacement zu einer signifikanten Verschlechterung der Bildqualität führt, was Zero-Cost-Replacement-Angriffe effektiv neutralisiert.
Umfassende Evaluierung: Die Autoren liefern umfangreiche Experimente gegen verschiedene Angriffe, einschließlich VAE-Replacement, Modell-Purifizierung (Fine-Tuning auf sauberen Daten) und bildbasierte Angriffe, was die Zuverlässigkeit des Frameworks demonstriert.

4. Experimentelle Ergebnisse

Die Experimente wurden mit Stable Diffusion v2.1 unter Verwendung der Datensätze COCO2017 (für LVT/Wasserzeichen-Training) und LAION-10K (für föderiertes Fine-Tuning) durchgeführt.

Abwehr gegen Replacement-Angriffe:
- Baseline-Methoden (Stable Signature* und FedOT ohne LVT) zeigten nach einem VAE-Replacement fast keine Verschlechterung der Bildqualität (FID) und die Wasserzeichen waren nicht mehr detektierbar.
- FedOT mit LVT: Alle LVT-Varianten verursachten bei einem Replacement signifikante Steigerungen des FID (Qualitätsverlust).
  - $FedOT_{neg}$ zeigte die beste Balance: Der FID stieg um ca. 20 Punkte (von ~20,3 auf ~40,5), während die Generierungsqualität im sauberen Zustand hoch blieb.
  - $FedOT_{mir}$ verursachte die schwerste semantische Störung (CLIP-Score-Abfall von -0,064), was die generierten Inhalte praktisch unbrauchbar machte.
Eigentums- und Verfolgungsleistung:
- FedOT erreichte hohe Detektionsraten (>0,96) und Bit-Genauigkeiten (>0,94) sowohl für die Eigentumsverifizierung als als auch für die Client-Verfolgung.
- Das Chunked-Watermark-Design ermöglichte eine effiziente Verfolgung nur bei Bedarf.
Robustheit:
- Purification-Angriffe: Das Fine-Tuning des Modells auf sauberen Daten über 300 Epochen konnte das Wasserzeichen nicht entfernen, ohne die Bildqualität zu beeinträchtigen (FID stieg signifikant an).
- Föderierte Bedingungen: Die Leistung blieb stabil über verschiedene Anzahlen von Clients (5, 10, 20) und non-i.i.d. Datenverteilungen (Dirichlet $\alpha$ ) hinweg.

5. Bedeutung und Ansprüche

Das Paper positioniert FedOT als notwendige Evolution zum Schutz generativer KI in datenschutzwahrenden föderierten Umgebungen. Die Autoren behaupten:

Bestehende FL-Wasserzeichen-Lösungen sind für komplexe generative Modelle wie LDMs aufgrund architektonischer Unterschiede und der spezifischen Schwachstelle eingefrorener VAEs unzureichend.
Der durch LVT eingeführte Trade-off ist ein bewusster und effektiver Sicherheitsaspekt: Die Kosten für das Entfernen des Wasserzeichens sind die Zerstörung des Nutzens des Modells. Dies macht den Angriff für böswillige Akteure unpraktikabel.
Das Framework schließt eine kritische Lücke in der Literatur, indem es über die einfache Eigentumsverifizierung hinaus zur Quellenverfolgung (Source Tracing) geht, was es föderierten Gruppen ermöglicht, den spezifischen Client zu identifizieren und für das Modell-Leck zur Rechenschaft zu ziehen.

Die Autoren kommen zu dem Schluss, dass FedOT einen zuverlässigen Mechanismus zur Sicherung von FedLDMs bietet und sicherstellt, dass geistige Eigentumsrechte auch in dezentralen Trainingsumgebungen gewahrt bleiben.