💻 computer science

FedOT: Ownership Verification and Leakage Tracing via Watermarks for Federated LDMs

Dit artikel stelt FedOT voor, een nieuw framework voor federated Latent Diffusion Models dat eigendomsverificatie waarborgt en modellekken naar specifieke kwaadaardige cliënten herleidt door een gefragmenteerd watermerkingsschema en een Latent Vector Transformation (LVT)-mechanisme te gebruiken om verwijdering van het watermerk via decodervervanging te voorkomen.

Oorspronkelijke auteurs: Wenlong Cheng, Yuan Gan, Yunqiu Xu, Jiaxu Miao

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wenlong Cheng, Yuan Gan, Yunqiu Xu, Jiaxu Miao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groep kunstenaars voor (de cliënten) die samen een meesterwerk willen creëren zonder ooit hun privé-schetsboeken aan iemand anders te laten zien. Ze gebruiken een speciale samenwerkingsmethode genaamd Federated Learning om een krachtige AI-kunstenaar (een Latent Diffusion Model) te trainen die prachtige afbeeldingen kan genereren.

Er is echter een probleem: zodra de groep de training heeft voltooid, wordt het uiteindelijke "meesterrecept" (het globale model) gedeeld met iedereen. Een sluwe kunstenaar binnen de groep zou dit recept kunnen stelen, het aan een vreemde kunnen verkopen, of het kunnen gebruiken om geld mee te verdienen zonder toestemming. De groep heeft een manier nodig om te bewijzen: "Dit is ons recept!" en, als het gestolen wordt: "Wie heeft het gestolen?"

Dit paper introduceert FedOT, een nieuw beveiligingssysteem dat specifiek is ontworpen om deze twee problemen op te lossen voor AI-kunstenaars die in groepen werken.

De twee grote problemen die FedOT oplost

1. Het mysterie: "Wie heeft het gestolen?"
Eerdere methoden konden wel zeggen: "Ja, deze afbeelding komt uit onze groep," maar ze konden niet aangeven welke specifieke persoon het model had gelekt. Het was alsof je een gestolen auto vindt en weet dat deze bij een specifieke familie hoort, maar niet weet welk gezinslid hem weg heeft gereden. FedOT lost dit op door een verborgen "ID-tag" toe te voegen die direct naar de specifieke dief wijst.

2. De "Vervang de Motor"-truc
Stel je het AI-model voor als een auto met twee belangrijke onderdelen: de Motor (het deel dat de afbeelding genereert) en de Transmissie (het deel dat de kracht van de motor vertaalt naar beweging).

De oude manier: Eerdere beveiligingsmethoden plaatsten een watermerk op de Transmissie. Maar een dief zou de watermerk-dragende Transmissie eruit kunnen treken en kunnen vervangen door een schone, generieke versie van een sloopafval. De auto rijdt nog steeds perfect, en het watermerk is verdwenen.
De FedOT-manier: FedOT verandert de verkeersregels. Het past de Transmissie zo aan dat deze alleen werkt met de specifieke Motor die de groep heeft getraind. Als een dief probeert de Transmissie te vervangen door een generieke versie, hapert de motor van de auto, vallen de wielen eraf en verandert de auto in een nutteloze hoop metaal. De dief kan het model niet stelen zonder het te vernietigen.

Hoe FedOT werkt (De analogie)

FedOT gebruikt twee hoofdtricks om de groep te beschermen:

1. Het "Gesplitste Ticket" (Chunked Watermark)

Beschouw het watermerk als een lang, geheim ticket met twee secties:

De voorste helft (Eigendom): Dit deel is hetzelfde voor iedereen in de groep. Het beantwoordt de vraag: "Komt dit model uit onze groep?"
De achterste helft (Tracing): Dit deel is uniek voor elke persoon. Het beantwoordt de vraag: "Welke specifieke persoon heeft dit gelekt?"

Wanneer er een verdachte afbeelding opduikt, controleert het systeem eerst de voorste helft. Als deze overeenkomt met de groep, controleert het vervolgens de achterste helft om de specifieke dader te identificeren. Dit maakt het proces snel en efficiënt.

2. De "Geheime Taal" (Latent Vector Transformation)

Dit is de kerninnovatie.

De opzet: Voordat de groep begint met trainen, leert de leider (de server) de Transmissie (de VAE) een geheime, licht vervormde taal. Het is alsof je de Transmissie leert om met een licht accent te spreken of om woorden op een vreemde, specifieke manier te vertalen.
De training: De Motor (de U-Net) leert deze nieuwe, vervormde taal perfect te spreken. Ze raken aan elkaar gewend.
De valstrik: Als een dief probeert de Transmissie te vervangen door een standaard, "schone" versie, begrijpt de Motor de taal niet meer. De Motor probeert zijn geheime taal te spreken, maar de nieuwe Transmissie vertaalt dit naar wartaal. Het resultaat? De gegenereerde afbeeldingen zijn wazig, vervormd of volkomen fout.

De onderzoekers testten drie manieren om deze "vervormde taal" te creëren:

Translatie: De taal licht verschuiven (zoals spreken met een zwaar accent).
Spiegel: De taal ondersteboven flippen.
Negatief: De kleuren van de taal inverteren (zoals een fotonegatief).

De onderzoekers ontdekten dat de "Negatief"-benadering de beste was. Het hield de afbeeldingen goed terwijl het onmogelijk maakte om de onderdelen te vervangen zonder de kwaliteit te vernietigen.

Wat de experimenten lieten zien

De auteurs hebben FedOT getest tegen verschillende aanvallen:

De Swap Attack: Wanneer dieven probeerden het watermerk-dragende deel te vervangen door een schoon deel, stortte de beeldkwaliteit in. Het model werd onbruikbaar.
De Purification Attack: Wanneer dieven probeerden het model te "zuiveren" door het opnieuw te trainen op schone data om het watermerk te verwijderen, daalde de kwaliteit nog steeds aanzienlijk.
De Trace: Zelfs met deze aanvallen, als het model overleefde, kon FedOT de groep en de specifieke dief nog steeds met een hoge nauwkeurigheid identificeren.

De essentie

FedOT is het eerste systeem dat zowel eigendom kan bewijzen als de specifieke dief kan vangen in een gezamenlijk AI-project. Het doet dit door de onderdelen van de AI zo nauw met elkaar te verankeren dat als iemand probeert het model te stelen door een stuk te vervangen, het hele geheel kapot gaat. Het verandert modeldiefstal in een "lose-lose" situatie voor de dief: ofwel ze worden betrapt, ofwel ze krijgen een kapot, nutteloos model.

Technische Samenvatting: FedOT - Eigendomsverificatie en Lekdetectie via Watermerken voor Federated LDMs

1. Probleemstelling

Het artikel behandelt de kritieke kwetsbaarheid van Federated Latent Diffusion Models (FedLDMs) met betrekking tot de bescherming van intellectueel eigendom (IP). Hoewel Federated Learning (FL) de privacy van gegevens waarborgt door ruwe data lokaal te houden, vereist het het delen van globale modelupdates, wat de modelarchitectuur blootstelt aan kwaadwillende cliënten. Deze cliënten kunnen de gefinetunede modellen zonder toestemming distribueren of doorverkopen.

Bestaande oplossingen kampen met twee fundamentele beperkingen wanneer ze worden toegepast op FedLDMs:

Gebrek aan Traceerbaarheid: Huidige methoden kunnen verifiëren of een model bij een federatieve groep hoort (eigendomsverificatie), maar kunnen niet de specifieke kwaadwillende cliënt identificeren die verantwoordelijk is voor het lek.
Kwetsbaarheid voor Vervangingsaanvallen: Standaard VAE-gebaseerde watermarkingtechnieken zijn fragiel in FL. Omdat cliënten doorgaans alleen de U-Net parameters bijwerken terwijl de Variational Autoencoder (VAE) bevroren blijft, kan een kwaadwillende cliënt simpelweg de watermerk-gevoede VAE-decoder vervangen door een schone, open-source tegenhanger. Dit verwijdert het watermerk zonder de kwaliteit van de beeldgeneratie te verslechteren, waardoor de bescherming ineffectief wordt.

2. Methodologie: FedOT Framework

De auteurs stellen FedOT voor, het eerste framework dat is ontworpen om gelijktijdig eigendomsverificatie en lekdetectie (leakage tracing) mogelijk te maken voor FedLDMs. Het framework bestaat uit twee kerncomponenten: een Chunked Watermark mechanisme en Latent Vector Transformation (LVT).

2.1 Chunked Watermark Design

Om het traceerbaarheidsgat te dichten, gebruikt FedOT een binaire watermerk van lengte $n$ bits, verdeeld in twee afzonderlijke segmenten die in de VAE-decoder van elk cliëntmodel zijn ingebed:

Ownership Segment ( $r$ bits): Een gedeelde prefix die wordt gebruikt om te verifiëren of een gelekt model afkomstig is van de federatieve groep.
Tracing Segment ( $n-r$ bits): Een unieke suffix die aan elke specifieke cliënt wordt toegewezen.

Workflow:

Verificatie: Als de geëxtraheerde watermerk eerste $r$ bits overeenkomen met de prefix van de groep (boven een drempelwaarde $\tau$ ), wordt het eigendom bevestigd.
Tracing: Alleen na succesvolle eigendomsverificatie analyseert het systeem de resterende $n-r$ bits om de specifieke cliëntindex $j$ te identificeren die verantwoordelijk is voor het lek. Dit twee-traps proces verbetert de efficiëntie in grootschalige implementaties.

2.2 Latent Vector Transformation (LVT)

Om de VAE-vervangingsaanval tegen te gaan, introduceert FedOT LVT, wat een sterke afhankelijkheid creëert tussen de VAE en de U-Net. De kerninzicht is dat de U-Net in LDMs zich aanpast aan de specifieke latente distributie die door de VAE-encoder wordt geproduceerd tijdens de training. Door deze distributie te wijzigen, wordt de U-Net "gebonden" aan de specifieke VAE.

LVT Trainingsproces (Twee Fasen):

Fase I (Encoder Training): De server finetunet de VAE-encoder om een specifieke transformatie $T$ toe te passen op de latente vector $z$ . De decoder is vastgezet. De encoder leert afbeeldingen te mappen naar een getransformeerde latente ruimte $z' = T(z)$ .
Fase II (Decoder Training): De encoder is bevroren. De decoder wordt gefinetuned om afbeeldingen te reconstrueren vanuit de getransformeerde latente ruimte $z^*$ , waardoor effectief de inverse transformatie $T^{-1}$ wordt geleerd.

Transformatie Strategieën:
Het artikel onderzoekt drie deterministische strategieën om de latente distributie te verschuiven:

Translation ( $FedOT_{tran}$ ): Voegt een constante vector $c$ toe aan de latente ruimte ( $z' = z + c$ ).
Mirror ( $FedOT_{mir}$ ): Inverteert de latente vector ( $z' = -z$ ).
Negative ( $FedOT_{neg}$ ): Past pixelgewijze inversie toe op de invoerafbeelding ( $x^- = 1-x$ ) vóór het encoderen, waardoor de latente ruimte wordt gedwongen zich aan te passen aan deze geïnverteerde manifold.

Beveiligingsmechanisme:
Als een kwaadwillende cliënt de watermerk-gevoede VAE vervangt door een schone versie, zal de U-Net (getraind op de getransformeerde distributie) inputs ontvangen van een mismatchende latente ruimte. Dit veroorzaakt ernstige degradatie in de kwaliteit van de beeld-synthese, waardoor het gestolende model onbruikbaar wordt en de vervangingsaanval wordt afgeschrikt.

3. Belangrijkste Bijdragen

Het artikel claimt de volgende bijdragen:

Eerste Framework voor FedLDMs: FedOT is het eerste systeem dat zowel eigendomsverificatie als specifieke cliënt-lekdetectie mogelijk maakt voor Federated Latent Diffusion Models.
Robuuste Component Binding: De voorgestelde LVT vestigt een sterke afhankelijkheid tussen de VAE en de U-Net. Het zorgt ervoor dat het verwijderen van het watermerk via VAE-vervanging resulteert in significante degradatie van de beeldkwaliteit, wat de zero-cost vervangingsaanvallen effectief neutraliseert.
Uitgebreide Evaluatie: De auteurs bieden uitgebreide experimenten tegen diverse aanvallen, inclusief VAE-vervanging, model-purificatie (fine-tuning op schone data) en beeldgebaseerde aanvallen, waarmee de betrouwbaarheid van het framework wordt aangetoond.

4. Experimentele Resultaten

Experimenten werden uitgevoerd met Stable Diffusion v2.1 met de datasets COCO2017 (voor LVT/watermerk training) en LAION-10K (voor federatieve fine-tuning).

Defensie tegen Vervangingsaanvallen:
- Baseline methoden (Stable Signature* en FedOT zonder LVT) vertoonden bijna geen degradatie in beeldkwaliteit (FID) na VAE-vervanging, en watermerken waren ondetecteerbaar.
- FedOT met LVT: Alle LVT-varianten veroorzaakten significante stijgingen in FID (kwaliteitsdegradatie) bij vervanging.
  - $FedOT_{neg}$ toonde de beste balans: de FID steeg met ~20 punten (van ~20.3 naar ~40.5), terwijl de generatiekwaliteit in de schone staat hoog bleef.
  - $FedOT_{mir}$ veroorzaakte de meest ernstige semantische verstoring (CLIP-Score daling van -0.064), waardoor gegenereerde content praktisch onbruikbaar werd.
Eigendoms- en Traceerprestaties:
- FedOT behaalde hoge detectiepercentages (>0.96) en bit-nauwkeurigheid (>0.94) voor zowel eigendomsverificatie als cliënt-tracing.
- Het chunked watermerk design maakte efficiënte tracing mogelijk wanneer dit noodzakelijk was.
Robuustheid:
- Purificatie Aanvallen: Het finetunen van het model op schone data gedurende 300 epochs slaagde er niet in om het watermerk te verwijderen zonder de beeldkwaliteit te verslechteren (FID steeg aanzienlijk).
- Federatieve Condities: Prestaties bleven stabiel over verschillende aantallen cliënten (5, 10, 20) en non-i.i.d. datadistributies (Dirichlet $\alpha$ ).

5. Betekenis en Claims

Het artikel positioneert FedOT als een noodzakelijke evolutie in het beschermen van generatieve AI binnen privacy-bewarende federatieve omgevingen. De auteurs claimen dat:

Bestaande FL watermarking-oplossingen onvoldoende zijn voor complexe generatieve modellen zoals LDMs vanwege architecturale verschillen en de specifieke kwetsbaarheid van bevroren VAE's.
De trade-off die door LVT wordt geïntroduceerd een bewuste en effectieve beveiligingsfunctie is: de prijs voor het verwijderen van het watermerk is de vernietiging van de bruikbaarheid van het model. Dit maakt de aanval onpraktisch voor kwaadwillende actoren.
Het framework een kritiek gat in de literatuur vult door verder te gaan dan eenvoudige eigendomsverificatie naar bron-tracing, waardoor federatieve groepen de specifieke cliënt kunnen identificeren en verantwoordelijk kunnen houden voor model-lekken.

De auteurs concluderen dat FedOT een betrouwbaar mechanisme biedt voor het beveiligen van FedLDMs, waardoor het intellectueel eigendom behouden blijft, zelfs in gedecentraliseerde trainingsomgevingen.