Technische Samenvatting: Watermerking op Dynamica-Niveau van Flow Matching-modellen met Random Codes

1. Probleemstelling

Het artikel adresseert de behoefte aan robuuste, verifieerbare eigendomsbescherming voor generatieve modellen, specifiek Flow Matching-modellen. Bestaande watermerkingparadigma's lijden onder specifieke beperkingen:

• Output-niveau methoden embedden signalen in gegenereerde steekproeven, maar kunnen worden verwijderd via nabewerking en bewijzen geen eigendom van het model zelf.
• Weight-niveau methoden embedden bits in parameters, maar vereisen witte-kas-toegang en zijn kwetsbaar voor fine-tuning of pruning.
• Gedragsniveau methoden (backdoor) ondersteunen zwarte-kas-verificatie, maar introduceren vaak zichtbare artefacten, statistische onregelmatigheden, of missen sterke cryptografische sleuteling (eenmaal een trigger gevonden, is verificatie triviaal).

Bovendien heeft geen enkel eerdere werk watermerken direct geïntegreerd in de geleerde continue dynamica (het snelheidsveld) van een generatief proces. De auteurs stellen de kernvraag: Kan een verifieerbaar, gesleuteld, multi-bit bericht direct worden geëmbet in het snelheidsveld van een flow matching-model, zodat detectie alleen zwarte-kas-toegang vereist, de gegenereerde kwaliteit behouden blijft, en herstel onmogelijk is zonder een geheime sleutel?

2. Methodologie

Kernconcept: Random Coding over Transportdynamica

De auteurs formuleren watermerking als random coding over een continu kanaal. In plaats van weights of outputs te wijzigen, behandelen zij het geleerde snelheidsveld $v_\theta(x, t)$ als een hoogdimensionaal continu kanaal. Een bericht wordt geëmbet door een sleutelafhankelijke perturbatie aan dit snelheidsveld toe te voegen.

Constructie van het Watermerksignaal

Het watermerksignaal $s_{K,m}(x, t)$ wordt geconstrueerd om drie voorwaarden te voldoen: gemiddelde nul over tijd (om kwaliteit te behouden), benaderende orthogonaliteit (voor berichtseparatie) en energienormalisatie.

• Sleutel ($K$): Bestaat uit een semi-orthogonale projectiematrix $P \in \mathbb{R}^{D \times k}$ en een codeboek $C = \{c_m\}$ van eenheidsvectoren in $\mathbb{R}^k$.
• Signaaldefinitie: Voor een bericht $m$ wordt het signaal gedefinieerd als:
  $$s_{K,m}(x, t) = \sin(2\pi t) \cdot P c_m$$
  Hierbij embedt $P c_m$ het codewoord in de snelheidsruimte, terwijl $\sin(2\pi t)$ fungeert als een temporele drager.
• Gemiddelde Nul Eigenschap: De integraal van $\sin(2\pi t)$ over $t \in [0, 1]$ is nul. Bijgevolg integreert de perturbatie tot nul langs elke generatieve trajectorie, wat theoretisch de terminale verdeling van gegenereerde steekproeven behoudt.

Trainingsprocedure (Embedding)

Tijdens Flow Matching-training wordt het model geoptimaliseerd om een gecombineerde verliesfunctie te minimaliseren:

1. Snelheidsverlies ($L_{vel}$): Regresseert de snelheid $v_\theta$ van het model tegen een gewatermerkt doel $\tilde{v} = u + \epsilon_0 s_{K,m}$, waarbij $u$ de standaard conditionele snelheid is.
2. Watermerkverlies ($L_{wm}$): Een regularisatieterm die het model beloont voor het produceren van snelheidsvectoren waarvan de gedemoduleerde projectie ($\sin(2\pi t) P^T v_\theta$) overeenkomt met het doeldcodewoord $c_m$.

De theoretische analyse toont aan dat de optimale predictor onder dit doel een effectieve watermerkstevkheid van $\epsilon_0 + \lambda/2$ omvat.

Detectieprocedure (Zwarte-kas)

Detectie vereist alleen query-toegang tot het snelheidsveld van het model.

1. Queryen: De detector steekproeft $N$ willekeurige punten $(x_i, t_i)$ en queryt het model voor snelheden $v(x_i, t_i)$.
2. Synchrone Demodulatie: De detector projecteert de snelheden in de latente code-ruimte ($P^T v$) en vermenigvuldigt met de temporele drager $\sin(2\pi t_i)$.
3. Gemiddelde: De resultaten worden gemiddeld om de handtekening $\hat{s}$ te schatten.
4. Decodering: Het bericht wordt hersteld door het codewoord $c_m$ in het codeboek te vinden dat de correlatie met $\hat{s}$ maximaliseert.

Beveiliging en Capaciteit

• Beveiliging: Zonder de geheime sleutel ($P$ en $C$) staat een aanvaller voor een subruimte-zoekprobleem over de Grassmann-maand $Gr(k, D)$ en een niet-identificeerbaarheidsprobleem met betrekking tot de basis van de subruimte. Empirisch levert detectie met een verkeerde sleutel een nauwkeurigheid op het niveau van toeval op.
• Capaciteit: De kanaalcapaciteit schaalt lineair met de projectiedimensie $k$ en logaritmisch met het aantal queries $N$.

3. Belangrijkste Bijdragen

1. Embedding op Dynamica-Niveau: Eerste werk dat watermerken direct in het continue snelheidsveld van flow matching-modellen embedt, in plaats van in weights of outputs.
2. Kwaliteitsbehoud: Ontwierp een perturbatie die over trajecten tot nul integreert, waardoor de gegenereerde verdeling statistisch niet te onderscheiden blijft van de niet-gewatermerkte versie.
3. Gesleutelde Beveiliging: Implementeerde een schema waarbij detectie en berichtherstel strikt een geheime sleutel vereisen (projectiematrix en codeboek); zonder deze daalt de nauwkeurigheid tot raden.
4. Multi-bit Capaciteit: Gebruikte een codeboekconstructie om multi-bit berichten te ondersteunen (beyond binary verificatie), waardoor toepassingen zoals eigenaaridentificatie en verradertrace mogelijk worden.
5. Empirische Validatie: Valideerde de methode op MNIST en CIFAR-10 met MLP- en UNet-architecturen.

4. Experimentele Resultaten

De auteurs evalueerden de methode in diverse settings (MNIST/CIFAR-10, MLP/UNet, verschillende trainingsstappen).

• Detectienauwkeurigheid: Gewatermerkte modellen behaalden 100% berichtherstel over alle geteste configuraties. Schone modellen (niet-gewatermerkt) leverden 0% vals-positieven op (of 2,5% in één specifiek geval, onder de random-guess-baseline van 3,1%).
• Gesleutelde Beveiliging: Aanvallen met een willekeurige projectiematrix (verkeerde sleutel) resulteerden in 0/50 correcte herstellingen, overeenkomend met de toevalsgraad.
• Statistische Separatie: De scheiding tussen handtekeningen van gewatermerkte en schone modellen was significant, met een minimale scheiding van meer dan 8,4$\sigma$ (tot 25,5$\sigma$ in sommige settings).
• Kwaliteitsbehoud: De Fréchet Inception Distance (FID)-ratio's tussen gewatermerkte en schone modellen bleven dicht bij 1,0$\times$ (variërend van 0,95$\times$ tot 1,10$\times$). In sommige gevallen vertoonden gewatermerkte modellen marginaal lagere FID-waarden, toegeschreven aan willekeurige trainingsvariatie in plaats van het watermerk zelf.
• Persistentie: Het uitbreiden van de training tot 10.000 stappen degradeerde de watermerkherstel niet.

5. Betekenis en Claims

Het artikel claimt dat watermerking op dynamica-niveau een robuuste basis biedt voor:

• Model-eigendomsverificatie: Bewijzen van eigendom van een ingezet model via zwarte-kas-query's.
• Verradertrace: Identificeren van specifieke kopieën van een model die aan verschillende klanten zijn verdeeld.
• Regelgevingsconformiteit: Verifiëren van de herkomst van generatieve modellen.

De auteurs benadrukken dat hun aanpak het geleerde snelheidsveld behandelt als een continu communicatiekanaal, een perspectief dat nuttig kan zijn buiten watermerking om. Zij stellen expliciet dat hoewel de methode veelbelovend is, evaluatie op schaal van implementatie en rigoureuze analyse van de kanaalcapaciteit voor eindige steekproeven worden overgelaten aan toekomstig werk. Het artikel claimt niet watermerking op te lossen voor alle families van generatieve modellen, maar demonstreert specifiek effectiviteit binnen het Flow Matching-framework.