RandMark: On Random Watermarking of Visual Foundation Models

Dit paper introduceert RandMark, een methode voor het verifiëren van eigendom van visuele fundamentele modellen door middel van willekeurige watermerken die in interne representaties worden ingebed om intellectuele eigendomsrechten te beschermen.

De kern

Stel je voor dat je een heel slimme, krachtige robot hebt gebouwd die foto's kan begrijpen. Deze robot is zo goed, dat hij niet alleen kan zeggen "dit is een hond", maar ook een hond kan tekenen, een foto kan analyseren of een ziekte kan herkennen op een röntgenfoto. Dit noemen we een Visuele Basismodel (een 'foundation model').

Het bouwen van zo'n robot kost echter enorm veel tijd, geld en energie. De eigenaar wil dus graag weten: "Wie gebruikt mijn robot? En gebruikt iemand hem zonder mijn toestemming?"

Hier komt RandMark in beeld. Het is een slimme manier om een onzichtbaar watermerk in de robot te verstoppen, zodat de eigenaar altijd kan bewijzen dat de robot van hem is.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De Dief en de Kopie

Stel, jij bent de eigenaar van deze robot. Iemand anders leent hem, doet alsof hij hem heeft gebouwd, en verkoopt zijn diensten. Hoe bewijs jij dat het jouw robot is?

• De oude manier: Soms proberen mensen een "vingerafdruk" te maken door de robot een heel specifieke opdracht te geven. Maar als de dief de robot een beetje aanpast (bijvoorbeeld door hem te 'trainen' op nieuwe taken), is die vingerafdruk vaak weg. Het is alsof je je handafdruk op een stukje klei drukt; als de klei een beetje droogt of vervormt, is de afdruk niet meer te herkennen.
• De nieuwe manier (RandMark): In plaats van een afdruk op de buitenkant, verstoppen we het bewijs in het brein van de robot.

2. De Oplossing: Het Onzichtbare Merkteken

De auteurs van dit paper (Anna en Mikhail) hebben een methode bedacht die werkt als een magische inkt die in de hersenen van de robot wordt gespoten.

• Het proces: Ze nemen een setje foto's (bijvoorbeeld 1000 willekeurige plaatjes) en sturen ze door de robot. Tegelijkertijd geven ze de robot een geheim berichtje (een reeks van 0-en en 1-en, zoals een geheime code).
• De truc: Ze "trainen" de robot een beetje om die code te onthouden, maar op een heel slimme manier. Ze gebruiken een kleine, slimme hulp-robot (een 'encoder') die de foto's een beetje 'verstoort' (alsof je een foto een beetje wazig maakt of verdraait) voordat de hoofdrobot er naar kijkt.
• Het resultaat: De robot leert dat: "Als ik deze wazige foto zie, moet ik dit specifieke geheime berichtje teruggeven."

3. Waarom is dit zo slim? (De Creatieve Analogie)

Stel je voor dat je een recept hebt voor de beste taart ter wereld.

• De dief neemt je recept, past het een beetje aan (misschien minder suiker, of een ander type bloem) en zegt: "Dit is mijn taart."
• RandMark is alsof je in het recept een geheime smaak hebt verwerkt die alleen naar voren komt als je de taart op een heel specifieke, willekeurige manier snijdt.
  • Als de dief de taart maakt met jouw recept (ook al heeft hij er suiker aan toegevoegd of de oven temperatuur veranderd), zal de taart nog steeds die geheime smaak hebben als je hem op de juiste manier snijdt.
  • Als iemand een hele andere taart maakt (een totaal ander recept), zal die taart nooit die specifieke smaak hebben, hoe je hem ook snijdt.

In de tech-taal betekent dit:

• Robuustheid: Zelfs als de dief de robot "finetunes" (laat hem leren op nieuwe taken, zoals het herkennen van auto's in plaats van honden) of zelfs als hij de robot "knijpt" (verwijdert onnodige onderdelen om hem sneller te maken), blijft het watermerk aanwezig. De "geheime smaak" zit diep in de structuur.
• Veiligheid: Als iemand een nieuwe, onafhankelijke robot bouwt, zal die nooit per ongeluk die specifieke geheime code teruggeven. De kans dat twee totaal verschillende robots per toeval hetzelfde geheim hebben, is net zo klein als de kans dat twee mensen per ongeluk exact dezelfde vingerafdruk hebben.

4. Hoe bewijs je het?

Om te checken of een robot van jou is, doe je het volgende:

1. Je geeft de robot een reeks wazige foto's.
2. Je vraagt: "Wat is het geheim?"
3. De robot geeft een antwoord.
4. Als het antwoord overeenkomt met jouw geheime code (zelfs als er een paar letters fout zijn), dan weet je: "Deze robot is mijn kopie!"
5. Als het antwoord compleet anders is, is het een andere robot.

5. Wat zeggen de resultaten?

De onderzoekers hebben dit getest met de slimste robots van dit moment (zoals CLIP en DINOv2).

• Resultaat: Zelfs als de robots zwaar werden aangepast (voor taken zoals het herkennen van producten in een webshop of het segmenteren van voedsel op foto's), bleef het watermerk 100% herkenbaar.
• Fouten: Ze hebben bijna nooit een onschuldige robot per ongeluk beschuldigd van diefstal (geen "valse alarmen").

Conclusie

RandMark is als een onzichtbare, onverwoestbare stempel in het brein van een AI. Het stelt eigenaren in staat om te zeggen: "Dit is mijn creatie, zelfs als iemand hem heeft aangepast of gekopieerd." Het is een veilige manier om je intellectuele eigendom te beschermen in een wereld waar AI-modellen steeds waardevoller en makkelijker te kopiëren worden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "RandMark: On Random Watermarking of Visual Foundation Models" in het Nederlands.

Probleemstelling

Visuele Fundamentmodellen (Visual Foundation Models of VFMs), zoals CLIP en DINOv2, worden getraind op enorme en diverse datasets. Door de hoge kosten voor datacollectie en training zijn deze modellen waardevolle intellectuele eigendommen. Eigenaren distribueren ze vaak via licenties of abonnementen om hun rechten te beschermen. Echter, gebruikers kunnen deze modellen illegaal kopiëren, fine-tunen voor andere doeleinden of in andere diensten integreren zonder toestemming.

Bestaande methoden voor auteursrechtbescherming, zoals watermerken (die parameters aanpassen) of vingerafdrukken (die unieke ID's genereren zonder het model te wijzigen), zijn vaak specifiek ontworpen voor klassieke beeldclassificatiemodellen. Ze zijn niet direct toepasbaar op de brede functionaliteit van VFMs, die worden gebruikt voor diverse downstream-taken zoals segmentatie en feature-extractie. Er is een behoefte aan een methode die de eigendom van een VFM kan verifiëren, zelfs nadat het model is aangepast (bijv. via fine-tuning of pruning), zonder de functionaliteit te schaden.

Methodologie: RandMark

De auteurs stellen RandMark voor, een nieuwe aanpak voor het watermerken van VFMs. In tegenstelling tot eerdere methoden die zich richten op de output van een classifier, embedt RandMark digitale watermerken direct in de interne representaties (hidden representations) van het model.

Kernprincipes:

1. Encoder-Decoder Architectuur: Het systeem gebruikt een lichtgewicht encoder-decoder netwerk.
   • De encoder ($e$) neemt een invoerbeeld $x$ en een binair bericht $m$ (het watermerk) en injecteert dit in de representatie van het beeld.
   • De source VFM ($f$) wordt samen met de encoder en decoder gefine-tuned.
   • De decoder ($d$) extrahert het binair bericht uit de output-embeddings van het model.
2. Randomisatie: Het watermerken gebeurt via een set van triggerbeelden die willekeurig worden getransformeerd (met ruis $\epsilon_j \sim N(0, \sigma^2 I)$). Omdat de invoertransformaties willekeurig zijn, zijn de geëxtraheerde berichten $m'_j$ stochastische variabelen.
3. Trainingsdoel: De loss-functie minimaliseert twee dingen:
   • De afwijking tussen de oorspronkelijke en de gewatermerkte feature-representaties (zodat de functionaliteit behouden blijft).
   • De fout tussen het ingebedde bericht $m$ en het geëxtraheerde bericht $m'$.
4. Verificatie: Tijdens verificatie worden willekeurige transformaties toegepast op de triggerbeelden. De decoder extrahert berichten van het verdachte model. Als het model een functionele kopie is van het origineel, zullen de geëxtraheerde berichten statistisch sterk overeenkomen met het originele watermerk, ondanks de ruis. Bij onafhankelijke modellen zal er geen correlatie zijn.

Statistische Verificatie:
De auteurs definiëren een beslissingsregel gebaseerd op de Hamming-afstand tussen het originele bericht en de geëxtraheerde berichten over $K$ transformaties. Een model wordt als watermerkt beschouwd als de gemiddelde afstand onder een drempelwaarde $\tau$ ligt. De auteurs leiden theoretische bovengrenzen af voor de kans op valse detectie (FP) en valse niet-detectie (FN).

Belangrijkste Bijdragen

1. RandMark Methode: Een nieuwe, model-agnostische aanpak voor VFMs die binaire handtekeningen direct in de interne representaties embedt via een set triggerbeelden. Dit maakt het geschikt voor diverse downstream-taken.
2. Theoretische Analyse: De auteurs leiden een theoretische bovengrens af voor de kansen op valse positieven (bij onafhankelijke modellen) en valse negatieven (bij functionele kopieën).
3. Robuustheid: Experimentele validatie toont aan dat RandMark bestand is tegen diverse functionele verstoringen, waaronder:
   • Fine-tuning voor downstream-taken (classificatie en segmentatie).
   • Ongestructureerde pruning (verwijdering van gewichten).
   • Bestaande vingerafdrukmethoden falen vaak in deze scenario's, terwijl RandMark succesvol blijft.

Resultaten

De auteurs hebben RandMark getest op state-of-the-art VFMs (CLIP en DINOv2) met datasets voor e-commerce productclassificatie en voedselsegmentatie.

• Detectie van Functionele Kopieën: RandMark kan met hoge waarschijnlijkheid onderscheid maken tussen een onafhankelijk model en een functionele kopie (na fine-tuning of pruning). De "True Positive Rate" blijft hoog (bijv. 100% bij 40% pruning voor CLIP).
• Vermijden van Valse Positieven: Het systeem detecteert geen watermerken in onafhankelijke modellen (zoals een ander modeltype of een niet-gewatermerkte versie), wat resulteert in een zeer lage "False Positive Rate".
• Vergelijking met Baselines:
  • In vergelijking met bestaande vingerafdrukmethoden (ADV-TRA, IPGuard) presteert RandMark aanzienlijk beter, vooral bij onbekende modelarchitecturen en na pruning.
  • In vergelijking met een baseline methode gebaseerd op "Randomized Smoothing" (voor weight-smoothing), behoudt RandMark zowel de prestaties van de downstream-taak (segmentatie) als de watermerk-extractie. De baseline methode degradeerde de taakprestaties en verloor het watermerk na fine-tuning.
• Covariantie-analyse: Een extra metriek (covariantie tussen geëxtraheerde berichten) toont aan dat er een sterke positieve correlatie is tussen watermerkbetrouwbare modellen, terwijl onafhankelijke modellen geen correlatie vertonen.

Betekenis en Conclusie

RandMark biedt een praktische en robuuste oplossing voor de bescherming van intellectuele eigendom van visuele fundamentmodellen. De methode is uniek omdat deze:

1. Niet afhankelijk is van specifieke output-taken: Het werkt op de interne representaties, waardoor het toepasbaar is op elke downstream-taak (classificatie, segmentatie, etc.).
2. Robuust is tegen aanpassingen: Het watermerk overleeft fine-tuning en pruning, wat veel voorkomende methoden zijn om modellen te "stelen" of te herschikken.
3. Laag risico op fouten: De theoretische en experimentele resultaten tonen een lage kans op zowel het ten onrechte beschuldigen van onschuldige modellen als het niet detecteren van gestolen kopieën.

Dit werk vult een belangrijke leemte in het veld van Trustworthy AI door een mechanisme te bieden dat de eigendom van complexe, veelzijdige AI-modellen kan verifiëren zonder hun nut voor de gebruiker te beperken.