Echoes of ownership: Adversarial-guided dual injection for copyright protection in MLLMs

Titel: Echoes of Ownership: Adversarial-Guided Dual Injection voor Copyright-bescherming in Multimodale Grootte Taalmodellen (MLLMs)

Auteurs: Chengwei Xia, Fan Ma, Ruijie Quan, Yunqiu Xu, Kun Zhan, Yi Yang.

---

1. Het Probleem

Met de snelle verspreiding van open-source Multimodale Grootte Taalmodellen (MLLMs) zoals LLaVA en Qwen-VL, is het risico op intellectuele eigendomsinbreuk toegenomen. Malieuze gebruikers kunnen deze modellen lokaal fine-tunen voor commerciële doeleinden en vervolgens claimen dat ze de oorspronkelijke eigenaar zijn, terwijl ze de oorspronkelijke ontwikkelaars omzeilen.

Bestaande methoden voor copyright-tracking hebben twee grote beperkingen:

1. White-box methoden: Vereisen toegang tot interne modelparameters of gradients, wat onmogelijk is bij gesloten-of-propriëtaire modellen.
2. Bestaande Black-box methoden: Methoden zoals "Parameter Learning Attack" (PLA) gebruiken adversariale trigger-afbeeldingen die reageren op specifieke teksten. Deze methoden overfitten echter vaak op het basismodel en verliezen hun effectiviteit wanneer het model zwaar wordt gefinetuned voor downstream taken.

Er is dus behoefte aan een black-box methode die robuust blijft onder diverse fine-tuning scenario's en domeinverschuivingen, zonder toegang tot de modelinterne structuur.

---

2. Methodologie: AGDI Framework

De auteurs stellen AGDI (Adversarial-Guided Dual Injection) voor. Dit is een framework dat trigger-afbeeldingen genereert die alleen een vooraf bepaald, eigendomsgerelateerd tekstueel antwoord activeren in afgeleide (gefinetunteerde) modellen, maar inert blijven in niet-afgeleide modellen.

De kern van de methode rust op de observatie dat MLLMs een CLIP-achtig cross-modale uitlijningsmodule bevatten. Hoewel de tekstuele responsen van een model kunnen veranderen na fine-tuning, blijven de hoog-niveau beeld-taal embeddings (semantische uitlijning) relatief stabiel.

AGDI gebruikt een min-max optimalisatie met drie componenten:

A. Dual-Injection Mechanisme

In plaats van alleen te vertrouwen op de tekstuele output, injecteert AGDI eigendomsinformatie op twee niveaus:

1. Response-Level Injection (Antwoordniveau):

   • Dit zorgt voor tekstuele consistentie tussen de output van het model en een vooraf gedefinieerd doeltekst (bijv. "ICLR Conference").
   • De loss-functie ($L_{res}$) is een cross-entropy verlies dat de kans maximaliseert dat het model het doelwoord genereert bij het zien van de trigger-afbeelding.
   • Doel: Zorgen dat de trigger specifiek wordt geactiveerd.

2. Semantic-Level Injection (Semantisch niveau):

   • Dit minimaliseert de afstand tussen de CLIP-features van de trigger-afbeelding en de features van de doeltekst.
   • De loss-functie ($L_{sem}$) gebruikt de CLIP-encoder om de semantische uitlijning te maximaliseren.
   • Doel: Benutten van de stabiliteit van de CLIP-achtige submodule die gedeeld wordt door verschillende MLLM-varianten, waardoor de trigger generaliseert over verschillende fine-tuning datasets.

De totale loss voor de afbeelding is: $L_{trig} = L_{res} + \lambda L_{sem}$.

B. Adversarial Training (Robuustheid)

Om te voorkomen dat de trigger te specifiek wordt voor het basismodel, wordt een adversarial training fase geïntroduceerd:

• Een auxiliary model (geïnitialiseerd als het basismodel) wordt getraind om te weerstaan aan het genereren van de doeltekst wanneer de trigger wordt ingevoerd.
• Dit simuleert het gedrag van een model dat zwaar is gefinetuned en de trigger probeert te negeren.
• Door de afbeelding te optimaliseren terwijl het auxiliary model probeert de trigger te "breken", wordt een robuustere trigger gegenereerd die bestand is tegen downstream fine-tuning.

C. Generatieproces

Het proces verloopt als volgt:

1. Start met een schone afbeelding.
2. Voer iteraties uit waarbij de afbeelding wordt bijgewerkt om de doeltekst te activeren (via dual-injection) en de modelparameters (van het auxiliary model) worden bijgewerkt om de activatie te onderdrukken.
3. Dit creëert een "arms race" die resulteert in een trigger die specifiek genoeg is voor de oorspronkelijke architectuur, maar robuust genoeg voor varianten.

---

3. Belangrijkste Bijdragen

1. Post-deployment Black-box Framework: Een nieuw framework voor copyright-tracking dat werkt zonder toegang tot modelinterne parameters, specifiek ontworpen voor MLLMs.
2. Dual-Injection Strategie: De eerste methode die zowel response-level als semantic-level (CLIP-features) injectie combineert. Dit benut de stabiliteit van cross-modale uitlijning in MLLMs om generalisatie over fine-tuned varianten te verbeteren.
3. Adversarial Robuustheid: Een strategie waarbij een auxiliary model wordt getraind om de trigger te weerstaan, waardoor de gegenereerde triggers beter bestand zijn tegen zware fine-tuning en modelpruning.
4. Uitgebreide Validatie: Experimenten tonen aan dat AGDI superieur presteert ten opzichte van bestaande methoden (zoals PLA en RNA) op diverse datasets (V7W, ST-VQA, MathV, etc.) en met verschillende fine-tuning strategieën (LoRA, Full Fine-tuning).

---

4. Resultaten

De auteurs evalueerden AGDI op modellen zoals LLaVA-1.5 en Qwen2-VL met diverse downstream taken.

• Tracking Performance (ASR - Attack Success Rate):

  • AGDI bereikte een ASR van 64-81% op diverse fine-tuned varianten van LLaVA-1.5 en Qwen2-VL.
  • Dit is significant hoger dan de baselines: PLA (48-76%) en RNA (36-43%).
  • De "Ordinary" methode (standaard cross-entropy) presteerde slecht (11-48%) vanwege overfitting op het basismodel.

• Specificiteit (Geen False Positives):

  • Op niet-afgeleide modellen (zoals MiniGPT-4, LLaVA-1.6, Llama3-V) bleef de ASR 0%. Dit bewijst dat de trigger niet willekeurige modellen activeert, maar specifiek gericht is op de model-familie.

• Robuustheidstests:

  • Model Pruning: AGDI behield hoge prestaties zelfs na het verwijderen van 30% van de gewichten (magnitude pruning).
  • Model Merging: Bij het samenvoegen van modellen (Linear en TIES merging) bleef AGDI effectiever dan baselines.
  • Quantization: De methode bleef robuust bij 8-bit quantization.
  • Input Transformaties: De triggers bleven werken onder JPEG-compressie, ruis en herschaling.

• Ablatie Studies:

  • Het verwijderen van de semantische injectie ($L_{sem}$) of de response injectie ($L_{res}$) leidde tot een drastische daling in prestaties, wat aantoont dat beide componenten essentieel zijn.
  • De adversarial training (LLM update) was cruciaal voor het verbeteren van de generalisatie.

---

5. Betekenis en Conclusie

Dit paper biedt een cruciale oplossing voor het beschermen van intellectueel eigendom in de snel evoluerende wereld van open-source AI.

• Praktische Toepassing: Uitgevers van MLLMs kunnen nu verifieerbare "watermerken" in de vorm van trigger-afbeeldingen embedden. Als een derde partij een gefinetunteerde versie van hun model gebruikt, kan de uitgever dit aantonen door de trigger af te beelden en het specifieke antwoord te controleren.
• Technische Innovatie: De paper laat zien dat het combineren van tekstuele en semantische uitlijning (via CLIP-features) een krachtigere methode is dan alleen tekstuele reacties, vooral omdat semantische features stabieler zijn tijdens fine-tuning.
• Toekomst: De methode is schaalbaar en werkt ongeacht of het model later wordt gepruned, gemerged of gekwantiseerd, wat het een ideale kandidaat maakt voor real-world copyright-handhaving in de AI-industrie.

De code is open-source beschikbaar gesteld, wat de reproduceerbaarheid en verdere ontwikkeling van copyright-bescherming voor multimodale modellen stimuleert.