Are Neuro-Inspired Multi-Modal Vision-Language Models Resilient to Membership Inference Privacy Leakage?

Technische Samenvatting: Neuro-geïnspireerde Multi-modale Visie-Taal Modellen en Resistentie tegen Membership Inference

Probleemstelling
De snelle uitrol van Multi-modale Modellen (MM's), specifiek Visie-Taal Modellen (VLM's), in agentische AI-toepassingen (bijv. robotica, gezondheidszorg, authenticatie) heeft nieuwe privacykwetsbaarheden geïntroduceerd. Terwijl bestaand onderzoek uitgebreid Membership Inference Attacks (MIA's) op unimodale systemen en Large Language Models (LLM's) heeft geanalyseerd, blijft de veerkracht van VLM's tegen black-box MIA's onderbelicht. In een black-box MIA-scenario bevraagt een tegenstander een uitgerold VLM met een afbeelding en probeert te deduceren of een specifieke beeld-tekstcombinatie deel uitmaakte van de trainingsdataset van het model door de gegenereerde bijschrift te analyseren. Indien dit succesvol is, vormt dit een lek in de privacy, wat onthult dat gevoelige trainingsgegevens aanwezig zijn. Eerdere studies suggereren dat biologisch geïnspireerde neurale netwerkrepresentaties de veerkracht tegen aanvallen kunnen verbeteren in unimodale modellen, maar het is onbekend of neuro-geïnspireerde structurele regularisatie de privacy-lekken in complexe, multi-modale VLM's kan mitigeren.

Methodologie
Dit werk introduceert een systematisch framework om de veerkracht van VLM's tegen beeld-tekst-gebaseerde MIA's te evalueren en te verbeteren met behulp van neuroscience-geïnspireerde topologische regularisatie (verwezen als $\tau$-regularisatie).

• Bedreigingsmodel: De studie opereert onder een strikte black-box setting. De tegenstander heeft geen toegang tot modelgewichten, gradiënten of interne embeddings. Zij kunnen enkel een invoerbeeld $u$ indienen bij het doelmodel $M_\tau$ en het gegenereerde bijschrift $v'$ observeren. De tegenstander beschikt over een referentie-bijschrift $v$ (ground truth) en gebruikt gelijkenis-metrieken om lidmaatschap te infereren.
• Topologische Regularisatie ($\tau$-Regularisatie): De kernmethodologie omvat het fine-tunen van pre-trained VLM's met een aangepaste verliesfunctie:
  $$J_\tau = J_{cap} + \tau \cdot R_{topo}$$
  Waarbij $J_{cap}$ de standaard captioning loss (cross-entropy) is en $R_{topo}$ een topografische regularisator die gladdere, ruimtelijk georganiseerde interne representaties stimuleert door feature maps uit te lijnen met hun vervaagde tegenhangers. De scalaire $\tau$ regelt de sterkte van deze inductieve bias.
• Experimentele Configuratie:
  • Modellen: Drie VLM's werden geëvalueerd: BLIP, PaliGemma 2, en ViT-GPT2.
  • Datasets: Experimenten werden uitgevoerd op COCO, CC3M, en NoCaps.
  • Varianten: Modellen werden getest in drie configuraties:
    • Baseline: $\tau = 0$ (Standaard fine-tuning).
    • NEURO: $\tau = 2$ (Matige topologische regularisatie).
    • NEURO++: $\tau = 3$ (Sterke topologische regularisatie).
  • Aanvalsmechanisme: De tegenstander berekent de gelijkenis tussen het gegenereerde bijschrift $v'$ en het referentie-bijschrift $v$ met behulp van MPNet (semantische gelijkenis) en ROUGE-2 (lexicale overlap). Een hoge gelijkenis-score suggereert dat de sample een "lid" is van de trainingsset. De succesvolle aanval wordt gekwantificeerd met behulp van ROC-AUC.

Belangrijkste Bijdragen

1. Introductie van Framework: Het artikel introduceert een topologisch regularisatie-framework ($\tau$-ge-regulariseerd) dat specifiek is ontworpen om multi-modale VLM's te fine-tunen om hun veerkracht tegen privacy-aanvallen te beoordelen.
2. Eerste Empirische Studie naar Neuro-VLM's: Dit werk presenteert de eerste onderzoek naar de vraag of neuro-geïnspireerde structurele regularisatie de privacy-veerkracht van VLM's tegen black-box MIA's verbetert.
3. Uitgebreide Evaluatie: De auteurs bieden een uitgebreide evaluatie over drie verschillende VLM-architecturen en drie benchmark-datasets, waarbij baseline-modellen worden vergeleken met neuro-geïnspireerde varianten.
4. Privacy-Utility Trade-off Analyse: De studie biedt kwantitatief bewijs voor de afweging tussen privacybescherming (verminderde aanvalssucces) en model nut (bijschrift-generatiekwaliteit), en demonstreert dat veerkracht kan worden bereikt zonder significante prestatievermindering.
5. Ablatie-studies: Het artikel analyseert de impact van het variëren van de regularisatiecoëfficiënt $\tau$ (van 0 tot 3) en aanvalsgranulariteit om patronen in model-veerkracht te identificeren.

Resultaten
De experimenten tonen aan dat neuro-geïnspireerde VLM's aanzienlijk veerkrachtiger zijn tegen membership inference attacks dan hun baseline-tegenhangers, terwijl ze een vergelijkbaar nut behouden.

• Reductie in Aanvalssucces: Op het BLIP-model met de COCO-dataset daalde de MIA-aanvalssuccesratio (gemeten door ROC-AUC) met ongeveer 24% voor de NEURO-variant ($\tau=2$) en met 30,5% voor de NEURO++-variant ($\tau=3$) vergeleken met de Baseline.
  • Baseline BLIP (COCO): ROC-AUC = 94,00%
  • NEURO++ BLIP (COCO): ROC-AUC = 63,46%
• Consistentie over Modellen en Datasets: Vergelijkbare trends werden waargenomen voor PaliGemma 2 en ViT-GPT2 op de CC3M en NoCaps datasets. Over het algemeen verminderde het verhogen van $\tau$ de ROC-AUC, wat wijst op een lagere kwetsbaarheid voor MIA's.
• Behoud van Nut: Cruciaal is dat de reductie in aanvalssucces niet ten koste ging van de modelprestaties. De gelijkenis-scores (MPNet en ROUGE-2) tussen gegenereerde en referentie-bijschriften voor NEURO-modellen bleven vergelijkbaar met, of in sommige gevallen zelfs iets beter dan, de Baseline-modellen. Bijvoorbeeld, in de COCO-dataset werd het verschil in gelijkenis tussen lid- en niet-lid-samples kleiner, maar de algehele kwaliteit van de bijschrift-generatie (nut) bleef behouden.
• Mechanisme: De topologische regularisatie lijkt de afhankelijkheid van het model van het memoriseren van specifieke trainingsvoorbeelden te verminderen. Door de interne representaties te verzachten, genereert het model bijschriften die minder kenmerkend "gememoriseerd" zijn voor trainingsdata, waardoor de gelijkenis-gap tussen leden en niet-leden die tegenstanders exploiteren, wordt verkleind.

Betekenis en Claims
Het artikel beweert een kritieke kloof te vullen in het begrip van privacyrisico's in multi-modale AI. Het levert empirisch bewijs dat neuro-geïnspireerde topologische regularisatie een effectief mechanisme is om privacy-lekken in VLM's te mitigeren zonder hun nut aan te tasten.

De auteurs concluderen dat hoewel VLM's vatbaar zijn voor MIA's, het integreren van biologische principes (specifiek topografische organisatie) in het trainingsproces de privacy-veerkracht kan versterken. Dit suggereert een levensvatbaar pad naar de implementatie van "betrouwbare" agentische AI-oplossingen waarbij privacy behouden blijft naast hoge prestaties. Het werk benadrukt de noodzaak van verder onderzoek naar het optimaliseren van de $\tau$-parameter voor specifieke privacy-utility trade-offs en het verkennen van white-box aanvalsscenario's, maar vestigt stevig de effectiviteit van $\tau$-regularisatie als defensieve strategie in black-box settings.