Technische Samenvatting: FiMMIA – Schalen van semantische perturbatie-gebaseerde Membership Inference over Modaliteiten heen

1. Probleemstelling

Membership Inference Attacks (MIA's) beogen te bepalen of een specifieke datapunt is opgenomen in de trainingsset van een doelmodel. Hoewel er talrijke methoden bestaan voor Large Language Models (LLM's), wordt hun toepassing op Multimodale Large Language Models (MLLM's) gehinderd door twee primaire uitdagingen:

1. Distributieverschuivingen: Bestaande multimodale MIA-benchmarks lijden vaak aan distributieverschuivingen tussen member- en non-member-data. Deze verschuivingen stellen eenvoudige baseline-methoden (die het doelmodel niet bevragen) in staat om geavanceerde MIA-aanvallen te overtreffen, wat de benchmarks onbetrouwbaar maakt voor het evalueren van werkelijke membership inference-capaciteiten.
2. Modaliteitscomplexiteit: MLLM's omvatten meerdere modaliteiten (tekst, beeld, video, audio) en complexe trainingspipelines (pre-training, fine-tuning). In tegenstelling tot tekst-only modellen missen multimodale inputs vaak specifieke doeltokens voor niet-tekstuele modaliteiten, waardoor directe toepassing van bestaande tekstgebaseerde MIA-methoden ineffectief wordt. Daarnaast compliceren instabiliteiten geïntroduceerd tijdens multimodale adaptatie en potentiële distributieverschuivingen over inputs de inferentie.

Het artikel stelt dat zonder het aanpakken van deze distributieverschuivingen en het aanpassen van methoden om multimodale inputs te verwerken, betrouwbare detectie van datacontaminatie in MLLM's onbereikbaar blijft.

2. Methodologie: FiMMIA-framework

De auteurs stellen FiMMIA (Framework for Multimodal MIA) voor, een modulair systeem ontworpen om datalekken te detecteren over beeld-, audio- en videomodaliteiten. Het framework werkt volgens het principe van semantische perturbatie, waarbij een neuraal netwerk wordt getraind om het gedrag van het doelmodel op geperturbeerde inputs te analyseren om de distributionele verschillen tussen members en non-members te vangen.

2.1 Baseline en Detectie van Distributieverschuivingen

Voordat de MIA wordt ingezet, stellen de auteurs een baseline vast om distributieverschuivingen te detecteren:

• Heuristische Extractie: Voor elk input-sample (member of non-member) worden veelvoorkomende heuristische kenmerken (bijv. SIFT, LBP-histogrammen) of spectrale kenmerken rechtstreeks uit de dataset geëxtraheerd.
• Blinde Classificatie: Een oppervlakkig machine learning-model (bijv. logistische regressie of gradient boosting) wordt getraind om members van non-members te onderscheiden met behulp van enkel deze dataset-kenmerken, zonder enig signaal van het doelmodel.
• Validatie: Als de baseline een hoge AUC-ROC bereikt (significant boven de 50%), geeft dit aan dat er een distributieverschuiving bestaat, wat suggereert dat de dataset gebrekkig is voor MIA-evaluatie. De auteurs stelden vast dat de meeste bestaande benchmarks (bijv. WikiMIA, VL-MIA) dergelijke verschuivingen vertonen, terwijl willekeurige splitsingen van de MERA-dataset dat niet doen.

2.2 Perturbatie-gebaseerde Attack Pipeline

De kern van de FiMMIA-pipeline omvat de volgende stappen:

1. Generatie van Buren (Neighbors): Voor elk origineel multimodaal sample $(t, s)$ (waarbij $t$ tekst is en $s$ de modaliteit) worden $K=24$ geperturbeerde "buren" $(t'_k, s'_k)$ gegenereerd.
   • Tekst-perturbaties omvatten: random masking (voorspeld door Fred-T5), random token verwijdering, duplicatie en swapping. Elke techniek wordt 6 keer toegepast.
   • De modaliteitsdata ($s$) blijft ongewijzigd in de huidige experimenten ($s = s'_k$), hoewel de pipeline ondersteuning biedt voor multimodale buren-generatie.
2. Embedding Generatie: Tekst-embeddings voor de originele tekst en zijn buren worden geëxtraheerd met behulp van een vaste encoder (intfloat/e5-mistral-7b-instruct).
3. Loss Berekening: Het doelmodel $M$ (en een referentiemodel $M_{leak}$) berekent de losses voor zowel de originele als de geperturbeerde inputs.
   • $L = L(M, t, s)$
   • $L'_k = L(M, t'_k, s'_k)$
4. Kenmerkconstructie: Voor elke buur $k$ worden de verschilkenmerken berekend:
   • $\Delta L = L - L'_k$ (Loss verschil)
   • $\Delta e = e - e'_k$ (Embedding verschil)
   • Deze kenmerken worden genormaliseerd met z-score ($\Delta L_{norm}$) om stabiliteit over datasets en modellen heen te garanderen.
5. Attack Model Training: Een binaire neurale netwerkclassifier ($f_{FiMMIA}$) wordt getraind om de waarschijnlijkheid te voorspellen dat de input-kenmerken afkomstig zijn van een model dat getraind is op de doeldata (gelekt) versus een model dat de data niet heeft gezien (niet-gelekt). De trainingslabels worden afgeleid van of de loss afkomstig is van $M$ of $M_{leak}$.
6. Inferentie
   Om een doelmodel $M'$ te testen op een specifiek datapunt, berekent de pipeline de loss- en embedding-verschillen voor $M'$, normaliseert deze, en middelt de waarschijnlijkheidsoutputs van de getrainde detector over alle $K$ buren om een definitieve leakage score te produceren.

3. Belangrijkste Bijdragen

1. Identificatie van Distributieverschuivingen: De auteurs breidden het werk van Das et al. (2024) uit naar multimodale data, en toonden aan dat bestaande beeld- en tekst MIA-benchmarks lijden aan ernstige distributieverschuivingen. Ze toonden aan dat blinde statistische baselines vaak de state-of-the-art MIA-methoden overtreffen op deze benchmarks.
2. Uitgebreide Perturbatie-gebaseerde MIA: Het artikel generaliseert semantische perturbatie-gebaseerde MIA-methoden naar MLLM's, en bewijst hun effectiviteit en overdraagbaarheid, zelfs bij modellen met miljarden parameters over beeld-, video- en audiomodaliteiten heen.
3. FiMMIA-framework: De release van een modulair, open-source framework dat diverse datasets, modaliteiten en buren-generatiemethoden ondersteunt. Het bevat pre-trained modellen en pipelines voor baseline attack scoring en inferentie.
4. Robuuste Evaluatie: De auteurs maakten gebruik van de MERA-benchmark (Russische taal) met willekeurige splitsingen om onafhankelijkheid tussen members en non-members te waarborgen, wat een geloofwaardiger evaluatie van MIA-prestaties biedt.

4. Experimentele Resultaten

De auteurs evalueerden FiMMIA op 9 publiekelijk beschikbare MLLM's (variërend van 3B tot 12B parameters) over beeld-, video- en audiomodaliteiten.

• Prestaties: FiMMIA behaalde hoge AUC-ROC scores, die over de modaliteiten heen over het algemeen variëren van 80% tot 90%.
  • Beeld: Gemiddelde AUC-ROC van 88,66%.
  • Video: Gemiddelde AUC-ROC van 88,39%.
  • Audio: Gemiddelde AUC-ROC van 81,25%.
• Overdraagbaarheid (Transferability): Het attack-model vertoonde significante overdraagbaarheid binnen modelfamilies (bijv. Qwen2.5 naar Qwen2.5 varianten), met AUC-ROC scores die vaak de 90% overschreden. Cross-familie overdraagbaarheid was lager, maar bleef boven de 65%, wat duidt op de robuustheid van de methode.
• Cross-linguale Overdracht: Wanneer getraind op Russische data (MERA) en getest op Engelse datasets (ScienceQA, MMStar, COCO), kwam de leakage detectie van FiMMIA nauw overeen met de MM-DETECT methode (Song et al., 2025), wat wijst op taal-agnostische eigenschappen.
• Baseline Vergelijking: In tegen tegenstelling tot bestaande benchmarks waar baselines de aanvallen overtroffen, slaagde de perturbatie-gebaseerde aanpak van FiMMIA erin om members van non-members te onderscheiden wanneer deze werd geëvalueerd op correct gesplitste datasets.

5. Betekenis en Claims

Het artikel positioneert FiMMIA niet als een instrument voor kwaadaardige data-extractie, maar als een diagnostisch en privacy-beschermend mechanisme. De betekenis ligt in:

• Waarborgen van Benchmark Integriteit: Door gevallen te identificeren waarin benchmark-samples onbedoeld zijn gememoriseerd (datacontaminatie), helpt het framework bij het voorkomen van benchmark-verzadiging en zorgt het voor eerlijke modelvergelijkingen.
• Auditeren van Trainingspipelines: Het biedt een praktisch mechanisme voor onderzoekers om te verifiëren of prestatieverbeteringen voortkomen uit echte vooruitgang dan wel uit overfitting op evaluatiesets.
• Adresseren van Multimodale Gaten: Het vult een kritiek gat in de literatuur door het eerste uitgebreide framework te bieden voor membership inference, specifiek afgestemd op de complexiteit van multimodale modellen, waarmee de beperkingen van tekst-only benaderingen worden overstegen.

De auteurs erkennen beperkingen, waaronder de afhankelijkheid van gray-box toegang (loss berekening), de focus op low-rank adapter fine-tuning scenario's, en de computationele kosten van het genereren van buren. Zij stellen echter dat FiMMIA een noodzakelijke stap is richting veerkrachtige evaluatiestandaarden voor MLLM's.