🤖 machine learning

FiMMIA: scaling semantic perturbation-based membership inference across modalities

Dieses Paper stellt FiMMIA vor, ein modulares Framework, das perturbationsbasierte Membership Inference Attacks auf multimodale Large Language Models erweitert, indem es Verteilungsverschiebungen adressiert und ein neuronales Netzwerk trainiert, um Datenkontamination über verschiedene feinabgestimmte Modelle hinweg zu detektieren.

Ursprüngliche Autoren: Anton Emelyanov, Sergei Kudriashov, Alena Fenogenova

Veröffentlicht 2026-06-24

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Anton Emelyanov, Sergei Kudriashov, Alena Fenogenova

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Der Detektiv für das „Gedächtnisleck“

Stellen Sie sich vor, Sie stellen einen Koch (ein KI-Modell) ein, der ein bestimmtes Gericht nach einem geheimen Familienrezept kochen soll (die Trainingsdaten). Sie wollen wissen: Hat dieser Koch tatsächlich Ihr spezifisches Familienrezept auswendig gelernt, oder hat er einfach nur gelernt, es von Grund auf mit allgemeinem Wissen zu kochen?

Wenn der Koch Ihr Rezept auswendig gelernt hat, könnte er versehentlich Ihre geheimen Familienzutaten an jeden verraten, der danach fragt. In der Welt der KI nennt man das einen Membership Inference Attack (MIA). Es ist eine Methode, um zu prüfen, ob ein bestimmtes Stück Daten (wie ein Foto, ein Satz oder ein Audioclip) Teil des „Trainingsdiäts“ der KI war.

Das Problem ist, dass wir zwar gute Wege haben, um rein textbasierte Köche (LLMs) zu überprüfen, aber wir sind schlecht darin, multimodale Köche (MLLMs) zu überprüfen – also jene KI-Modelle, die gleichzeitig Bilder sehen, Audio hören und Videos anschauen können. Diese Modelle sind chaotisch; sie werden durch die Mischung verschiedener Datentypen verwirrt, was es schwierig macht, zu unterscheiden, ob sie wirklich ein bestimmtes Bild auswendig gelernt haben oder es nur erraten haben.

Hier kommt FiMMIA (Framework for Multimodal MIA) ins Spiel. Es ist ein neues Toolkit, das als Super-Detektiv für diese multimodalen Modelle konzipiert wurde.

Das Problem: Die „falschen“ Hinweise

Vor FiMMIA versuchten Forscher, diese Gedächtnislecks mit bestehenden Tests aufzuspüren. Die Autoren dieser Arbeit entdeckten einen schwerwiegenden Fehler in diesen Tests: Die Tests selbst waren manipuliert.

Stellen Sie sich das wie eine polizeiliche Aufstellung vor. Wenn die Polizei 10 Verdächtige aufstellt, aber 9 von ihnen rote Hüte tragen und nur einer einen blauen Hut trägt, muss der Detektiv nicht einmal in die Gesichter schauen, um den Kriminellen zu erraten. Er nimmt einfach den Typen mit dem blauen Hut.

Die Arbeit fand heraus, dass viele bestehende KI-Datensätze genau so waren. Die „auswendig gelernten“ Daten (Mitglieder) und die „nicht auswendig gelernten“ Daten (Nicht-Mitglieder) sahen sich so unterschiedlich (unterschiedliche Beleuchtung, unterschiedliche Satzstrukturen, unterschiedliche Dateiformate), dass ein einfaches Computerprogramm sie unterscheiden konnte, ohne überhaupt das KI-Modell anzusehen.

Die Lösung: Die Autoren bauten einen „Baseline“-Detektor, der das KI-Modell völlig ignoriert. Er betrachtet nur die Rohdaten (die Fotos und Texte), um zu sehen, ob sie von Natur aus unterschiedlich sind. Wenn dieser einfache Detektor sie unterscheiden kann, ist der Datensatz „kontaminiert“ oder verzerrt, und man kann den komplexen KI-Tests, die darauf laufen, nicht trauen.

Die Lösung: Die „Geschmackstest“-Strategie

FiMMIA nutzt eine clevere Strategie namens Semantische Perturbation (semantische Störung). So funktioniert sie, unter Verwendung der „Geschmackstest“-Analogie:

Der Aufbau: Sie haben ein Ziel-KI-Modell. Sie wollen wissen, ob es ein bestimmtes Foto einer Katze auswendig gelernt hat (nennen wir es „Das Original“).
Die Verzerrung (Perturbation): Anstatt dem Modell das Originalfoto zu zeigen, erstellen Sie 24 leicht „verdorbenen“ Versionen davon.
- Sie machen die Augen unscharf.
- Sie tauschen den Schwanz gegen einen Hundeschwanz aus.
- Sie ändern die Hintergrundfarbe.
- Sie bringen die Textbeschreibung durcheinander.
- Analogie: Stellen Sie sich vor, Sie haben eine perfekte Tasse Kaffee. Sie machen 24 leicht „falsche“ Tassen: eine mit zu viel Zucker, eine mit kaltem Milch, eine mit einem Tropfen Salz.
Die Reaktion: Sie füttern sowohl das Original als auch die verdorbenen Versionen in die KI ein.
- Wenn die KI das Original auswendig gelernt hat: Wird sie beim Original sehr sicher und „vertraut“ sein, aber bei den verdorbenen Versionen verwirrt sein und Fehler machen (hoher „Loss“). Es ist wie ein Koch, der Ihr Rezept auswendig kennt; er kann es perfekt kochen, aber wenn Sie eine Zutat ändern, gerät er in Panik.
- Wenn die KI das Original nicht auswendig gelernt hat: Wird sie das Original und die verdorbenen Versionen fast identisch behandeln. Es ist wie ein Koch, der nur allgemein gekocht hat; ein wenig Salz oder kein Salz ändert seine Reaktion kaum.
Die Detektivarbeit: FiMMIA besitzt ein kleines, intelligentes neuronales Netzwerk (den Detektiv), das die Reaktion der KI beobachtet. Es vergleicht die „Konfidenzwerte“ des Originals mit denen der verdorbenen Versionen. Wenn die Lücke groß ist, ruft der Detektiv: „Aha! Dieses Modell hat diese Daten auswendig gelernt!“

Warum das besonders ist

Es funktioniert überall: Im Gegensatz zu früheren Werkzeugen, die nur für Text funktionierten, arbeitet FiMMIA auf Bildern, Videos und Audio. Es behandelt sie alle auf die gleiche Weise: „Verändere es leicht und schau, wie das Modell reagiert.“
Es ist modular: Betrachten Sie FiMMIA wie ein Schweizer Taschenmesser. Sie können die „Zerstörungs-Werkzeuge“ (die Perturbationsmethoden) oder den „Detektiv“ (den Klassifikator) austauschen, je nachdem, was Sie gerade testen.
Es ist sprachunabhängig: Die Autoren haben dies mit russischen Daten getestet, aber die Methode funktioniert genauso gut mit Englisch oder jeder anderen Sprache. Der „Geschmackstest“ kümmert sich nicht darum, in welcher Sprache das Rezept geschrieben ist.

Die Ergebnisse

Die Autoren haben FiMMIA an vielen verschiedenen KI-Modellen getestet (einige mit Milliarden von Parametern).

Gleiche Familie, gleiches Modell: Wenn der Detektiv auf einer bestimmten Modellfamilie trainiert und auf derselben Familie getestet wurde, war er unglaublich präzise (über 95 % Erfolgsquote).
Modell-übergreifend: Selbst wenn der Detektiv auf einem Typ von Modell trainiert und auf einem völlig anderen Typ getestet wurde, funktionierte er immer noch recht gut (etwa 70–80 % Erfolg).

Das Fazit

Diese Arbeit stellt FiMMIA vor, eine neue Methode, um KI-Modelle zu überführen, die heimlich ihre Trainingsdaten auswendig gelernt haben.

Sie beweist zuerst, dass viele aktuelle Tests defekt sind, weil die Daten verzerrt sind.
Sie bietet dann eine robuste Lösung an: Verändere die Daten leicht, beobachte, wie die KI reagiert, und nutze diese Reaktion, um zu entscheiden, ob die KI die Daten auswendig gelernt hat.

Es ist ein Werkzeug für Forscher, um sicherzustellen, dass eine KI, wenn sie sagt, sie sei „intelligent“, tatsächlich Konzepte gelernt hat und nicht nur die Testfragen auswendig gelernt hat.

Technisches Resümee: FiMMIA – Skalierung der semantischen Perturbations-basierten Membership Inference über Modalitäten hinweg

1. Problemstellung

Membership Inference Attacks (MIAs) zielen darauf ab, zu bestimmen, ob ein spezifischer Datenpunkt Teil des Trainingsdatensatzes eines Zielmodells war. Während zahlreiche Methoden für Large Language Models (LLMs) existieren, wird deren Anwendung auf Multimodale Large Language Models (MLLMs) durch zwei primäre Herausforderungen erschwert:

Verteilungsverschiebungen (Distribution Shifts): Bestehende multimodale MIA-Benchmarks leiden oft unter Verteilungsverschiebungen zwischen Member- und Non-Member-Daten. Diese Verschiebungen ermöglichen es einfachen Baseline-Methoden (die das Zielmodell nicht abfragen), hochentwickelte MIA-Angriffe zu übertreffen, was die Benchmarks unzuverlässig macht, um echte Fähigkeiten zur Membership Inference zu bewerten.
Modalitätskomplexität: MLLMs involvieren mehrere Modalitäten (Text, Bild, Video, Audio) und komplexe Trainings-Pipelines (Pre-training, Fine-tuning). Im Gegensatz zu rein textbasierten Modellen verfügen multimodale Eingaben oft nicht über spezifische Ziel-Token für nicht-textuelle Modalitäten, was die direkte Anwendung bestehender textbasierter MIA-Methoden ineffektiv macht. Zudem erschweren Instabilitäten während der multimodalen Adaption und potenzielle Verteilungsverschiebungen über Eingaben hinweg die Inferenz.

Das Paper argumentiert, dass ohne die Adressierung dieser Verteilungsverschiebungen und ohne die Anpassung von Methoden an multimodale Eingaben eine zuverlässige Erkennung von Datenkontamination in MLLMs unerreichbar bleibt.

2. Methodik: FiMMIA-Framework

Die Autoren schlagen FiMMIA (Framework for Multimodal MIA) vor, ein modulares System, das darauf ausgelegt ist, Datenlecks über Bild-, Audio- und Videomodalitäten hinweg zu detektieren. Das Framework operiert nach dem Prinzip der semantischen Perturbation und trainiert ein neuronales Netzwerk, um das Verhalten des Zielmodells auf perturbierten Eingaben zu analysern, um distributional Unterschiede zwischen Members und Non-Members zu erfassen.

2.1 Baseline und Detektion von Verteilungsverschiebungen

Bevor die MIA eingesetzt wird, etablieren die Autoren eine Baseline zur Detektion von Verteilungsverschiebungen:

Heuristische Extraktion: Für jede Eingabe-Probe (Member oder Non-Member) werden gängige heuristische Merkmale (z. B. SIFT, LBP-Histogramme) oder spektrale Merkmale direkt aus dem Datensatz extrahiert.
Blinde Klassifikation: Ein flaches Machine-Learning-Modell (z. B. logistische Regression oder Gradient Boosting) wird trainiert, um Members von Non-Members allein anhand dieser Datensatz-Merkmale zu unterscheiden, ohne jegliches Signal vom Zielmodell zu nutzen.
Validierung: Wenn die Baseline einen hohen AUC-ROC-Wert erreicht (signifikant über 50 %), deutet dies darauf hin, dass eine Verteilungsverschiebung existiert, was impliziert, dass der Datensatz für die MIA-Evaluierung fehlerhaft ist. Die Autoren stellten fest, dass die meisten existierenden Benchmarks (z. B. WikiMIA, VL-MIA) unter solchen Verschiebungen leiden, während zufällige Splits des MERA-Datensatzes dies nicht tun.

2.2 Perturbations-basierte Attack-Pipeline

Die Kern-Pipeline von FiMMIA umfasst die folgenden Schritte:

Nachbarschafts-Generierung (Neighbor Generation): Für jede ursprüngliche multimodale Probe $(t, s)$ $(t, s)$ (wobei $t$ $t$ der Text und $s$ $s$ die Modalität ist) werden $K=24$ $K = 24$ perturbierte „Nachbarn“ $(t'_k, s'_k)$ $(t_{k}^{'}, s_{k}^{'})$ generiert.
- Text-Perturbationen beinhalten: Random Masking (vorhergesagt durch Fred-T5), zufälliges Token-Löschen, Duplikation und Vertauschen. Jede Technik wird 6-mal angewendet.
- Die Modalitätsdaten ( $s$ ) bleiben in den aktuellen Experimenten unverändert ( $s = s'_k$ ), obwohl die Pipeline die Generierung multimodaler Nachbarn unterstützt.
Embedding-Generierung: Text-Embeddings für den Originaltext und seine Nachbarn werden unter Verwendung eines fixen Encoders (intfloat/e5-mistral-7b-instruct) extrahiert.
Loss-Berechnung: Das Zielmodell $M$ $M$ (und ein Referenzmodell $M_{leak}$ $M_{l e ak}$ ) berechnet die Losses für sowohl die ursprünglichen als auch die perturbierten Eingaben.
- $L = L(M, t, s)$
- $L'_k = L(M, t'_k, s'_k)$
Merkmalskonstruktion: Für jeden Nachbarn werden die Differenzen der Merkmale berechnet:
- $\Delta L = L - L'_k$ (Loss-Differenz)
- $\Delta e = e - e'_k$ (Embedding-Differenz)
- Diese Merkmale werden mittels Z-Score ( $\Delta L_{norm}$ ) normalisiert, um Stabilität über Datensätze und Modelle hinweg zu gewährleisten.
Attack-Modell-Training: Ein binärer neuronaler Klassifikator ( $f_{FiMMIA}$ ) wird trainiert, um die Wahrscheinlichkeit vorherzusagen, dass die Eingangsmerkmale von einem Modell stammen, das mit den Ziel-Daten trainiert wurde (leaked), versus einem Modell, das die Daten nicht gesehen hat (non-leaked). Die Trainingslabels leiten sich davon ab, ob der Loss von $M$ oder $M_{leak}$ stammt.

2.3 Inferenz

Um ein Zielmodell $M'$ auf einen spezifischen Datenpunkt zu testen, berechnet die Pipeline die Loss- und Embedding-Differenzen für $M'$ , normalisiert diese und mittelt die Wahrscheinlichkeitsausgaben des trainierten Detektors über alle $K$ Nachbarn, um einen finalen Leakage-Score zu erzeugen.

3. Zentrale Beiträge

Identifikation von Verteilungsverschiebungen: Die Autoren erweiterten die Arbeit von Das et al. (2024) auf multimodale Daten und zeigten auf, dass bestehende Bild- und Text-MIA-Benchmarks unter schweren Verteilungsverschiebungen leiden. Sie zeigten, dass einfache statistische Baselines oft die State-of-the-Art MIA-Methoden auf diesen Benchmarks übertreffen.
Erweiterte Perturbations-basierte MIA: Das Paper generalisiert semantisch perturbations-basierte MIA-Methoden auf MLLMs und beweist deren Effektivität und Transferierbarkeit selbst bei Modellen mit Milliarden von Parametern über Bild-, Video- und Audiomodalitäten hinweg.
FiMMIA-Framework: Die Veröffentlichung eines modularen Open-Source-Frameworks, das diverse Datensätze, Modalitäten und Methoden zur Nachbarschafts-Generierung unterstützt. Es beinhaltet vortrainierte Modelle und Pipelines für Baseline-Attack-Scoring und Inferenz.
Robuste Evaluierung: Die Autoren nutzten den MERA-Benchmark (russische Sprache) mit zufälligen Splits, um die Unabhängigkeit zwischen Members und Non-Members sicherzustellen, was eine glaubwürdigere Evaluierung der MIA-Performance ermöglicht.

4. Experimentelle Ergebnisse

Die Autoren evaluierten FiMMIA auf 9 öffentlich verfügbaren MLLMs (mit einer Spanne von 3B bis 12B Parametern) über Bild-, Video- und Audiomodalitäten hinweg.

Performance: FiMMIA erreichte hohe AUC-ROC-Scores, die sich generell im Bereich von 80% bis 90% über die Modalitäten hinweg bewegten.
- Bild: Durchschnittlicher AUC-ROC von 88,66 %.
- Video: Durchschnittlicher AUC-ROC von 88,39 %.
- Audio: Durchschnittlicher AUC-ROC von 81,25 %.
Transferierbarkeit: Das Attack-Modell zeigte eine signifikante Transferierbarkeit innerhalb von Modellfamilien (z. B. Qwen2.5 zu Qwen2.5-Varianten), wobei die AUC-ROC-Scores oft über 90 % lagen. Die Cross-Family-Transferierbarkeit war niedriger, blieb jedoch über 65 %, was auf die Robustheit der Methode hindeutet.
Kreuzsprachliche Transferleistung: Wenn FiMMIA auf russischen Daten (MERA) trainiert und auf englischen Datensätzen (ScienceQA, MMStar, COCO) getestet wurde, stimmte die Leakage-Detektion von FiMMIA eng mit der MM-DETECT-Methode (Song et al., 2025) überein, was auf sprachagnostische Eigenschaften hindeutet.
Baseline-Vergleich: Im Gegensatz zu bestehenden Benchmarks, in denen Baselines die Attacks übertrafen, konnte der perturbations-basierte Ansatz von FiMMIA Members erfolgreich von Non-Members unterscheiden, wenn er auf korrekt gesplitteten Datensätzen evaluiert wurde.

5. Bedeutung und Behauptungen

Das Paper positioniert FiMMIA nicht als Werkzeug zur bösartigen Datenextraktion, sondern als diagnostischen und privatsphärenschützenden Mechanismus. Die Bedeutung liegt in:

Gewährleistung der Benchmark-Integrität: Durch die Identifizierung von Fällen, in denen Benchmark-Samples unbeabsichtigt memorisiert wurden (Datenkontamination), hilft das Framework dabei, die Sättigung von Benchmarks zu verhindern und einen fairen Modellvergleich zu gewährleisten.
Auditierung von Trainings-Pipelines: Es bietet einen praktischen Mechanismus für Forscher, um zu verifizieren, ob Leistungssteigerungen auf echte Fortschritte oder lediglich auf Overfitting auf Evaluationssets zurückzuführen sind.
Adressierung von Multimodalitäts-Lücken: Es füllt eine kritische Lücke in der Literatur, indem es das erste umfassende Framework bereitstellt, das speziell auf die Komplexität multimodaler Modelle zugeschnitten ist und über die Grenzen rein textbasierter Ansätze hinausgeht.

Die Autoren räumen Einschränkungen ein, einschließlich der Abhängigkeit von Gray-Box-Zugriff (Loss-Berechnung), des Fokus auf Low-Rank-Adapter-Fine-tuning-Szenarien und der Rechenkosten für die Generierung von Nachbarn. Sie betonen jedoch, dass FiMMIA einen notwendigen Schritt hin zu resilienten Evaluationsstandards für MLLMs darstellt.