AutoMIA: Improved Baselines for Membership Inference Attack via Agentic Self-Exploration

Titel

AutoMIA: Verbeterde Baselines voor Membership Inference Attacks via Agente Zelf-Exploratie

1. Het Probleem

Membership Inference Attacks (MIAs) zijn fundamentele audittools om te bepalen of een specifiek data-punt deel uitmaakte van het trainingsset van een machine learning-model. Succesvolle MIAs kunnen gevoelige informatie onthullen en zijn cruciaal voor het evalueren van privacylekken.

Huidige MIA-methoden hebben echter ernstige beperkingen:

• Statische Heuristieken: Bestaande methoden vertrouwen op handgemaakte, statische strategieën (zoals vertrouwen, entropie of Min-K% waarschijnlijkheid) die door experts zijn ontworpen.
• Gebrek aan Aanpasbaarheid: Deze heuristieken zijn vaak sterk gekoppeld aan specifieke taken of modelarchitecturen. Wanneer ze worden overgedragen naar verschillende grote modellen (zoals Vision-Language Models), presteren ze vaak suboptimaal.
• Moeizame Ontwikkeling: Het ontwerpen van nieuwe aanvallen vereist intensieve handmatige feature engineering en is niet schaalbaar voor de snelle evolutie van foundation models.

De kernvraag die dit paper beantwoordt is: Kunnen we het ontdekken van MIA-strategieën herformuleren als een geautomatiseerd proces dat niet afhankelijk is van menselijke interventie?

2. Methodologie: Het AutoMIA Framework

AutoMIA is een agent-gestuurd framework dat membership inference omzet in een geautomatiseerd proces van zelf-exploratie en strategie-evolutie. Het systeem werkt in een gesloten lus (closed-loop) en bestaat uit de volgende componenten:

• Agente Architectuur:
  • AutoMIA Agent: Genereert op hoog niveau nieuwe aanvalsstrategieën (semantische beschrijvingen) en vertaalt deze direct naar uitvoerbare code op logits-niveau (de ruwe output van het model).
  • Guidance Agent: Fungeert als een reflectieve evaluator. Deze agent analyseert de resultaten van eerdere rondes, vergelijkt sterke en zwakke strategieën, en geeft gerichte feedback om de volgende generatie strategieën te sturen.
• Zelf-Exploratie en Strategiebibliotheek:
  • Het systeem start met een lege bibliotheek. In elke iteratie genereert de agent $K$ kandidaat-strategieën.
  • Deze strategieën worden uitgevoerd op de target VLM (Vision-Language Model) om scores te berekenen.
  • Een sliding window mechanisme selecteert een compacte subset van de beste en slechtste strategieën uit de geschiedenis om de agent te voorzien van context, waardoor inefficiënte exploratie wordt onderdrukt.
• Evaluatie en Feedback:
  • Strategieën worden beoordeeld op basis van een samengestelde score ($Q$) die AUC (Area Under the Curve), Accuracy en TPR@5%FPR (True Positive Rate bij een valse positieve rate van 5%) combineert.
  • De Guidance Agent gebruikt deze scores om de strategiebibliotheek te updaten en nieuwe richtingen voor exploratie voor te stellen.
• Bedreigingsmodel:
  • Het werk focust op een grey-box setting: de aanvaller heeft toegang tot de input (afbeelding + instructie) en de output (logits, tekst), maar niet tot de modelparameters of het trainingsproces. Dit is realistisch voor interne audits.

3. Belangrijkste Bijdragen

1. Eerste Agente Framework voor MIA: AutoMIA is het eerste systeem dat membership inference strategieën automatisch ontdekt voor zowel grote taalkundige als multimodale modellen zonder handmatige feature engineering.
2. Decoupling van Redenering en Executie: Het framework scheidt abstracte strategische redenering van de lage-niveau uitvoering. De agent denkt na over wat er gemeten moet worden en schrijft zelf de code om dit te berekenen.
3. Robuustheid en Generalisatie: In tegenstelling tot statische baselines, leert AutoMIA adaptief strategieën die specifiek zijn afgestemd op de kenmerken van het doelmodel en de dataset.
4. Interpreteerbare Ontdekkingen: Omdat de agent code genereert, zijn de gevonden aanvallen (bijv. "Top-1 Switch Rate based Membership Inference") wiskundig expliciet en interpreteerbaar, in plaats van "black-box" neurale netwerken.

4. Resultaten

De auteurs hebben AutoMIA getest op drie benchmarks (VL-MIA/Text, VL-MIA/DALL·E, VL-MIA/Flickr) met drie verschillende Vision-Language Models (LLaVA, MiniGPT-4, LLaMA-Adapter).

• Superieure Prestaties: AutoMIA presteert consequent beter dan de state-of-the-art handgemaakte baselines (zoals Perplexity, Min-K% Prob, en Rényi-divergentie).
  • In veel gevallen behaalde AutoMIA een AUC van >0.80, terwijl de beste handgemaakte baselines vaak rond de 0.60-0.70 bleven.
  • Het systeem was bijzonder effectief in scenarios met lange teksten en complexe multimodale inputs.
• Adaptiviteit: Waar handgemaakte metrics sterk varieerden afhankelijk van het model of de modality (afbeelding vs. tekst), behield AutoMIA stabiele en hoge prestaties over alle configuraties heen.
• Ablatie Studies:
  • Agent Backbone: Het framework werkte effectief met verschillende LLM-backbones (Gemini, Grok, Qwen, DeepSeek), wat aantoont dat het succes ligt in het iteratieve optimalisatieproces en niet in de specifieke kennis van de backbone.
  • Rollen van de Guidance Agent: Zonder de Guidance Agent daalden de prestaties aanzienlijk, wat aantoont dat de feedbacklus essentieel is voor efficiënte exploratie in een complexe zoekruimte.
  • Generalisatie: De ontdekte strategieën generaliseerden goed naar onzichtbare testsets en zelfs naar een "near-IID" setting (waarbij trainings- en niet-trainingsdata zeer vergelijkbaar zijn), wat bewijst dat het echte memorisatiepatronen detecteert en geen dataset-artefacten.

5. Betekenis en Conclusie

AutoMIA markeert een paradigmaverschuiving in privacy-auditing voor AI:

• Van Handmatig naar Geautomatiseerd: Het elimineert de noodzaak voor experts om handmatig nieuwe aanvallen te ontwerpen, wat de schaalbaarheid van privacy-evaluaties drastisch verbetert.
• Schaalbaarheid: Het biedt een systematische manier om de zoekruimte van aanvallen te doorlopen, wat essentieel is gezien de toenemende diversiteit en complexiteit van foundation models.
• Veiligheidswaarschuwing: De resultaten tonen aan dat er nog aanzienlijke ruimte is voor privacy-lekken in huidige modellen die door bestaande, statische methoden worden gemist. Dit onderstreept de urgentie voor robuustere privacybescherming en dynamische audittools.

Kortom, AutoMIA bewijst dat agente zelf-exploratie een krachtig middel is om de grenzen van privacy in machine learning systemen te testen en te verbeteren, door automatisch de meest effectieve manieren te vinden om te detecteren of data in een model is "geleerd".