Membership Inference Attacks for Unseen Classes

Technische Samenvatting: Membership Inference Attacks voor Ongeziene Klassen

Probleemdefinitie: De setting met ongeziene klassen
Membership Inference Attacks (MIA's) zijn cruciale instrumenten voor data-auditing, waarmee praktici kunnen bepalen of specifieke datapunten zijn gebruikt om een black-box model te trainen. Standaard state-of-the-art (SoTA) MIA's, met name die gebaseerd op schaduwmodellen (shadow models), rusten op een fundamentele aanname: de tegenstander beschikt over een aanvullende dataset die afkomstig is uit dezelfde distributie als de trainingsdata van het doelmodel, inclusief alle doelklassen.

Dit artikel identificeert een kritieke foutmodus in real-world auditing-scenario's waarbij deze aanname wordt geschonden. In domeinen zoals kinderbescherming (bijv. detectie van kindermisbruikmateriaal of CSAM), medische dossier-auditing of propriëtaire data-analyse, worden auditors vaak geconfronteerd met juridische, ethische of logistieke beperkingen die hen verhinderen toegang te krijgen tot representatieve monsters van de doelklasse. De auteurs formaliseren dit als de "unseen class" setting (setting met ongeziene klassen): een model voor datatoegang waarbij de auditor lidmaatschap-inferentie moet uitvoeren op een doelklasse waarvoor hij nul trainingsmonsters bezit om het aanvalmodel te trainen.

Methodologie en Analyse
Het artikel evalueert drie primaire klassen van MIA-methoden onder de restrictie van ongeziene klassen:

1. Marginale Baseline (LOSS): Een eenvoudige globale drempelwaarde-aanval gebaseerd op loss- of logitscores.
2. Shadow Model-gebaseerde Aanvallen (bijv. LiRA, RMIA): De huidige SoTA, die meerdere "schaduwmodellen" traint die de doelarchitectuur nabootsen om de distributie van scores voor leden versus niet-leden te leren.
3. Kwantielregressie-aanvallen: Een benadering die direct een functie leert die inputvoorbeelden koppelt aan score-drempelwaarden (specifiek het voorspellen van de $\alpha$-kwantiel van de score-distributie van niet-leden) met behulp van pinball loss.

De auteurs tonen aan dat schaduwmodel-aanvallen catastrofaal falen in de setting met ongeziene klassen. Omdat schaduwmodellen worden getraind op een subset van klassen die de doelklasse uitsluiten, kennen zij een kans van nul toe aan de ongeziene klasse-labels. Bijgevolg zijn de betrouwbaarheidsscores voor de ware label op ongeziene monsters nul, wat ervoor zorgt dat de aanval er niet in slaagt om leden effectief van niet-leden te onderscheiden, waarbij het vaak niet beter presteert dan willekeurig gokken of de marginale baseline.

In contrast hiermee stellen de auteurs dat kwantielregressie-aanvallen een robuust alternatief bieden. In tegen tegenstelling tot schaduwmodellen, die vertrouwen op het vergelijken van doelscores met referentiedistributies van specifieke klassen, leert kwantielregressie kenmerken die correleren met de score-distributie over de gehele achtergronddistributie. Dit stelt de aanval in staat om te generaliseren naar ongeziene klassen door lidmaatschaps-signalen te identificeren die invariant zijn voor de specifieke klasse-label.

Belangrijkste Bijdragen en Resultaten
Het artikel levert zowel empirisch als theoretisch bewijs voor de effectiviteit van kwantielregressie in deze setting:

• Empirische Prestaties:

  • Beeldgegevens (CIFAR-100/CINIC-10): In het 1% False Positive Rate (FPR) regime bereiken kwantielregressie-aanvallen een tot wel 11× hogere True Positive Rate (TPR) vergeleken met schaduwmodel-gebaseerde benaderingen (LiRA/RMIA) op ongeziene klassen. Op ImageNet behoudt kwantielregressie zelfs wanneer 990 van de 1000 klassen ontbreken in de trainingsset, een TPR van ~3,8% bij 1% FPR, wat de marginale baseline aanzienlijk overtreft.
  • Tabulaire en Tekstgegevens: Op de Texas tabular dataset en 20 Newsgroups tekstclassificatie bereikt kwantielregressie respectievelijk tot wel 2× en 6× hogere TPR vergeleken met schaduwmodellen onder class dropout.
  • Data-schaarste: De methode blijft effectief, zelfs wanneer de auditor slechts toegang heeft tot een klein deel van de monsters per klasse (bijv. 10 monsters per klasse op ImageNet).

• Theoretisch Model:
  De auteurs introduceren een "transferabiliteit"-stelling voor kwantielregressoren. Ze bewijzen dat als de kenmerkrepresentatie van de trainingsdistributie (geziene klassen) en de testdistributie (volledige distributie inclusief ongeziene klassen) een lineaire dichtheidsratio-relatie delen, de false-positive rate garantie van de kwantielregressor getraind op geziene klassen overdraagbaar is naar de volledige distributie. Empirische schattingen met Gaussian mixture models op embeddings suggereren dat deze conditie goed standhoudt voor grote, diverse datasets zoals ImageNet, wat de robuustheid van de methode verklaart.

Betekenis en Impact
Het artikel betoogt dat de "unseen class" setting een significante, voorheen onbehandelde kloof in de MIA-literatuur vertegenwoordigt. Het benadrukt dat de gouden standaard van de schaduwmodel-benadering niet universeel toepasbaar is en faalt precies in de scenario's met hoge inzet en beperkte middelen waar auditing het meest cruciaal is (bijv. CSAM-detectie).

Het werk dient als een waarschuwing voor praktijkgebruikers die proberen bestaande MIA-tools direct toe te passen op real-world veiligheidsaudits zonder de beperkingen van de toegang tot data te verifiëren. Door kwantielregressie te identificeren als een computationeel efficiënt en generaliseerbaar alternatief, biedt het artikel een levensvatbaar pad voor het auditeren van modellen die getraind zijn op gevoelige of beperkte data, waardoor wetshandhaving en modelproviders de herkomst van trainingsdata kunnen verifiëren, zelfs wanneer directe toegang tot schadelijke inhoud juridisch verboden is.