Have I Seen You? Embedding Behavior Signals Synthetic Face Dataset Membership

Technische Samenvatting: "Have I Seen You? Embedding Behavior Signals Synthetic Face Dataset Membership"

Probleemstelling
Synthetische gezichtsdatasets worden steeds vaker toegepast in biometrische herkenning om de privacyrisico's en beperkingen in de toegang tot data die gepaard gaan met echte identiteitsgegevens te mitigeren. Er blijft echter een kritieke privacykloof bestaan: de generatieve modellen (GANs of diffusie-gebaseerd) die deze synthetische datasets produceren, zijn getraind op echte gezichtsbellen. Bijgevolg kan de gegenereerde distributie sporen van de brongegevens behouden. Terwijl eerder onderzoek zich richtte op lekken op identiteitsniveau—het terughalen van echte monsters die ongewoon veel lijken op synthetische exemplaren—gaat deze aanpak uit van de veronderstelling dat de aanvaller al weet welke synthetische dataset de herkenner heeft getraind. Dit artikel behandelt de voorafgaande en meer fundamentele vraag: kan een aanvaller bepalen welke synthetische dataset is gebruikt om een gezichtsherkenner te trainen, en kan hij verder de echte dataset afleiden die werd gebruikt om de generator zelf te trainen?

Methodologie
De auteurs stellen een Membership Inference Attack (MIA) op datasetniveau voor, ontworpen voor een black-box scenario waarbij een tegenstander toegang heeft tot de embeddings van een model via queries. De aanval opereert op twee niveaus: het identificeren van de synthetische trainingsdataset en, vervolgens, de echte brondataset van de generator.

De kern van de methodologie (Algoritme 1) berust op de aanname dat een model dat op een specifieke dataset is getraind, de beste scheiding zal opleveren van gelijkenisscores voor niet-gekoppelde afbeeldingen (distincte identiteiten) van die specifieke dataset vergeleken met andere datasets. De aanval verloopt in drie stappen:

1. Centroid Berekening: Voor elke kandidaat-dataset berekent het model de embeddings voor een set willekeurige gallery-identiteiten en probe-identiteiten. Het berekent het L2-genormaliseerde centroid van de gallery-embeddings.
2. Gelijkenis Score (Similarity Scoring): De gemiddelde cosinusgelijkenis tussen de probe-embeddings en het gallery-centroid wordt berekend voor elke kandidaat-dataset.
3. Robuuste Z-score Ranking: Om de trainingsdataset te identificeren, berekent het algoritme een robuuste z-score voor elke doel-dataset. Deze score wordt afgeleid door het verschil te nemen tussen de mediane gelijkenisscore van de doel-dataset en de mediaan van de scores van alle andere datasets, genormaliseerd door de Median Absolute Deviation (MAD) van de overige datasets.

De hypothese is dat de werkelijke trainingsdataset (synthetisch of echt) de laagste robuuste z-score zal vertonen, wat duidt op de sterkste statistische uitlijning met de geleerde beslissingsgrenzen van het model.

Experimentele Opzet
De evaluatie omvatte:

• 11 Gezichtsherkenningsmodellen: Individueel getraind op 11 verschillende synthetische datasets met een iResNet50 backbone.
• 11 Synthetische Datasets: Waaronder SynFace, IDiff-Face, SFace2, DCFace, en anderen.
• 7 Echte Datasets: Waaronder FFHQ, CASIA-WebFace, LFW, CPLFW, CALFW, CFP-FP, en AgeDB-30.
• Attack Scope: De aanval werd getest om de synthetische trainingsdataset te herstellen en, gegeven een op synthetische data getraind model, om de brondataset van de generator te achterhalen.

Belangrijkste Resultaten

• Herstel van Synthetische Dataset: De aanval identificeerde de specifieke synthetische dataset die werd gebruikt om de gezichtsherkenner te trainen in 100% van de gevallen. De synthetische trainingsdatasets behaalden consistent de laagste robuuste z-score waarden (vaak onder de -2), waardoor ze vrijwel zeker geïdentificeerd kunnen worden door een observant.
• Inferentie van de Echte Brondataset: De aanval breidde zich upstream uit om de echte dataset te identificeren die werd gebruikt om de generator te trainen. Het identificeerde de brondataset succesvol in 54,5% van de gevallen (6 van de 11).
  • Falen werd gedeeltelijk toegeschreven aan scenario's met multi-dataset trainingssets (bijv. Digi2Real getraind op FFHQ, CelebA, en WebFace42M), waarbij overlap in samples ervoor zorgde dat de brondataset een lagere score kreeg dan de geëvalueerde trainingsset.
  • Ondanks deze mislukkingen geven de resultaten aan dat brondatasets over het algemeen lagere scores bereiken dan andere echte datasets, wat de aanwezigheid van een secundair lek-signaal bevestigt.

Betekenis en Claims
Het artikel beweert dat synthetische data geen volledige privacyoplossing is, omdat het dataset-niveau sporen behoudt van de echte trainingsdata die door de generator werd gebruikt. De betekenis van dit werk ligt in:

1. Blootleggen van een Nieuwe Aanvalsvector: Het demonstreren dat een tegenstander de herkomst van een ingezet model kan afleiden zonder voorafgaande kennis van de gebruikte synthetische dataset, waardoor de kloof wordt overbrugd van een ingezette herkenner terug naar de echte identiteiten die de generator hebben beïnvloed.
2. End-to-End Pipeline Risico: Wanneer gecombineerd met eerder werk over identificatie op identiteitsniveau, faciliteert deze inferentie op datasetniveau een end-to-end pipeline van een ingezette herkenner naar echte identiteiten, wat de privacygaranties van synthetische data ondermijnt.
3. Oproep voor Sterkere Mitigatie: De auteurs concluderen dat privacy-bewuste inzet van synthetische biometrische data sterkere lek-mitigatiestrategieën vereist, aangezien huidige synthetische datasets onvoldoende zijn om de herkomst van de onderliggende echte data volledig te maskeren.

De auteurs hanteren een bescheiden toon met betrekking tot de inferentie van de echte dataset (54,5% succespercentage), waarbij zij de beperkingen in multi-source trainingsscenario's erkennen, maar benadrukken dat het risico niet verwaarloosbaar is en verdere onderzoek naar beschermende maatregelen rechtvaardigt.