Technische Samenvatting: Negative Unlabeled Dataset Usage Inference (NU-DUI)

Probleemstelling

Dataset Usage Inference (DUI) beoogt het schatten van het deel van een specifieke dataset dat is gebruikt voor het trainen van een machine learning-model. Bestaande methoden zoals Dataset Inference (DI) kunnen weliswaar bepalen of een dataset is gebruikt (binaire classificatie), maar zij falen in het kwantificeren van hoeveel ervan is gebruikt. Deze kwantificering is cruciand voor juridische kaders (bijv. de analyse van 'fair use' onder de Amerikaanse Copyright Act) en reële geschillen over data-eigendom.

Huidige state-of-the-art benaderingen, zoals DUCI (Tong et al., [46]), kampen met twee belangrijke praktische barrières:

1. Vereiste van Shadow Models: Ze vereisen het trainen van dure "shadow models" die de architectuur en het gedrag van het doelmodel nabootsen. Voor grootschalige generatieve modellen (bijv. 1,5 miljard parameters) kan het trainen van één enkel shadow model meer dan 1.500 A100-uren kosten, wat computationeel prohibitief is.
2. Held-Out Data Aanname: Ze gaan uit van toegang tot een vertrouwde, in-distributie "held-out" set waarvan is bevestigd dat deze niet in het doelmodel aanwezig is. In echte audit-scenario's is dergelijke vertrouwde, niet-lidmaatschapsdata zelden beschikbaar.

Bovendien degraderen standaard Membership Inference Attacks (MIA's) vaak naar bijna willekeurige prestaties op grote moderne modellen door zwakke signalen per sample en gevoeligheid voor distributieverschuivingen tussen lid- en niet-liddata.

Methodologie: NU-DUI

De auteurs stellen Negative Unlabeled Dataset Usage Inference (NU-DUI) voor, een framework dat de noodzaak voor shadow models en vertrouwde held-out data elimineert. De methode herformuleert DUI als een Mixture Proportion Estimation (MPE) probleem.

De pijplijn bestaat uit drie hoofdfasen:

1. Constructie van Synthetische Non-Members en Autoencoded Suspect Sets

Om het gebrek aan een vertrouwde held-out set aan te pakken, construeert NU-DUI referentiedata direct vanuit de suspect set ($X_{real}$):

• Synthetische Non-Members ($X_{img2img}^{nonmember}$): De suspect images worden geparafraseerd met behulp van een image-to-image generator ($G$) uit een andere generatieve familie dan het geauditeerde doelmodel (bijv. het gebruik van Stable Diffusion om afbeeldingen te parafraseren voor een autoregressief doelmodel, of vice versa).
  • Rationale: Het gebruik van een andere familie voorkomt dat de synthetische samples dicht bij een "fixed point" van de loss-functie van het doelmodel liggen. Als dezelfde familie zou worden gebruikt, zouden geparafraseerde afbeeldingen kunstmatig een lage loss kunnen vertonen (waardoor ze op leden lijken) vanwege de specifieke reverse process dynamics van het doelmodel, wat de inferentie zou verwarren.
• Autoencoded Suspect Set ($X_{AE}$): De originele suspect set wordt gecodeerd en gedecodeerd met behulp van dezelfde autoencoder die voor het parafraseren werd gebruikt.
  • Rationale: Generatieve modellen introduceren specifieke hoogfrequente artefacten. Door de suspect set te autoencoderen, injecteert de methode deze zelfde artefacten in de "ongelabelde" zijde van de vergelijking. Dit zorgt ervoor dat de distributieverschuiving tussen de ongelabelde mix ($U$) en de synthetische negatieven ($N$) wordt gedomineerd door de lidmaatschapsstatus in plaats van generator-specifieke artefacten.

2. MIA Feature Extractie

Het framework bevraagt het doelmodel op zowel de autoencoded suspect set ($U$) als de synthetische non-member set ($N$). Het extraheert een vector van membership-inference features ($\Phi_{MIA}$) die op maat is gemaakt voor de doelmodelfamilie:

• Voor Image Autoregressive (IAR) modellen gebruikt het feature suites gebaseerd op token-level losses en confidence scores.
• Voor Diffusion modellen gebruikt het noise-prediction errors en conditional likelihood discrepancies.
• Meerdere signalen worden gecombineerd in een enkele feature vector om de scheiding tussen member- en non-member distributies te verbeteren, aangezien enkelvoudige signalen vaak zwak of ruizig zijn.

3. Mixture Proportion Estimation (MPE)

Het probleem wordt geformuleerd als het schatten van de proportie $\pi$ van leden in de ongelabelde set $U$, gegeven dat $U$ een mix is van leden (uit de suspect set) en non-members (synthetisch).

• De synthetische set $N$ dient als de gelabelde non-member referentie.
• De autoencoded set $U$ dient als de ongelabelde mix.
• Standaard MPE-estimators (bijv. TIcE, AlphaMax, PUL varianten) worden toegepast op de feature vectoren om de geschatte member-ratio $\hat{p}$ te herstellen.

Belangrijkste Bijdragen

1. Herformulering als MPE: De auteurs hebben Dataset Usage Inference geherformuleerd als een Mixture Proportion Estimation probleem, waardoor de afhankelijkheid van dure shadow models wordt weggenomen.
2. Synthetische Referentiegeneratie: Ze stellen een methode voor om realistische synthetische non-members te genereren via cross-family image-to-image parafrasering en de suspect set te aligneren via autoencoding. Dit elimineert de afhankelijkheid van vertrouwde held-out non-member sets, die in de praktijk meestal niet beschikbaar zijn.
3. Empirische Validatie: De methode wordt aangetoond een nauwkeurige schatting van de member-ratio te produceren over vijf grootschalige beeldgeneratieve modellen (zowel autoregressief als diffusie) met een computationele kost die orders van grootte lager is dan shadow-model-gebaseerde benaderingen.

Experimentele Resultaten

De auteurs evalueerden NU-DUI op grootschalige modellen inclusief VAR-24/30, RAR-XL/XXL, en DiT-RF-XL/2-8E2A, getraind op ImageNet-1k.

• Nauwkeurigheid: Over diverse grondwaarheid member-ratio's ($p$) volgt NU-DUI (met de "Synth + AE" pijplijn) nauwgezet de identiteitslijn.
  • Op RAR-XXL met een suspect set van 1.000 afbeeldingen was de Mean Absolute Error (MAE) 0,058 (gebruikmakend van de PUL-gebaseerde MPE), waarmee de kloof naar de "Oracle" setting (die toegang veronderstelt tot echte held-out non-members) aanzienlijk werd verkleind.
  • Zonder autoencoding ("Synthetic" alleen) overschat de methode de member-ratio systematisch bij een lage $p$ door mismatch in artefacten. Autoencoding corrigeert deze bias.
• Noodzaak van Cross-Family: Ablatie-studies toonden aan dat het gebruik van een parafraseerder uit dezelfde generatieve familie als het doelmodel de kwaliteit van de schatting aanzienlijk verslechterde, wat bevestigt dat cross-family generatie essentieel is om loss-function fixed points te vermijden.
• Computationele Efficiëntie:
  • DUCI (1 shadow model): ~1.500 A100-uren voor een 1,5B parameter doelmodel.
  • NU-DUI: ~42,5 A100-minuten voor hetzelfde doelmodel.
  • Dit vertegenwoordigt een versnelling van >2.000x, wat de methode haalbaar maakt voor moderne grote modellen waar shadow training onmogelijk is.
• Schaalbaarheid: De schattingsnauwkeurigheid verbetert snel naarmate de omvang van de suspect set toeneemt van 100 naar 1.000 afbeeldingen, waarna de winst verzadigt. De methode blijft praktisch zelfs met kleine suspect sets (bijv. 100 afbeeldingen).

Betekenis en Beperkingen

Betekenis:
Het paper presenteert NU-DUI als een praktisch instrument voor data-eigenaren en auditors om kwantitatief bewijs te verkrijgen van de trainingsdata-utilisatie in moderne generatieve modellen. Door de noodzaak voor shadow models en vertrouwde held-out data weg te nemen, maakt het dataset-auditing haalbaar voor grootschalige, propriëtaire modellen waar eerdere methoden computationeel of data-technisch prohibitief waren.

Beperkingen:
De auteurs merken twee primaire beperkingen op:

1. MIA Signaalsterkte: De nauwkeurigheid van NU-DUI wordt begrensd door de sterkte van de beschikbare membership-inference signalen. Als een doelmodel weinig informatie over lidmaatschap lekt, zullen de schattingen minder stabiel zijn.
2. Beschikbaarheid van Cross-Family Generators: De methode vereist een voldoende sterke generatieve model uit een andere familie om synthetische non-members te produceren. In domeinen waar geen dergelijke alternatieve generator bestaat, kan de methode niet direct worden toegepast.

Het paper concludeert dat NU-DUI de weg vrijmaakt voor dataset usage inference voor moderne generatieve modellen door gebruik te maken van synthetische datageneratie en mixture proportion estimation, wat een schaalbare alternatief biedt voor shadow-model-gebaseerde auditing.