Riepilogo Tecnico: Inferenza di Utilizzo di Dataset con Campioni Negativi Non Etichettati (NU-DUI)

Definizione del Problema

La Dataset Usage Inference (DUI) mira a stimare la frazione di un dataset specifico che è stata utilizzata per addestrare un modello di machine learning. Mentre i metodi esistenti come la Dataset Inference (DI) possono determinare se un dataset sia stato utilizzato (classificazione binaria), essi non riescono a quantificare quanto di esso sia stato utilizzato. Questa quantificazione è critica per i quadri giuridici (ad esempio, l'analisi del "fair-use" ai sensi del Copyright Act degli Stati Uniti) e per le controversie reali sulla proprietà dei dati.

Gli approcci allo stato dell'arte attuale, come DUCI (Tong et al., [46]), affrontano due barriere pratiche significative:

1. Requisito di Shadow Model: Richiedono l'addestramento di costosi "shadow models" che imitano l'architettura e il comportamento del modello target. Per modelli generativi su larga scala (ad es. 1,5 miliardi di parametri), l'addestramento di un singolo shadow model può richiedere oltre 1.500 ore di A100, rendendo ciò computazionalmente proibitivo.
2. Assunzione di Dati Held-Out: Presuppongono l'accesso a un set "held-out" affidabile e in-distribution, confermato come assente dal training del modello target. In scenari di auditing reali, tali dati non-member affidabili sono raramente disponibili.

Inoltre, le classiche Membership Inference Attacks (MIA) spesso degradano a prestazioni quasi casuali sui moderni modelli di grandi dimensioni a causa della debolezza dei segnali per singolo campione e della sensibilità ai cambiamenti di distribuzione tra dati member e non-member.

Metodologia: NU-DUI

Gli autori propongono Negative Unlabeled Dataset Usage Inference (NU-DUI), un framework che elimina la necessità di shadow models e di dati held-out affidabili. Il metodo riformula la DUI come un problema di Mixture Proportion Estimation (MPE).

La pipeline consiste in tre fasi principali:

1. Costruzione del Set di Sospetti Autoencoderato e dei Non-Member Sintetici

Per affrontare la mancanza di un set held-out affidabile, NU-DUI costruisce dati di riferimento direttamente dal set dei sospetti ($X_{real}$):

• Non-Member Sintetici ($X_{img2img}^{nonmember}$): Le immagini sospette vengono parafrasate utilizzando un generatore image-to-image ($G$) appartenente a una famiglia generativa diversa da quella del modello target oggetto di audit (ad es., usare Stable Diffusion per parafrasare immagini per un target autoregressivo, o viceversa).
  • Razionale: L'uso di una famiglia diversa impedisce ai campioni sintetici di trovarsi vicino a un "punto fisso" della funzione di perdita del modello target. Se venisse utilizzata la stessa famiglia, le immagini parafrasate potrebbero mostrare una perdita artificialmente bassa (sembrando membri) a causa della specifica dinamica del processo inverso del modello target, confondendo l'inferenza.
• Set di Sospetti Autoencoderato ($X_{AE}$): Il set originale dei sospetti viene codificato e decodificato utilizzando lo stesso autoencoder usato per la parafrasi.
  • Razionale: I modelli generativi introducono specifici artefatti ad alta frequenza. Autoencoderando il set dei sospetti, il metodo inietta questi stessi artefatti nel lato "non etichettato" del confronto. Ciò assicura che lo spostamento di distribuzione tra la miscela non etichettata ($U$) e i negativi sintetici ($N$) sia dominato dallo stato di appartenenza (membership status) piuttosto che dagli artefatti specifici del generatore.

2. Estrazione delle Caratteristiche MIA

Il framework interroga il modello target sia sul set di sospetti autoencoderato ($U$) che sul set di non-member sintetici ($N$). Estrae un vettore di caratteristiche di inferenza di membership ($\Phi_{MIA}$) adattato alla famiglia del modello target:

• Per i modelli Image Autoregressive (IAR), utilizza suite di caratteristiche basate su perdite a livello di token e punteggi di confidenza.
• Per i modelli Diffusion, utilizza errori di predizione del rumore e discrepanze di verosimiglianza condizionale.
• Molteplici segnali vengono combinati in un singolo vettore di caratteristiche per migliorare la separazione tra le distribuzioni member e non-member, poiché i singoli segnali sono spesso deboli o rumorosi.

3. Mixture Proportion Estimation (MPE)

Il problema viene inquadrato come la stima della proporzione $\pi$ di membri nel set non etichettato $U$, dato che $U$ è una miscela di membri (dal set dei sospetti) e non-member (sintetici).

• Il set sintetico $N$ funge da riferimento di non-member etichettato.
• Il set autoencoderato $U$ funge da miscela non etichettata.
• Stimatori standard di MPE (ad es., TIcE, AlphaMax, varianti PUL) vengono applicati ai vettori di caratteristiche per recuperare il rapporto di membri stimato $\hat{p}$.

Contributi Chiave

1. Riformulazione come MPE: Gli autori hanno riclassificato la Dataset Usage Inference come un problema di Mixture Proportion Estimation, rimuovendo la dipendenza da costosi shadow models.
2. Generazione di Riferimenti Sintetici: Propongono un metodo per generare non-member sintetici realistici tramite parafrasi image-to-image cross-family e per allineare il set dei sospetti tramite autoencoding. Ciò elimina la dipendenza da set di non-member held-out affidabili, che sono tipicamente non disponibili nella pratica.
3. Validazione Empirica: Il metodo è dimostrato essere in grado di produrre stime accurate dei rapporti di appartenenza su cinque modelli generativi di immagini su larga scala (sia autoregressivi che di diffusione) con un costo computazionale di ordini di grandezza inferiore rispetto agli approcci basati su shadow model.

Risultati Sperimentali

Gli autori hanno valutato NU-DUI su modelli su larga scala inclusi VAR-24/30, RAR-XL/XXL e DiT-RF-XL/2-8E2A, addestrati su ImageNet-1k.

• Accuratezza: Attraverso vari rapporti di appartenenza reali ($p$), NU-DUI (usando la pipeline "Synth + AE") segue da vicino la linea di identità.
  • Su RAR-XXL con un set di sospetti di 1.000 immagini, l'Errore Assoluto Medio (MAE) è stato di 0,058 (usando l'MPE basato su PUL), chiudendo significativamente il divario con l'impostazione "Oracle" (che assume l'accesso a veri non-member held-out).
  • Senza autoencoding ("Synthetic" solamente), il metodo sovrastima sistematicamente il rapporto di appartenenza a bassi valori di $p$ a causa del mismatch degli artefatti. L'autoencoding corregge questo bias.
• Necessità Cross-Family: Gli studi di ablazione hanno mostrato che l'utilizzo di un parafrasatore della stessa famiglia generativa del modello target degrada significativamente la qualità della stima, confermando che la generazione cross-family è essenziale per evitare i punti fissi della funzione di perdita.
• Efficienza Computazionale:
  • DUCI (1 shadow model): ~1.500 ore di A100 per un target da 1,5B di parametri.
  • NU-DUI: ~42,5 minuti di A100 per lo stesso target.
  • Ciò rappresenta un accelerazione (>2.000x), rendendo il metodo fattibile per i moderni modelli di grandi dimensioni dove l'addestramento di uno shadow model è impossibile.
• Scalabilità: L'accuratezza della stima migliora rapidamente all'aumentare del set di sospetti da 100 a 1.000 immagini, dopodiché i guadagni si saturano. Il metodo rimane pratico anche con piccoli set di sospetti (ad es. 100 immagini).

Significato e Limitazioni

Significato:
Il documento presenta NU-DUI come uno strumento pratico per proprietari di dati e auditor per ottenere prove quantitative dell'utilizzo dei dati di addestramento nei moderni modelli generativi. Rimuovendo la necessità di shadow models e di dati held-out affidabili, rende l'audit dei dataset fattibile per modelli proprietari su larga scala dove i metodi precedenti erano computazionalmente o tecnicamente proibitivi.

Limitazioni:
Gli autori notano due vincoli primari:

1. Forza del Segnale MIA: L'accuratezza di NU-DUI è limitata dalla forza dei segnali di inferenza di membership disponibili. Se un modello target rilascia poca informazione di membership, le stime saranno meno stabili.
2. Disponibilità di Generatori Cross-Family: Il metodo richiede un modello generativo sufficientemente forte appartenente a una diversa famiglia per produrre non-member sintetici. In domini in cui non esiste un generatore alternativo, il metodo non può essere applicato direttamente.

Il documento conclude che NU-DUI sblocca l'inferenza dell'utilizzo dei dataset per i moderni modelli generativi sfruttando la generazione di dati sintetici e la stima della proporzione delle miscele, offrendo un'alternativa scalabile agli approcci basati su shadow model.