Résumé Technique : Inférence de l'Utilisation de Datasets avec Données Négatives Non Étiquetées (NU-DUI)

Énoncé du Problème

L'Inférence d'Utilisation de Dataset (DUI - Dataset Usage Inference) vise à estimer la fraction d'un jeu de données spécifique qui a été utilisée pour entraîner un modèle d'apprentissage automatique. Alors que les méthodes existantes comme l'Inférence de Dataset (DI - Dataset Inference) peuvent déterminer si un jeu de données a été utilisé (classification binaire), elles échouent à quantifier combien de ce jeu de données a été utilisé. Cette quantification est cruciale pour les cadres juridiques (par exemple, l'analyse de l'usage loyal ou "fair-use" sous le régime du droit d'auteur américain) et pour les litiges réels liés à la propriété des données.

Les approches de pointe actuelles, telles que DUCI (Tong et al., [46]), sont confrontées à deux barrières pratiques majeures :

1. Exigence de Modèles Fantômes (Shadow Models) : Elles nécessitent l'entraînement de modèles "fantômes" coûteux qui imitent l'architecture et le comportement du modèle cible. Pour les modèles génératifs à grande échelle (par exemple, 1,5 milliard de paramètres), l'entraînement d'un seul modèle fantôme peut prendre plus de 1 500 heures d'A100, ce qui est informatiquement prohibitif.
2. Hypothèse de Données Maintenues de Côté (Held-Out Data) : Elles supposent l'accès à un ensemble de données "maintenu de côté" de confiance, étant distribué de la même manière et confirmé comme étant absent du modèle cible. Dans les scénarios d'audit réels, de telles données non membres de confiance sont rarement disponibles.

De plus, les attaques d'inférence d'appartenance (MIA - Membership Inference Attacks) standards se dégradent souvent vers une performance proche du hasard sur les modèles modernes de grande taille en raison de signaux par échantillon faibles et de la sensibilité aux décalages de distribution entre les membres et les non-membres.

Méthodologie : NU-DUI

Les auteurs proposent la Negative Unlabeled Dataset Usage Inference (NU-DUI), un cadre qui élimine le besoin de modèles fantômes et de données de référence maintenues de côté et de confiance. La méthode reformule la DUI comme un problème d'Estimation de Proportion de Mélange (MPE - Mixture Proportion Estimation).

Le pipeline se compose de trois étapes principales :

1. Construction de l'Ensemble Suspect Auto-encodeur et des Non-Membres Synthétiques

Pour remédier à l'absence d'un ensemble de référence fiable, NU-DUI construit des données de référence directement à partir de l'ensemble suspect ($X_{real}$) :

• Non-Membres Synthétiques ($X_{img2img}^{nonmember}$) : Les images suspectes sont paraphrasées à l'aide d'un générateur image-à-image ($G$) issu d'une famille générative différente de celle du modèle cible audité (par exemple, utiliser Stable Diffusion pour paraphraser des images destinées à un modèle autorégressif, ou vice versa).
  • Raisonnement : L'utilisation d'une famille différente empêche les échantillons synthétiques de se situer près d'un "point fixe" de la fonction de perte du modèle cible. Si la même famille était utilisée, les images paraphrasées pourraient présenter une perte artificiellement basse (apparaissant comme des membres) en raison de la dynamique spécifique du processus inverse du modèle cible, ce qui fausserait l'inférence.
• Ensemble Suspect Auto-encodé ($X_{AE}$) : L'ensemble suspect original est encodé et décodé en utilisant le même auto-encodeur que celui utilisé pour le paraphrasage.
  • Raisonctionnement : Les modèles génératifs introduisent des artefacts de haute fréquence spécifiques. En auto-encodant l'ensemble suspect, la méthode injecte ces mêmes artefacts dans le côté "non étiqueté" de la comparaison. Cela garantit que le décalage de distribution entre le mélange non étiqueté ($U$) et les négatifs synthétiques ($N$) est dominé par le statut d'appartenance plutôt que par les artefacts spécifiques au générateur.

2. Extraction de Caractéristiques MIA

Le cadre interroge le modèle cible sur l'ensemble suspect auto-encodé ($U$) et sur l'ensemble de non-membres synthétiques ($N$). Il extrait un vecteur de caractéristiques d'inférence d'appartenance ($\Phi_{MIA}$) adapté à la famille du modèle cible :

• Pour les modèles Autorégressifs d'Images (IAR), il utilise des suites de caractéristiques basées sur les pertes par jeton (token-level losses) et les scores de confiance.
• Pour les modèles de Diffusion, il utilise les erreurs de prédiction de bruit et les écarts de vraisemblance conditionnelle.
• Plusieurs signaux sont combinés en un seul vecteur de caractéristiques pour améliorer la séparation entre les distributions de membres et de non-membres, car les signaux uniques sont souvent faibles ou bruités.

3. Estimation de la Proportion de Mélange (MPE)

Le problème est formulé comme l'estimation de la proportion $\pi$ de membres dans l'ensemble non étiqueté $U$, étant donné que $U$ est un mélange de membres (issus de l'ensemble suspect) et de non-membres (synthétiques).

• L'ensemble synthétique $N$ sert de référence de non-membre étiquetée.
• L'ensemble auto-encodé $U$ sert de mélange non étiqueté.
• Les estimateurs MPE standards (par exemple, TIcE, AlphaMax, variantes de PUL) sont appliqués aux vecteurs de caractéristiques pour récupérer le ratio de membre estimé $\hat{p}$.

Principales Contributions

1. Reformulation en tant que MPE : Les auteurs ont recadré l'Inférence d'Utilisation de Dataset comme un problème d'Estimation de Proportion de Mélange, supprimant la dépendance aux modèles fantômes coûteux.
2. Génération de Référence Synthétique : Ils proposent une méthode pour générer des non-membres synthétiques réalistes via le paraphrasage image-à-image inter-familles et pour aligner l'ensemble suspect via l'auto-encodage. Cela élimine la dépendance à des ensembles de non-membres maintenus de côté et de confiance, qui sont généralement indisponibles en pratique.
3. Validation Empirique : La méthode est démontrée comme produisant des estimations de ratio de membres précises sur cinq modèles génératifs d'images à grande échelle (à la fois autorégressifs et de diffusion) avec un coût de calcul ordres de grandeur inférieur aux approches basées sur les modèles fantômes.

Résultats Expérimentaux

Les auteurs ont évalué NU-DUI sur des modèles à grande échelle incluant VAR-24/30, RAR-XL/XXL, et DiT-RF-XL/2-8E2A, entraînés sur ImageNet-1k.

• Précision : À travers divers ratios de membres réels ($p$), NU-DUI (utilisant le pipeline "Synth + AE") suit de près la ligne d'identité.
  • Sur RAR-XXL avec un ensemble suspect de 1 000 images, l'Erreur Absolue Moyenne (MAE) était de 0,058 (en utilisant l'estimateur MPE basé sur PUL), comblant de manière significative l'écart avec le réglage "Oracle" (qui suppose l'accès à de vrais non-membres maintenus de côté).
  • Sans auto-encodage ("Synthetic" uniquement), la méthode surestime systématiquement le ratio de membres à faible $p$ en raison des décalages d'artefacts. L'auto-encodage corrige ce biais.
• Nécessité Inter-Familles : Les études d'ablation ont montré que l'utilisation d'un paraphraseur de la même famille générative que le modèle cible dégradait considérablement la qualité de l'estimation, confirmant que la génération inter-familles est essentielle pour éviter les points fixes de la fonction de perte.
• Efficacité Computationnelle :
  • DUCI (1 modèle fantôme) : ~1 500 heures d'A100 pour un modèle cible de 1,5 milliard de paramètres.
  • NU-DUI : ~42,5 minutes d'A100 pour le même modèle cible.
  • Cela représente une accélération de >2 000x, rendant la méthode réalisable pour les modèles modernes de grande taille où l'entraînement de modèles fantômes est impossible.
• Scalabilité : La précision de l'estimation s'améliore rapidement à mesure que la taille de l'ensemble suspect passe de 100 à 1 000 images, seuil après lequel les gains plafonnent. La méthode reste pratique même avec de petits ensembles suspects (ex: 100 images).

Signification et Limites

Signification :
Le papier présente NU-DUI comme un outil pratique pour les propriétaires de données et les auditeurs afin d'obtenir des preuves quantitatives de l'utilisation des données d'entraînement dans les modèles génératifs modernes. En supprimant le besoin de modèles fantômes et de données de référence de confiance, elle rend l'audit de datasets réalisable pour les modèles propriétaires à grande échelle où les méthodes précédentes étaient informatiquement ou matériellement prohibitives.

Limites :
Les auteurs notent deux contraintes principales :

1. Force du Signal MIA : La précision de NU-DUI est limitée par la force des signaux d'inférence d'appartenance disponibles. Si un modèle cible fuit peu d'informations d'appartenance, les estimations seront moins stables.
2. Disponibilité de Générateurs Inter-Familles : La méthode nécessite un modèle génératif suffisamment puissant issu d'une autre famille pour produire des non-membres synthétiques. Dans les domaines où aucun générateur alternatif de ce type n'existe, la méthode ne peut pas être appliquée directement.

Le papier conclut que NU-DUI débloque l'inférence d'utilisation de datasets pour les modèles génératifs modernes en exploitant la génération de données synthétiques et l'estimation de proportion de mélange, offrant une alternative scalable aux approches basées sur les modèles fantômes.