Résumé Technique : Provenance des Données pour la Génération d'Images Auto-Régressives

Énoncé du Problème

Les modèles d'images auto-régressifs (IAR) ont atteint une qualité photoréaliste remarquable en adaptant le paradigme de prédiction du prochain jeton (token) issu des grands modèles de langage (LLM). Cependant, comme ces modèles génèrent un contenu visuellement indiscernable des images naturelles, ils posent des risques importants concernant la désinformation, la fraude et la « pollution » des ensembles de données d'entraînement (menant à l'effondrement du modèle ou model collapse). Les méthodes de provenance existantes, telles que le tatouage numérique (watermarking) et l'empreinte digitale (fingerprinting), nécessitent généralement une intégration dans le processus d'entraînement ou de génération du modèle. Ces méthodes sont souvent inapplicables au contenu déjà publié sans marques ou aux modèles qui ne supportent pas nativement le tatouage. De plus, de nombreuses approches de reconstruction existantes ne parviennent pas à gérer la nature stochastique des IAR ou nécessitent un accès spécifique au modèle qui n'est pas toujours disponible.

Le défi central abordé par ce travail est la provenance des données post-hoc : la capacité de retracer de manière robuste une image vers son IAR générateur sans modifier le modèle, le processus de génération, ou l'image elle-même, et sans nécessiter d'informations auxiliaires comme les invites textuelles (prompts) ou les étiquettes de classe.

Méthodologie

Les auteurs proposent un cadre post-hoc agnostique au modèle qui exploite les artefacts inhérents introduits par le processus de quantification vectorielle unique aux IAR. Le cadre repose sur deux signaux complémentaires : QuantLoss et EncLoss.

1. Observation Fondamentale : Artefacts de Quantification

Les IAR encodent les images sous forme de séquences de jetons discrets issus d'un livre de codes (codebook) fixe (vocabulaire). Les auteurs observent que les représentations de jetons des images générées par IAR sont systématiquement plus proches des entrées du livre de codes que celles des images naturelles. Cela est dû au fait que les images générées sont construites directement à partir de ces entrées discrètes, tandis que les images naturelles doivent être approximées par elles.

2. Composantes du Cadre

Le cadre opère en trois étapes principales :

• Décodage Inverse ($D^{-1}$) :
  Les encodeurs standards ($E$) entraînés sur des images naturelles ne sont pas optimaux pour inverser le décodeur ($D$) des images générées. Les auteurs entraînent un décodeur inverse ($D^{-1}$) en l'initialisant avec les poids de l'encodeur original et en l'affinant (fine-tuning) sur des images générées par l'IAR cible. Ce modèle apprend à mapper une image générée vers sa carte de caractéristiques latentes ($f_Z$) avec une haute fidélité.

• QuantLoss (Distance du Livre de Codes) :
  Ce signal mesure la distance entre la carte de caractéristiques récupérée par le décodeur inverse ($f$) et sa version re-quantifiée ($f_Z$).

  • Processus : $x \xrightarrow{D^{-1}} f \xrightarrow{Q} t \xrightarrow{Q^{-1}} f_Z$.
  • Signal : $L_{Quant} = \|f - f_Z\|^2$.
  • Logique : Pour les images générées par l'IAR cible, $f$ s'aligne étroitement avec les entrées du livre de codes, ce qui entraîne une erreur de quantification minimale. Pour les images naturelles ou les images provenant d'autres modèles, l'alignement est médiocre, entraînant une erreur élevée.
  • Optimisation Multi-échelle : Pour les IAR multi-échelles (ex: VAR), les auteurs introduisent un algorithme de recherche de jetons optimisé utilisant la descente de gradient pour trouver la combinaison de jetons à travers les échelles qui minimise l'erreur de reconstruction, distinguant ainsi davantage les caractéristiques générées des caractéristiques naturelles.

• EncLoss (Ratio de Perte de Reconstruction) :
  Ce signal capture la perte d'information lors de la compression d'une image dans l'espace latent et de son retour.

  • Processus : $Rec(x) = D(D^{-1}(x))$.
  • Signal : Pour traiter les faux positifs provenant d'images naturelles de faible complexité, les auteurs proposent une perte calibrée inspirée de l'AEDR : $L_{Cal}^{Enc} = \frac{\|Rec(x) - x\|^2}{\|Rec(Rec(x)) - Rec(x)\|^2}$.
  • Logique : Les images générées présentent une cohérence de caractéristiques, conduisant à un faible ratio de perte, tandis que les images naturelles montrent souvent des ratios plus élevés en raison des artefacts de compression d'information.

• Signal Combiné :
  Le signal de provenance final est le produit des deux : $L_{Comb} = L_{Quant} \times L_{Cal}^{Enc}$.

Principales Contributions

1. Premier Cadre Post-Hoc pour les IAR : L'article introduit la première méthode capable d'attribuer des images générées par IAR à leur modèle source sans nécessiter de modifications du pipeline d'entraînement ou de génération du modèle. Elle est applicable au contenu déjà publié et non marqué.
2. Nouveaux Signaux de Provenance : Le travail identifie et formalise QuantLoss (basé sur la proximité du livre de codes) et EncLoss (basé sur la cohérence de la reconstruction) comme des indicateurs robustes de la génération par IAR. Il démontre que la combinaison de ces signaux permet d'obtenir une détection quasi parfaite.
3. Évaluation Complète : Le cadre est évalué sur un ensemble diversifié d'IAR de pointe (VAR, RAR, LlamaGen, Taming, Infinity) et un modèle de diffusion à quantification vectorielle (VQ-Diffusion).

Résultats Expérimentaux

Les auteurs rapportent des évaluations empiriques étendues avec les conclusions suivantes :

• Performance de Détection : La méthode atteint un Taux de Vrais Positifs (TPR) de près de 100 % à un Taux de Faux Positifs (FPR) de 1 % pour tous les IAR et jeux de données testés (ImageNet, LAION, MS-COCO, et images générées par d'autres modèles). Cela surpasse de manière significative les bases de référence telles que la perte de reconstruction naïve, LatentTracer et AEDR, qui échouent souvent à distinguer les différents IAR ou les images naturelles.
• Robustesse : Le cadre démontre une forte résilience face aux techniques courantes de post-traitement d'image, notamment la compression JPEG, le redimensionnement, le bruit et les ajustements de luminosité/contraste. Lorsque le décodeur inverse est affiné avec des augmentations de données, la robustesse s'améliore encore, maintenant un TPR élevé même sous des attaques fortes.
• Efficacité : La méthode est informatiquement efficace. Après un entraînement de finition unique du décodeur inverse (un faible surcoût par rapport au pré-entraînement du modèle), le processus d'attribution prend moins de 10 millisecondes par image pour la plupart des modèles, ce qui est plus rapide que les bases de référence existantes basées sur la reconstruction.
• Attaques Adaptatives : Même sous des attaques adverses adaptatives où un adversaire tente de perturber les images pour échapper à la détection, le cadre entraîné par augmentation maintient une robustesse nettement supérieure aux méthodes de base.

Signification et Revendications

L'article affirme fournir une solution pratique et évolutive pour le déploiement responsable et l'audit des modèles génératifs auto-régressifs. En exploitant la « signature » inhérente laissée par le processus de quantification discrète des jetons, la méthode permet une attribution de source fiable sans compromettre la qualité de l'image ni nécessiter d'accès au processus de génération.

Les auteurs soulignent que cette approche est cruciale pour :

• Prévenir l'Effondrement du Modèle : En identifiant de manière fiable les données synthétiques, elle aide à prévenir la contamination des ensembles de données d'entraînement par du contenu généré.
• Lutter contre la Désinformation : Elle permet l'attribution de contenus préjudiciables ou trompeurs à des familles de modèles spécifiques.
• Audit Post-Hoc : Elle opère sur du contenu déjà publié, comblant une lacune laissée par les méthodes de tatouage numérique qui nécessitent une intégration préalable.

Le travail conclut que bien que les attaques adaptatives puissent dégrader les performances, le cadre proposé offre un mécanisme de défense robuste qui est largement applicable aux architectures IAR existantes et futures.