Résumé technique : Qui a généré cet actif 3D ? Apprentissage de l'attribution de source pour les modèles de génération 3D

Définition du problème

L'article aborde le défi critique de l'attribution de source passive pour les actifs 3D génératifs. À mesure que les modèles de texte vers 3D et d'image vers 3D deviennent intégraux à la création de jeux vidéo, à la robotique et à la production de contenu immersif, la capacité à déterminer si un actif 3D a été généré par un modèle d'IA et, le cas échéant, quel modèle spécifique l'a produit, est essentielle pour la gouvernance des données, l'audit de qualité et la fiabilité.

Le problème est défini comme l'inférence de l'identité de source $y$ d'un actif 3D synthétique publié $A$, étant donné des indices observables $O(A)$ (tels que des rendus multi-vues et des priors structurels) et des métadonnées optionnelles $m$ (par exemple, des invites), sans accès aux journaux de génération ni aux paramètres internes du modèle.

Les auteurs identifient deux défis principaux :

1. Signaux d'attribution dispersés : Contrairement aux images 2D, les empreintes digitales 3D sont distribuées à travers les apparences multi-vues, les relations inter-vues, les structures géométriques et les motifs du domaine fréquentiel. L'analyse d'une seule vue ou une agrégation simple échoue à capturer ces indices.
2. Contraintes de déploiement réalistes : Les scénarios réels impliquent souvent des données étiquetées rares (few-shot), des invites manquantes ou dégradées, et des mélanges d'objets réels scannés avec des actifs synthétiques.

Méthodologie

Construction du référentiel

Pour étudier systématiquement ce problème, les auteurs ont construit le premier référentiel d'attribution de source passive pour les actifs 3D génératifs modernes.

• Portée : Couvre 22 générateurs représentatifs (à la fois texte vers 3D et image vers 3D) dérivés de ressources publiques telles que 3DGen-Bench et Cap3D.
• Données : Comprend 1 900 invites et 10 851 actifs synthétiques, standardisés dans un format PLY unifié.
• Augmentation : Les actifs sont augmentés avec des priors structurels orientés attribution, incluant des cartes de normales, des descripteurs géométriques à 102 dimensions (statistiques de maillage, topologie, valeurs propres de Laplacien) et des indices fréquentiels basés sur la transformée de Fourier rapide (FFT).
• Protocoles : L'évaluation inclut la supervision complète standard, le few-shot (1 % de données), les scénarios d'invites manquantes ou bruyantes, et les configurations mixtes réel/synthétique.

Modèle proposé : Transformer hiérarchique multi-vues et multimodal

Les auteurs proposent un cadre hiérarchique conçu pour capturer des signaux d'attribution dispersés à travers deux étapes principales :

1. Tokenisation des indices observables :

   • Pour chaque point de vue, le modèle construit un ensemble de jetons $x_i$ comprenant des rendus RVB ($r_i$), des rendus de normales ($n_i$), des descripteurs géométriques ($s_i$) et des caractéristiques fréquentielles basées sur la FFT ($q_i$).
   • Les modalités sont encodées à l'aide d'encodeurs vision-langage préentraînés et figés (pour RVB/normales/métadonnées) et de petits MLP apprenables (pour les indices structurels/fréquentiels).

2. Fusion hiérarchique :

   • Fusion multimodale intra-vue : Un Transformer partagé fusionne les jetons au sein de chaque vue pour capturer des preuves complémentaires locales à travers les domaines de l'apparence, de la géométrie et de la fréquence.
   • Modélisation des relations inter-vues : Un Transformer global agrège les représentations de vues fusionnées pour modéliser les relations entre les points de vue. Cette étape est cruciale pour identifier des incohérences inter-vues spécifiques au générateur (par exemple, effondrement de surfaces cachées, instabilité structurelle dépendante de la vue) qui sont invisibles dans des vues isolées.

3. Mécanismes de robustesse :

   • Le modèle est entraîné avec un abandon aléatoire des entrées de métadonnées pour simuler des invites manquantes.
   • L'espace des étiquettes est étendu pour inclure une classe « générateur inconnu » et une classe « actif réel » afin de gérer les scénarios de monde ouvert et de déploiement mixte.

Contributions clés

1. Premier référentiel unifié : Introduction d'un référentiel d'attribution de source passive couvrant 22 générateurs 3D diversifiés sous des protocoles standard, few-shot et de déploiement réaliste.
2. Identification d'empreintes digitales : Découverte de deux empreintes digitales de modèle source stables et complémentaires :
   • Incohérence inter-vue : Artéfacts spécifiques au modèle dans les relations multi-vues.
   • Artéfacts structurels : Motifs distincts dans les statistiques géométriques et les indices du domaine fréquentiel.
3. Cadre méthodologique : Un Transformer hiérarchique multi-vues et multimodal qui modélise explicitement à la fois la fusion structurelle/apparence intra-vue et le raisonnement relationnel inter-vue.
4. Validation empirique : Démonstration que les générateurs 3D modernes laissent des empreintes digitales stables et attribuables, même sous des contraintes de données sévères et une dégradation des métadonnées.

Résultats expérimentaux

Métriques de performance

• Supervision complète : La méthode proposée atteint une précision de 97,22 % sur 22 générateurs, surpassant significativement les références (GRID-TRANS : 92,93 %).
• Few-Shot (1 % de données) : Avec moins de cinq échantillons par générateur, le modèle atteint une précision de 77,17 %, surpassant la référence la plus forte (GRID-TRANS) de +22,65 %.
• Robustesse :
  • Dégradation des invites : Les performances restent robustes même avec des invites vides (60,69 % de précision) ou des invites d'image fortement corrompues (81,92 % de précision avec un bruit $\sigma=96$).
  • Mélange Réel/Synthétique : Le modèle maintient des performances élevées (78,90 % de précision) lorsque des actifs réels scannés sont mélangés avec des actifs synthétiques.

Études d'ablation

• Modalités : L'ajout de priors géométriques et fréquentiels aux entrées de rendu uniquement a amélioré la précision de +10,14 %.
• Architecture : La modélisation explicite de la cohérence multi-vues (remplacement de la concaténation de grille implicite) a augmenté les performances de près de 5 %.
• Nombre de vues : Les gains de performance se sont saturés après quatre vues, suggérant que le raisonnement structuré inter-vue est plus critique que l'augmentation simple du nombre de vues.

Analyse par source

• Image vers 3D : Généralement plus distinguables, de nombreux modèles dépassant 90 % de précision même dans des configurations few-shot.
• Texte vers 3D : Présente une variance plus élevée. Les générateurs avec une incohérence inter-vue sévère ou une géométrie grossière (par exemple, DreamFusion, Shap-E) étaient difficiles dans des régimes à faible quantité de données mais se sont améliorés de manière significative avec une supervision complète, validant la capacité du modèle à apprendre des empreintes digitales stables au fil du temps.

Importance et affirmations

L'article prétend établir une nouvelle référence et fondation méthodologique pour la provenance de contenu 3D digne de confiance. Il démontre que :

1. Les modèles génératifs 3D modernes laissent des empreintes digitales stables et identifiables qui peuvent être capturées passivement sans tatouage numérique actif ni métadonnées.
2. Les signaux d'attribution ne se limitent pas à l'apparence mais sont profondément enracinés dans des artéfacts structurels géométriques et du domaine fréquentiel ainsi que dans des incohérences inter-vues.
3. Une attribution efficace dans un déploiement réaliste nécessite des modèles capables de raisonner à travers les vues et les modalités tout en restant robustes aux métadonnées manquantes et aux environnements de données mixtes.

Ce travail positionne l'attribution de source passive comme une capacité fondamentale pour déployer des systèmes génératifs 3D dignes de confiance, allant au-delà de la détection binaire « réel-vs-faux » vers une identification fine de la source.