PartRAG: Retrieval-Augmented Part-Level 3D Generation and Editing

Le papier présente PartRAG, un cadre de génération et d'édition 3D à partir d'une seule image qui intègre une base de données de pièces récupérées via un module de contraste hiérarchique à un transformateur de diffusion, permettant ainsi de surmonter les limites des priors appris pour générer des structures de pièces précises et cohérentes tout en offrant des modifications locales interactives sans altérer le reste de l'objet.

L'essentiel

Imaginez que vous voulez créer un objet 3D réaliste (comme une chaise ou une voiture) à partir d'une simple photo, et que vous voulez pouvoir modifier ses pièces individuellement (changer les roues, allonger les pieds) sans tout casser. C'est là que PartRAG entre en jeu.

Voici une explication simple de ce papier, avec des images pour mieux comprendre.

🎨 Le Problème : Le Chef Cuisinier qui a la mémoire courte

Jusqu'à présent, les intelligences artificielles qui créent des objets 3D fonctionnaient un peu comme un chef cuisinier qui a lu tous les livres de cuisine, mais qui n'a jamais visité de supermarché.

• Il connaît la théorie (il sait à quoi ressemble une chaise en général).
• Mais si vous lui demandez de dessiner une chaise avec un style très bizarre ou une pièce très fine (comme une patte de chaise en verre très mince), il se trompe souvent. Il invente des formes qui ne tiennent pas debout ou qui ne ressemblent à rien.
• De plus, si vous voulez changer juste le dossier de la chaise, le chef doit souvent recuire toute la chaise de zéro. C'est lent et ça risque de déformer les autres parties (les pieds, l'assise).

🛠️ La Solution : PartRAG, le "Cuisinier avec un Assistant de Référence"

PartRAG change la donne en donnant au chef un assistant très organisé et une énorme bibliothèque de pièces détachées.

Voici comment ça marche, étape par étape :

1. La Bibliothèque de Pièces (La Base de Données)

Imaginez que PartRAG a une bibliothèque immense contenant 1 236 objets (chaises, voitures, outils) qui sont déjà parfaitement découpés en pièces (pieds, dossier, roues, etc.).

• L'analogie : C'est comme si le chef avait accès à un mur de pièces détachées réelles. Quand il doit créer une nouvelle chaise, il ne devine pas à quoi ressemble un pied de chaise ; il va chercher le modèle le plus proche dans sa bibliothèque pour s'en inspirer.

2. Le Détective Visuel (La Récupération Hiérarchique)

Quand vous montrez une photo à PartRAG, il ne regarde pas juste l'ensemble. Il agit comme un détective qui compare chaque petit bout de la photo (un coin de l'image) avec les pièces de sa bibliothèque.

• L'analogie : Si vous montrez une photo d'une chaise, le détective dit : "Tiens, ce coin de l'image ressemble beaucoup au dossier de cette chaise de la bibliothèque, et cette autre partie ressemble aux roues de ce camion."
• Il va chercher les meilleurs exemples (les "modèles") et les injecte dans le processus de création. Cela garantit que les formes sont réalistes et physiquement possibles, même pour des objets rares.

3. Le Constructeur Modulaire (Le Réseau de Neurones)

Au lieu de construire l'objet d'un seul bloc, PartRAG construit pièce par pièce, mais toutes ensemble, comme un jeu de construction LEGO intelligent.

• Grâce à une technique spéciale, il s'assure que toutes les pièces s'assemblent parfaitement et regardent dans la même direction, peu importe l'angle sous lequel on les regarde.

✂️ La Magie : L'Édition Locale (Le "Ciseaux Magique")

C'est ici que PartRAG brille vraiment. Imaginez que vous avez créé une chaise 3D et que vous voulez changer les roues pour des roues de vélo plus fines.

• Les anciennes méthodes : Vous deviez effacer toute la chaise et la redessiner. C'était lent (30 secondes à 1 minute) et les roues nouvelles pouvaient ne pas s'aligner avec le reste.
• Avec PartRAG : C'est comme utiliser un ciseau magique.
  1. Vous sélectionnez juste les roues (ou vous dites "changez les roues").
  2. Le système va chercher dans sa bibliothèque des roues de vélo.
  3. Il remplace uniquement les roues, en gardant le reste de la chaise intact.
  4. Résultat : En 5 à 8 secondes, vous avez une nouvelle chaise. Les roues s'attachent parfaitement, et le reste de la chaise n'a pas bougé d'un millimètre.

🏆 Les Résultats en Chiffres (Simplifiés)

• Précision : Les objets créés sont beaucoup plus précis (moins de déformations) que les précédents systèmes. On passe d'une erreur moyenne de 0,17 à 0,15 (c'est comme passer d'un dessin approximatif à une photo réaliste).
• Vitesse : Créer l'objet prend environ 38 secondes. Le modifier localement prend moins de 10 secondes.
• Qualité : Les bords entre les pièces sont nets (pas de "flou" ou de fusion bizarre), et les structures fines (comme les poignées de porte) sont respectées.

En Résumé

PartRAG, c'est comme donner à un artiste 3D :

1. Un catalogue de pièces détachées pour s'assurer que tout est réaliste.
2. Un ciseau magique pour modifier une seule pièce sans toucher au reste.

C'est un pas de géant pour créer du contenu 3D interactif, que ce soit pour les jeux vidéo, la robotique ou la réalité virtuelle, en rendant la création plus rapide, plus précise et plus facile à modifier.

Résumé technique

1. Problématique

La génération de modèles 3D à partir d'une seule image, avec une structure décomposée en parties (part-level), reste un défi majeur pour deux raisons principales :

1. Limites des priors génératifs : Les modèles basés sur l'apprentissage profond (comme les transformateurs de diffusion) peinent à couvrir la "longue traîne" des géométries de parties rares. Cela entraîne des géométries peu plausibles et des incohérences multi-vues, en particulier pour les articulations complexes ou les structures fines.
2. Manque de contrôle éditables : Les systèmes existants génèrent souvent des maillages monolithiques ou des ensembles de parties difficiles à manipuler individuellement. Les utilisateurs ne peuvent pas remplacer ou ajuster une sous-composante spécifique sans déstabiliser l'ensemble de l'objet, rendant les itérations de conception locales laborieuses.

2. Méthodologie : PartRAG

PartRAG est un cadre de travail augmenté par la récupération (Retrieval-Augmented Generation - RAG) conçu pour générer et éditer des maillages 3D structurés en parties à partir d'une seule image texturée.

A. Architecture Globale

Le système repose sur un transformateur de diffusion natif 3D (DiT) avec une architecture à deux voies (dual-lane) :

• Une voie locale pour l'affinement intra-partie.
• Une voie globale pour la cohérence inter-parties.
  Le modèle génère des latents pour chaque partie dans un espace canonique global partagé, permettant une manipulation cohérente.

B. Module de Récupération Hiérarchique Contrastive (HCR)

Pour surmonter le manque de diversité des priors, PartRAG intègre une base de données externe de 1 236 objets annotés par parties.

• Alignement : Un module de récupération aligne les patches d'image 2D (extraits via DINOv2) avec les latents 3D des parties.
• Granularité : L'apprentissage se fait à deux niveaux :
  • Niveau Partie : Correspondance entre un patch d'image et une partie spécifique (ex: une jambe de chaise).
  • Niveau Objet : Correspondance globale entre l'image et l'objet complet.
• Apprentissage : Utilisation d'une perte InfoNCE symétrique avec une file d'attente à momentum bidirectionnel pour maintenir un large pool d'échantillons négatifs, assurant une robustesse accrue.
• Injection : Lors de l'inférence, les $k$ meilleurs exemples visuels sont récupés et leurs tokens sont concaténés aux tokens de l'image requête. Ces tokens servent de clés/valeurs (K/V) dans les mécanismes d'attention croisée du DiT, injectant des géométries plausibles dans le processus de débruitage.

C. Édition au Niveau des Parties (Part-Level Editing)

PartRAG introduit un éditeur masqué basé sur le flow matching :

• Représentation éditable : Chaque partie conserve son latent canonique ($z_i$) et sa transformation rigide ($T_i$) prédite.
• Mécanisme : Pour une édition, seules les parties cibles sont débruitées (masquées), tandis que les parties non cibles sont figées.
• Opérations supportées :
  1. Échange de parties (Swap) : Remplacement d'une partie par un exemple récupéré, en conservant la pose d'attache originale.
  2. Raffinement d'attributs : Modification continue (ex: allonger une jambe) via interpolation avec des candidats récupérés.
  3. Assemblage compositionnel : Modification simultanée de plusieurs parties disjointes.
• Contraintes : Des contraintes de régularisation (projection des sommets de bordure sur les voisins figés, lissage Laplacien) garantissent la continuité géométrique et évitent les artefacts aux joints.

3. Contributions Clés

1. PartRAG : Le premier générateur 3D partiel augmenté par récupération, combinant la conditionnement d'une seule image avec un objectif de récupération hiérarchique contrastive.
2. Pipeline d'édition interactif : Une méthode permettant des swaps, déformations et mises à jour d'attributs localisés en 5 à 8 secondes sans régénérer l'objet entier, tout en préservant la cohérence multi-vues.
3. Base de données et alignement : L'utilisation d'une base de données curatée de 1 236 objets annotés pour injecter des exemples géométriques diversifiés et physiquement plausibles.

4. Résultats Expérimentaux

Les évaluations ont été menées sur les jeux de données Objaverse, ShapeNet et ABO.

• Performance Quantitative :
  • Sur Objaverse, PartRAG réduit la Distance de Chamfer (CD) de 0,1726 à 0,1528 (amélioration de 11,5 % par rapport à PartCrafter) et augmente le F-Score de 0,7472 à 0,844 (+9,7 points).
  • Des gains similaires sont observés sur ShapeNet (réduction CD de 7,0 %) et ABO (réduction CD de 12,1 %).
  • La séparation des parties est améliorée (IoU de chevauchement réduit à 0,025).
• Efficacité :
  • Temps d'inférence : 38 secondes par objet (génération complète).
  • Temps d'édition : 5 à 8 secondes par modification locale.
  • Comparé à HoloPart (18 min), PartRAG est considérablement plus rapide.
• Qualité Visuelle :
  • Des frontières de parties plus nettes.
  • Une meilleure fidélité des structures fines (poignées, jambes).
  • Un comportement robuste sur les objets articulés.

5. Signification et Impact

PartRAG représente une avancée significative dans la création de contenu 3D contrôlable :

• Dépassement des limites génératives : En intégrant explicitement des exemples géométriques externes, le modèle ne dépend plus uniquement des priors appris, ce qui résout les problèmes de géométries rares ou complexes.
• Édibilité réelle : La capacité à modifier des sous-composantes sans détruire la cohérence globale rend le modèle utilisable pour des applications industrielles, la robotique et la création de contenu immersif.
• Efficacité : Le compromis entre la qualité de génération et la vitesse d'inférence/édition rend le système viable pour des flux de travail interactifs.

En résumé, PartRAG établit un nouvel état de l'art pour la génération 3D structurée, prouvant que l'augmentation par récupération (RAG) est une voie prometteuse pour créer des actifs 3D haute fidélité, précis et facilement modifiables.