Résumé Technique : MeshFIM

Énoncé du Problème

Les modèles autorégressifs (AR) ont démontré leur capacité à générer des maillages low-poly de haute qualité, au niveau artistique, à partir de nuages de points. Cependant, les générateurs AR existants fonctionnent de manière « tout ou rien » : pour modifier une seule région locale, l'ensemble du maillage doit être régénéré à partir de zéro. Cette approche est computationnellement gaspillée et perturbe la topologie satisfaisante dans les zones non affectées. De plus, les techniques d'édition locale classiques (par exemple, remplissage de trous, subdivision) échouent souvent à préserver la cohérence topologique ou l'intention de conception dans les environnements low-poly, où la structure du maillage encode des informations sémantiques spécifiques plutôt qu'une simple discrétisation de surface.

Le défi central dans l'adaptation des modèles AR pour l'édition locale réside dans les contraintes géométriques et topologiques uniques des maillages 3D :

1. Ordre de Sérialisation : Les maillages sont des complexes 2D intégrés dans l'espace 3D. Lorsqu'ils sont sérialisés en une séquence plate de tokens pour la génération AR, les voisinages spatialement contigus perdent leur ordre local, rendant difficile pour les modèles de préserver le flux des arêtes et les transitions de densité.
2. Attachement Exact des Frontières : Les patches générés doivent réutiliser exactement les sommets de frontière exposés. Même des écarts de coordonnées inférieurs à la quantification entraînent des fissures visibles ou des jonctions en T.
3. Débordement de Génération : Sans contraintes strictes, les faces générées peuvent déborder au-delà de la région cible prévue.
4. Écart Entraînement-Inférence : Les contextes d'entraînement sont extraits de maillages de vérité terrain propres, tandis que les contextes d'inférence peuvent contenir des artefacts provenant d'étapes antérieures ou de sélections utilisateur, entraînant des problèmes de robustesse.

Méthodologie : MeshFIM

Les auteurs introduisent MeshFIM, un cadre Fill-in-the-Middle (FIM) adapté des modèles de complétion de code pour la génération autorégressive de maillages. MeshFIM traite l'édition locale de maillages comme une tâche de remplissage conditionnel, où une région cible $B$ est régénérée sur la base d'un contexte environnant $A\setminus B$ et d'une géométrie de référence $P$.

Le cadre emploie cinq choix de conception complémentaires pour répondre aux défis spécifiques de l'édition de maillages :

1. Marqueurs de Sommets de Frontière

Pour imposer un attachement exact, le modèle marque explicitement les tokens de contexte correspondant aux sommets sur la frontière exposée ($V_\partial$). Ces embeddings sont modifiés en ajoutant un vecteur marqueur appris ($m_{bdry}$). Cela fournit une indication explicite au décodeur concernant quels sommets de contexte doivent être réutilisés comme ancres de couture, assurant une connectivité fluide.

2. Largeur de Contexte Étendue

Pour prévenir le débordement de génération (faces débordant au-delà de la région cible), la fenêtre de contexte est étendue. Au lieu d'un voisinage minimal, le modèle utilise un contexte plus large (par exemple, trois anneaux en largeur d'abord). Cela expose plus de géométrie environnante, fournissant des preuves suffisantes pour que le modèle infère la courbure locale et le flux des arêtes, maintenant ainsi la génération localisée.

3. Embeddings Positionnels de Contexte

Puisque la sérialisation aplatit le maillage, le modèle risque de traiter le contexte comme un sac désordonné de sommets. Pour restaurer la structure topologique locale, des embeddings positionnels appris sont ajoutés à la séquence de contexte sérialisée. Cela aide le modèle à préserver les motifs environnants tels que le flux des arêtes et la densité des faces.

4. Encodeur de Géométrie Low-Poly avec Soustraction Gated

Les conditionneurs de nuages de points standards encodent la surface de référence mais manquent de connaissance de ce que le maillage low-poly existant couvre déjà. MeshFIM introduit un mécanisme pour combler cet écart :

• Un encodeur Perceiver-IO partagé encode à la fois le nuage de points de référence ($P_{gt}$) et le maillage low-poly existant ($P_{lp}$, avec la région cible retirée) en utilisant le même ensemble de positions de requête.
• Un réseau de porte léger produit un vecteur $g$ basé sur la différence entre les latents alignés ($z_{gt}$ et $z_{lp}$).
• Le signal de conditionnement final est une atténuation du latent de référence : $\hat{z} = (1 - g) \cdot z_{gt}$.
• Mécanisme : Là où le maillage existant couvre déjà bien la surface de référence, la porte supprime le signal de référence. Là où le maillage manque (le trou), la porte permet au latent de référence complet de passer, dirigeant la génération spécifiquement vers la région manquante.

5. Augmentation de Contexte

Pour combler l'écart entraînement-inférence, le processus d'entraînement inclut une augmentation de contexte. Les coordonnées des sommets de contexte sont perturbées avec des décalages aléatoires, et les sommets de frontière sont perturbés de manière similaire. Cela expose le modèle à des contextes bruyants et incomplets pendant l'entraînement, améliorant la robustesse lors de l'inférence.

Contributions Clés

• Premier Éditeur de Maillages Low-Poly Local : MeshFIM est le premier cadre permettant une édition locale précise de maillages low-poly utilisant une génération autorégressive, évitant ainsi la nécessité d'une régénération complète.
• Adaptation FIM pour la 3D : Il adapte avec succès le paradigme Fill-in-the-Middle aux maillages 3D, répondant aux contraintes géométriques et topologiques non triviales uniques aux données 3D.
• Composants Architecturaux Novateurs : L'article introduit des mécanismes spécifiques (marqueurs de frontière, soustraction gated, augmentation de contexte) qui résolvent collectivement les problèmes d'appariement des frontières, de débordement et de cohérence topologique.
• Applications Duales : Le cadre prend en charge à la fois l'édition interactive basée sur le pinceau et un pipeline automatique de réparation de défauts.

Résultats Expérimentaux

Les auteurs ont évalué MeshFIM par rapport à une gamme de bases de comparaison, incluant le remplissage de trous classique, la subdivision neuronale et la génération de maillage complet avec des schémas de recousure.

• Performance Quantitative : MeshFIM surpasse significativement les bases de comparaison en termes de correction des frontières (Ratio Moyen d'Appariement des Sommets de 99,75 % contre <34 % pour les autres) et de qualité géométrique (Taux de Distance de Chamfer Positive de 95,54 %). Il démontre également une supériorité en termes de localité, avec un impact minimal sur la géométrie environnante.
• Études d'Ablation : Des ablations détaillées confirment la nécessité de chaque composant. Les marqueurs de sommets de frontière ont fourni le gain unique le plus important en termes de ratio d'appariement parfait. L'expansion de la largeur de contexte a réduit nettement les taux de débordement. L'encodeur de géométrie low-poly a en outre supprimé le débordement et amélioré la qualité de génération.
• Applications :
  • Édition Interactive : Une interface web permet aux utilisateurs de peindre des régions cibles, qui sont ensuite régénérées de manière fluide.
  • Réparation Automatique : Un pipeline utilisant des heuristiques graphiques détecte les défauts (par exemple, faces manquantes, normales inversées) et les répare itérativement en utilisant MeshFIM, atteignant un taux de réparation de 88,9 % sur des maillages endommagés après quatre cycles.

Importance et Revendications

L'article revendique que MeshFIM représente une avancée significative dans les flux de travail pratiques de modélisation 3D. En permettant des éditions locales sans détruire la topologie existante, il s'aligne sur la nature itérative de la modélisation professionnelle. Les auteurs soulignent que leur méthode est la première à combiner la génération de topologie de haute qualité des modèles AR avec la précision requise pour l'édition locale, comblant efficacement le fossé entre l'IA générative et la manipulation pratique des maillages. Ce travail suggère que la création future d'actifs 3D peut s'éloigner des approches « régénérer tout » vers un raffinement ciblé et conscient du contexte.