Résumé Technique : WireframeDETR pour S23DR 2026

Définition du Problème

Le défi S23DR 2026 se concentre sur la reconstruction de squelettes (wireframes) de bâtiments en 3D à partir de nuages de points COLMAP épars et multi-vues. Les données d'entrée comprennent des couleurs RGB par point, des cartes de segmentation sémantique Gestalt (73 classes) et ADE20K (107 classes), ainsi que des estimations de profondeur monoculaire. L'objectif est de prédire un ensemble de sommets 3D et d'arêtes connectées représentant la structure du toit du bâtiment.

La performance est évaluée par le Score de Structure Hybride (HSS), défini comme la moyenne harmonique du score F1 des sommets et de l'IoU volumétrique des arêtes :
$$\text{HSS} = \text{moyenne harmonique}(\text{F1}(v_{gt}, \hat{v}), \text{IoU}(e_{gt}, \hat{e}))$$

Les principaux défis identifiés incluent la parcimonité des reconstructions COLMAP sur les surfaces sans texture, l'incohérence des paramètres de caméra provoquant un désalignement entre la pose et l'annotation, et la difficulté de fusionner les nuages de points 3D avec les étiquettes sémantiques 2D.

Méthodologie : WireframeDETR

Les auteurs proposent WireframeDETR, un modèle de bout en bout qui reformule la prédiction de squelettes comme un problème direct de prédiction d'ensemble (set prediction) sur des nuages de points 3D, éliminant les étapes intermédiaires de détection de sommets et la suppression non maximale (NMS) a posteriori.

Aperçu de l'Architecture

Le modèle traite un ensemble non ordonné de $N$ points 3D (échantillonnés à partir du nuage de points) via un pipeline basé sur un Transformer :

1. Traitement des Entrées : Les caractéristiques RGB 3D sont projetées dans une dimension d'embedding $d=384$. Des encodages positionnels 3D sinusoïdaux sont ajoutés à chaque jeton (token).
2. Encodeur : Un encodeur Transformer à 4 couches traite les jetons.
3. Mémoire Multi-Échelle : Au lieu de ne transmettre que la sortie de la dernière couche, le modèle agrège les $K=3$ dernières sorties de l'encodeur à l'aide de poids scalaires appris. Cela permet au décodeur d'accéder à la fois à la géométrie locale et aux caractéristiques structurelles abstraites.
4. Décodeur : Un décodeur Transformer à 5 couches utilise $Q=128$ requêtes d'arêtes apprises. Chaque requête prédit une paire de coordonnées 6D $(x_1, y_1, z_1, x_2, y_2, z_2)$ représentant une arête.
5. Tête (Head) : Des têtes distinctes de classification et de régression de coordonnées produisent l'ensemble d'arêtes final.

Contributions Techniques Clés

Le papier identifie trois innovations techniques spécifiques qui stabilisent l'entraînement et améliorent les performances :

1. Entraînement par Débruitage Contrastif (CDN) :
   Pour remédier à l'instabilité de l'appariement de Hungarian lors des premiers époques d'entraînement (où les requêtes peuvent être appariées à différentes cibles de vérité terrain à travers les itérations), les auteurs adaptent l'approche CDN de DN-DETR.

   • Mécanisme : Pour chaque arête de vérité terrain (ground-truth), le modèle génère des requêtes de débruitage positives (coordonnées de vérité terrain perturbées) et des requêtes négatives (arrière-plan).
   • Contrainte : Un masque d'attention garantit que les requêtes de débruitage et les requêtes apprises n'interagissent qu'au sein de leurs propres groupes, maintenant l'indépendance des chemins de gradient.
   • Effet : Cela fournit un signal de gradient propre dès l'époque 0, stabilisant la convergence.

2. Agrégation de l'Encodeur Multi-Échelle :
   Le modèle calcule une somme pondérée apprise des trois dernières sorties de l'encodeur ($H_{L-2}, H_{L-1}, H_L$). Cela permet au décodeur de tirer parti des représentations intermédiaires qui capturent les détails géométriques locaux aux côtés des caractéristiques structurelles de haut niveau, avec un surcoût de paramètres minimal.

3. Pondération Progressive des Pertes Auxiliaires :
   Des sorties auxiliaires sont générées à partir des couches intermédiaires du décodeur. Les auteurs observent que la qualité de la prédiction s'améliore à mesure que la profondeur du décodeur augmente. Par conséquent, ils appliquent un poids croissant linéairement aux pertes auxiliaires ($w_{aux}$), allant de 0,6 pour la première couche auxiliaire à 1,0 pour la pré-dernière couche. Cela concentre les signaux de gradient sur les couches qui bénéficient le plus de la supervision.

Données et Stratégie d'Entraînement

• Échantillonnage Guidé par Gestalt : Les points sont échantillonnés en fonction de leur importance structurelle. Les classes de sommets (ex: apex, rive) sont pondérées 100x, les classes d'arêtes 10x, et l'arrière-plan 1x. Cela concentre les échantillons près des caractéristiques structurelles sans encoder directement les étiquettes sémantiques dans les caractéristiques du modèle.
• Normalisation des Coordonnées : Les coordonnées sont normalisées dans $[0, 1]^3$ par scène en utilisant la plage des percentiles 5–95 %.
• Configuration de l'Entraînement : Entraîné pendant 200 époques sur un seul GPU NVIDIA A100 en utilisant AdamW avec un planning de taux d'apprentissage "one-cycle". Le découpage de gradient (gradient clipping, norme $\ell_2 < 0,1$) est utilisé pour stabiliser l'entraînement CDN.
• Inférence : Les arêtes prédites sont filtrées par score de classification (>0,9). Les sommets sont dédupliqués en fusionnant les points à moins de 0,5 m. Une augmentation optionnelle au moment du test (4 rotations de l'axe Y) est disponible mais désactivée par défaut dans la soumission.

Résultats Expérimentaux

Le modèle a été évalué sur le jeu de données S23DR 2026 (environ 22 000 scènes).

• Performance : WireframeDETR a atteint un HSS de test public de 0,575 (F1 des sommets = 0,664, IoU des arêtes = 0,516). Sur l'ensemble de validation nettoyé, il a atteint un meilleur HSS de 0,534.

• Comparaison :

  • A surpassé le baseline officiel Perceiver (HSS 0,350) et le baseline fait main (HSS 0,391).
  • A significativement surpassé un pipeline PointNet à deux étapes (Chemin B), qui a eu des difficultés avec la précision des arêtes (F1 = 0,289) malgré un rappel élevé des sommets.
  • Le Chemin A (fine-tuning de Perceiver) a entraîné un oubli catastrophique, faisant chuter le HSS en dessous de 0,26.

• Dynamique d'Entraînement : La perte de coordonnées CDN a diminué régulièrement de ~2,07 à ~1,25 au cours des 15 premières époques, confirmant que le chemin de débruitage converge de manière fiable et fournit des gradients plus clairs que l'appariement de Hungarian standard.

Signification et Revendications

Le papier affirme que WireframeDETR démontre avec succès que la prédiction d'ensemble de type DETR peut être appliquée directement aux nuages de points 3D épars pour la reconstruction de géométries structurées, contournant le besoin de cascades de propagation d'erreurs présentes dans les pipelines à deux étapes.

Les auteurs soulignent que leur approche gère des squelettes à cardinalité variable sans NMS a posteriori et stabilise l'entraînement en présence d'appariements bruités via le débruitage contrastif. Bien que la méthode soit environ deux fois plus lente à entraîner que le baseline Perceiver (en raison de longueurs de séquence variables empêchant torch.compile), le gain substantiel de HSS valide le paradigme de la prédiction d'ensemble de bout en bout pour les squelettes de toitures de bâtiments extérieurs.

Ce travail s'appuie sur le succès de RoomFormer [11] pour les plans d'étage intérieurs, en étendant le paradigme au domaine plus complexe et épars des toitures de bâtiments extérieurs. Les auteurs notent que les travaux futurs pourraient explorer la prédiction conjointe des sommets et des arêtes avec des pertes de sommets contrastives et la fusion de sommets guidée par les caractéristiques.