Sintesi Tecnica: WireframeDETR per S23DR 2026

Definizione del Problema

La sfida S23DR 2026 si concentra sulla ricostruzione di wireframe di edifici 3D da nuvole di punti COLMAP sparse e multi-view. I dati di input includono colori RGB per punto, mappe di segmentazione semantica Gestalt (73 classi) e ADE20K (107 classi), e stime di profondità monoculari. L'obiettivo è predire un insieme di vertici 3D e bordi connettivi che rappresentino la struttura del tetto dell'edificio.

Le prestazioni sono valutate tramite lo Hybrid Structure Score (HSS), definito come la media armonica tra il F1 score dei vertici e l'IoU volumetrico degli spigoli:
$$\text{HSS} = \text{media armonica}(\text{F1}(v_{gt}, \hat{v}), \text{IoU}(e_{gt}, \hat{e}))$$

Tra le sfide chiave identificate figurano la scarsità delle ricostruzioni COLMAP sulle superfici prive di texture, l'incoerenza dei parametri della camera che causa il disallineamento tra pose e annotazioni, e la difficoltà di fondere le nuvole di punti 3D con le etichette semantiche 2D.

Metodologia: WireframeDETR

Gli autori propongono WireframeDETR, un modello end-to-end che riformula la predizione di wireframe come un problema diretto di predizione di set su nuvole di punti 3D, eliminando le fasi intermedie di rilevamento dei vertici e il post-hoc Non-Maximum Suppression (NMS).

Panoramica dell'Architettura

Il modello elabora un insieme non ordinato di $N$ punti 3D (campionati dalla nuvola di punti) attraverso una pipeline basata su Transformer:

1. Elaborazione dell'Input: Le caratteristiche 3D RGB vengono proiettate in una dimensione di embedding $d=384$. A ogni token vengono aggiunti codifiche posizionali 3D sinusoidali.
2. Encoder: Un encoder Transformer a 4 strati elabora i token.
3. Memoria Multi-Scala: Invece di passare solo l'output dell'ultimo strato, il modello aggrega gli ultimi $K=3$ output degli strati dell'encoder utilizzando pesi scalari appresi. Ciò consente al decoder di accedere sia alla geometria locale che alle caratteristiche strutturali astratte.
4. Decoder: Un decoder Transformer a 5 strati utilizza $Q=128$ query di bordo apprese. Ogni query predice una coppia di coordinate 6D $(x_1, y_1, z_1, x_2, y_2, z_2)$ che rappresenta un bordo.
5. Testa (Head): Teste separate di classificazione e regressione delle coordinate producono l'insieme finale dei bordi.

Contributi Tecnici Chiave

Il documento identifica tre innovazioni tecniche specifiche che stabilizzano l'addestramento e migliorano le prestazioni:

1. Addestramento Contrastive Denoising (CDN):
   Affrontando l'instabilità del matching di Hungarian nelle prime epoche di addestramento (dove le query possono essere associate a target di ground-truth differenti tra le iterazioni), gli autori adattano l'approccio CDN da DN-DETR.

   • Meccanismo: Per ogni bordo di ground-truth, il modello genera query di denoising positive (coordinate GT perturbate) e query negative (background).
   • Vincolo: Una maschera di attenzione assicura che le query di denoising e le query apprese prestino attenzione solo all'interno dei propri gruppi, mantenendo indipendenti i percorsi del gradiente.
   • Effetto: Questo fornisce un segnale di gradiente pulito fin dalla prima epoca, stabilizzando la convergenza.

2. Aggregazione dell'Encoder Multi-Scala:
   Il modello calcola una somma pesata appresa degli ultimi tre output degli strati dell'encoder ($H_{L-2}, H_{L-1}, H_L$). Ciò consente al decoder di sfruttare rappresentazioni intermedie che catturano dettagli geometrici locali insieme a caratteristiche strutturali di alto livello, con un overhead di parametri minimo.

3. Ponderazione Progressiva della Loss Ausiliaria:
   Gli output ausiliari sono generati dagli strati intermedi del decoder. Gli autori osservano che la qualità della predizione migliora all'aumentare della profondità del decoder. Di conseguenza, applicano un peso linearmente crescente alle loss ausiliarie ($w_{aux}$), che varia da 0,6 per il primo strato ausiliario a 1,0 per lo strato pre-finale. Ciò concentra i segnali di gradiente sugli strati che beneficiano maggiormente della supervisione.

Dati e Strategia di Addestramento

• Campionamento Guidato da Gestalt: I punti sono campionati in base all'importanza strutturale. Le classi dei vertici (es. apice, gronda) sono pesate 100x, le classi dei bordi 10x e il background 1x. Questo concentra i campioni vicino alle caratteristiche strutturali senza codificare direttamente le etichette semantiche nelle feature del modello.
• Normalizzazione delle Coordinate: Le coordinate sono normalizzate nell'intervallo $[0, 1]^3$ per scena utilizzando l'intervallo tra il 5° e il 95° percentile.
• Configurazione dell'Addestramento: Addestrato per 200 epoche su una singola GPU NVIDIA A100 utilizzando AdamW con uno schema di learning rate a ciclo singolo (one-cycle). Il clipping del gradiente ($\ell_2$ norm < 0.1) è utilizzato per stabilizzare l'addestramento CDN.
• Inferenza: I bordi predetti sono filtrati tramite punteggio di classificazione (>0.9). I vertici sono de-duplicati unendo i punti entro 0.5m. È disponibile l'augmentation del tempo di test opzionale (4 rotazioni sull'asse Y), ma è disabilitata di default nella sottomissione.

Risultati Sperimentali

Il modello è stato valutato sul dataset S23DR 2026 (circa 22.000 scene).

• Prestazioni: WireframeDETR ha ottenuto un HSS del test pubblico di 0,575 (Vertex F1 = 0,664, Edge IoU = 0,516). Sul set di validazione pulito, ha raggiunto un HSS massimo di 0,534.

• Confronto:

  • Ha superato il baseline ufficiale Perceiver (HSS 0,350) e il baseline artigianale (HSS 0,391).
  • Ha superato significativamente una pipeline PointNet a due stadi (Path B), che ha avuto difficoltà con la precisione dei bordi (F1 = 0,289) nonostante l'alto recall dei vertici.
  • Path A (fine-tuning di Perceiver) ha causato un dimenticanza catastrofica (catastrophic forgetting), facendo scendere l'HSS sotto lo 0,26.

• Dinamiche di Addestramento: La loss delle coordinate CDN è diminuita costantemente da circa 2,07 a 1,25 nelle prime 15 epoche, confermando che il percorso di denoising converge in modo affidabile e fornisce gradienti più puliti rispetto al normale matching di Hungarian.

Significato e Rivendicazioni

Il documento afferma che WireframeDETR dimostra con successo che la predizione di set in stile DETR può essere applicata direttamente a nuvole di punti 3D sparse per la ricostruzione di geometrie strutturate, bypassando la necessità di pipeline a due stadi con propagazione dell'errore a cascata.

Gli autori sottolineano che il loro approccio gestisce wireframe a cardinalità variabile senza NMS post-hoc e stabilizza l'addestramento in presenza di matching rumorosi tramite il denoising contrastivo. Sebbene il metodo sia circa due volte più lento da addestrare rispetto al baseline Perceiver (a causa delle lunghezze delle sequenze variabili che impediscono l'uso di torch.compile), il sostanziale guadagno in HSS valida il paradigma della predizione di set end-to-end per i wireframe di edifici esterni.

Il lavoro si basa sul successo di RoomFormer [11] per le planimetrie interne, estendendo il paradigma al dominio più complesso e sparso dei tetti degli edifici esterni. Gli autori notano che il lavoro futuro potrebbe esplorare la predizione congiunta di vertici ed edge con loss contrastive per i vertici e l'unione dei vertici guidata dalle feature.