Technische Samenvatting: WireframeDETR voor S23DR 2026

Probleemdefinitie

De S23DR 2026 Challenge richt zich op de 3D gebouw-draadmodelreconstructie vanuit ijle, multi-view COLMAP-puntenwolken. De inputdata bevat per punt RGB-kleuren, Gestalt (73 klassen) en ADE20K (107 klassen) semantische segmentatiekaarten, en monoculaire diepteschattingen. Het doel is het voorspellen van een set 3D-vertices en verbindende randen die de dakstructuur van het gebouw representeren.

Prestaties worden geëvalueerd met de Hybrid Structure Score (HSS), gedefinieerd als het harmonisch gemiddelde van de vertex F1-score en de edge volumetrische IoU:
$$\text{HSS} = \text{harmonisch gemiddelde}(\text{F1}(v_{gt}, \hat{v}), \text{IoU}(e_{gt}, \hat{e}))$$

Identificatie van de belangrijkste uitdagingen omvat de ijlheid van COLMAP-reconstructies op textuurloze oppervlakken, inconsistente cameraparameters die leiden tot misalignement tussen pose en annotatie, en de moeilijkheid van het fuseren van 3D-puntenwolken met 2D semantische labels.

Methodologie: WireframeDETR

De auteurs stellen WireframeDETR voor, een end-to-end model dat draadmodelvoorspelling herformuleert als een direct set-voorspellingsprobleem over 3D-puntenwolken, waardoor tussenliggende vertexdetectiestadia en post-hoc Non-Maximum Suppression (NMS) worden geëlimineerd.

Architectuuroverzicht

Het model verwerkt een ongeordende set van $N$ 3D-punten (gesampled uit de puntenwolk) via een Transformer-gebaseerde pipeline:

1. Inputverwerking: 3D RGB-features worden geprojecteerd naar een embeddingdimensie $d=384$. Sinusoïdale 3D-positionele encodings worden aan elk token toegevoegd.
2. Encoder: Een 4-laagse Transformer-encoder verwerkt de tokens.
3. Multi-Scale Memory: In plaats van alleen de output van de laatste laag door te geven, aggregeert het model de laatste $K=3$ encoder-laagoutputs met behulp van geleerde scalaire gewichten. Dit stelt de decoder in staat om zowel lokale geometrie als abstracte structurele kenmerken te benutten.
4. Decoder: Een 5-laagse Transformer-decoder maakt gebruik van $Q=128$ geleerde edge-queries. Elke query voorspelt een 6D-coördinaatpaar $(x_1, y_1, z_1, x_2, y_2, z_2)$ dat een rand (edge) representeert.
5. Head: Afzonderlijke classificatie- en coördinatenregressie-heads produceren de uiteindelijke edge-set.

Belangrijke Technische Bijdragen

Het artikel identificeert drie specifieke technische innovaties die de training stabiliseren en de prestaties verbeteren:

1. Contrastive Denoising (CDN) Training:
   Om de instabiliteit van Hungarian matching in de vroege trainingsepochs aan te pakken (waarbij queries in verschillende iteraties aan verschillende ground-truth targets kunnen worden gekoppeld), passen de auteurs de CDN-aanpak van DN-DETR aan.

   • Mechanisme: Voor elke ground-truth edge genereert het model positieve denoising-queries (geperturbteerde GT-coördinaten) en negatieve queries (achtergrond).
   • Constraint: Een attention mask zorgt ervoor dat denoising-queries en geleerde queries alleen binnen hun eigen groepen aandacht besteden, waardoor de gradiëntpaden onafhankelijk blijven.
   • Effect: Dit levert vanaf epoch 0 een zuiver gradiëntsignaal op, wat de convergentie stabiliseert.

2. Multi-Scale Encoder Aggregatie:
   Het model berekent een geleerde gewogen som van de laatste drie encoder-laagoutputs ($H_{L-2}, H_{L-1}, H_L$). Dit stelt de decoder in staat om tussenliggende representaties te benutten die lokale geometrische details naast hoogwaardige structurele kenmerken vastleggen, met minimale parameteroverhead.

3. Progressieve Auxiliary Loss Weighting:
   Auxiliaire outputs worden gegenereerd vanuit tussenliggende decoderlagen. De auteurs observeren dat de kwaliteit van de voorspelling verbetert naarmate de diepte van de decoder toeneemt. Daarom passen zij een lineair toenemend gewicht toe op de hulpverliezen (auxiliary losses, $w_{aux}$), variërend van 0,6 voor de eerste hulp-laag tot 1,0 voor de voorlaatste laag. Dit concentreert de gradiëntsignalen op de lagen die het meeste baat hebben bij supervisie.

Data en Trainingsstrategie

• Gestalt-gestuurde Sampling: Punten worden gesampled op basis van structurele belangrijkheid. Vertex-klassen (bijv. top, dakrand) worden 100x gewogen, edge-klassen 10x, en achtergrond 1x. Dit concentreert de samples nabij structurele kenmerken zonder de semantische labels direct in de modelkenmerken te coderen.
• Coördinatennormalisatie: Coördinaten worden genormaliseerd naar $[0, 1]^3$ per scène met behulp van het 5–95% percentielbereik.
• Trainingsopstelling: Getraind voor 200 epochs op een enkele NVIDIA A100 GPU met AdamW en een one-cycle learning rate schedule. Gradiënt clipping ($\ell_2$ norm < 0,1) wordt gebruikt om de CDN-training te stabiliseren.
• Inference: Voorspelde randen worden gefilterd op basis van classificatiescore (>0,9). Vertices worden gededupliceerd door punten binnen 0,5 m samen te voegen. Optionele test-time augmentatie (4 rotaties op de Y-as) is beschikbaar maar staat standaard uit in de inzending.

Experimentele Resultaten

Het model werd geëvalueerd op de S23DR 2026 dataset (ca. 22.000 scènes).

• Prestaties: WireframeDETR behaalde een publieke test HSS van 0,575 (Vertex F1 = 0,664, Edge IoU = 0,516). Op de schoongemaakte validatieset behaalde het een beste HSS van 0,534.

• Vergelijking:

  • Presteerde beter dan de officiële Perceiver-baseline (HSS 0,350) en de handmatige baseline (HSS 0,391).
  • Presteerde significant beter dan een twee-fasen PointNet-pipeline (Pad B), die moeite had met de precisie van randen (F1 = 0,289) ondanks een hoge vertex recall.
  • Pad A (Perceiver fine-tuning) resulteerde in catastrofale vergetelheid (catastrophic forgetting), waarbij de HSS onder de 0,26 zakte.

• Trainingsdynamiek: De CDN coördinatenverlies daalde gestaag van ~2,07 naar ~1,25 over de eerste 15 epochs, wat bevestigt dat het denoising-pad betrouwbaar convergeert en schonere gradiënten levert dan standaard Hungarian matching.

Betekenis en Claims

Het artikel claimt dat WireframeDETR succesvol aantoont dat DETR-stijl set-voorspelling direct kan worden toegepast op ijle 3D-puntenwolken voor gestructureerde geometrische reconstructie, waarbij de noodzaak voor gekascadeerde foutpropagatie die in twee-fasen pipelines voorkomt, wordt omzeild.

De auteurs benadrukken dat hun aanpak variabel-cardinaliteit draadmodellen afhandelt zonder post-hoc NMS en de training stabiliseert in de aanwezigheid van ruisachtige matching via contrastive denoising. Hoewel de methode ongeveer twee keer zo traag is om te trainen als de Perceiver-baseline (door variabele sequentielengtes die torch.compile verhinderen), rechtvaardigt de substantiële winst in HSS het end-to-end set-voorspellingsparadigma voor buitengebouwen met draadmodellen.

Het werk bouwt voort op het succes van RoomFormer [11] voor binnenplattegronden en breidt het paradigma uit naar het complexere en ijlere domein van buitenste dakstructuren van gebouwen. De auteurs merken op dat toekomstig werk gezamenlijke vertex-edge voorspelling met contrastieve vertexverliezen en feature-gestuurde vertex-merging zou kunnen verkennen.