FurnSet: Exploiting Repeats for 3D Scene Reconstruction

Probleemstelling

Het herconstrueren van een volledige 3D-scène uit één enkele 2D-afbeelding (single-view 3D scene reconstruction) is een uitdagend probleem dat twee hoofdtaken vereist: het afleiden van de geometrie van individuele objecten en het schatten van hun ruimtelijke indeling (layout) binnen de scène.

Bestaande methoden hebben vaak te kampen met de volgende beperkingen:

1. Onafhankelijke reconstructie: Veel methoden behandelen objecten als geïsoleerde entiteiten, waardoor ze geen gebruik maken van de contextuele informatie die in de scène aanwezig is.
2. Onderbenutting van herhaling: In echte wereldscènes komen objecten vaak voor in sets (meerdere exemplaren van hetzelfde object). Bestaande technieken exploiteren deze herhaling niet effectief om de reconstructie te verbeteren, vooral niet bij zware occlusie (verduistering).
3. Amodale redenering: Omdat objecten elkaar vaak verbergen, moet de geometrie van het onzichtbare deel worden afgeleid. Methoden die dit doen, opereren vaak te lokaal en missen het vermogen om informatie uit meerdere exemplaren van hetzelfde object te combineren.

Methodologie: FurnSet

De auteurs stellen FurnSet voor, een raamwerk dat expliciet identificeert en benut herhalende objectinstanties om de reconstructiekwaliteit te verbeteren. Het proces verloopt in de volgende fasen:

1. Voorverwerking en Conditionering

• De input is een enkele scène-afbeelding.
• Een geavanceerd segmentatiemodel (off-the-shelf) genereert per-object maskers en gesegmenteerde afbeeldingen.
• Zowel de volledige scène als de individuele objecten worden gecodeerd met een vooraf getrainde encoder (DINOv2) om visuele features op scène- en objectniveau te extraheren.

2. Set-bewuste Gestructureerde Voxel-Generatie
Dit is het kerninnovatiepunt van het paper:

• CLS Tokens: Aan elk object wordt een specifiek "CLS token" toegewezen. Deze tokens worden gebruikt om te identificeren welke objecten tot dezelfde set (identieke exemplaren) behoren.
• Set-bewuste Self-Attention: Het model gebruikt een Diffusion Transformer (DiT) met een unieke self-attention mechanisme.
  • Er wordt een similarity head gebruikt om de cosine-相似iteit tussen CLS tokens van verschillende objecten te berekenen.
  • Deze similariteit fungeert als een bias in de attention-mechanisme. Objecten die tot dezelfde set behoren, krijgen een sterkere aandacht voor elkaar dan voor andere objecten.
  • Hierdoor kunnen identieke objecten hun geometrische informatie uitwisselen en elkaar wederzijds informeren tijdens de generatie, wat leidt tot een completere en robuustere reconstructie, zelfs als sommige exemplaren zwaar verduisterd zijn.
• Cross-Attention: Het model combineert object-specifieke features (van de gesegmenteerde afbeelding) met scene-level features (van de volledige afbeelding) om zowel lokale details als globale context te integreren.

3. Structured Latent Generatie

• Voor de tekstuur en fijne geometrie wordt een tweede model gebruikt dat de latente features voor de voxelstructuur genereert.
• Als een set van identieke objecten is geïdentificeerd, wordt de voxelstructuur gedeeld. De features van de individuele exemplaren worden gemiddeld voordat ze naar de volgende transformer-laag worden gestuurd, waarna ze worden gedecodeerd naar 3D Gaussian Splatting (GS) representaties.

4. Layout Schatting en Optimalisatie

• Na het genereren van de 3D-objecten moet de positie in de scène worden bepaald.
• Een dieptemodel schat een dieptekaart van de scène, die wordt omgezet in een puntwolk.
• Een layout-optimizer past de positie, rotatie en schaal van elk gegenereerd object aan door de 3D- en 2D-projectie-fouten (Chamfer Distance) te minimaliseren tussen de gegenereerde objecten en de waargenomen puntwolken uit de originele afbeelding.

Belangrijkste Bijdragen

1. Nieuw Raamwerk: Een framework voor single-view 3D-reconstructie dat scene-level en object-level informatie combineert om de geometrie te sturen.
2. Set-bewuste Attention: Introductie van per-object CLS tokens en een set-aware self-attention mechanisme. Dit identificeert herhalende instanties en voegt complementaire waarnemingen samen voor een gezamenlijke reconstructie, wat de geometrische consistentie verbetert.
3. Uitgebreide Evaluatie: Omvattende experimenten die de superioriteit van de aanpak aantonen, met name bij scènes met herhalende objecten.

Resultaten

De methode is getest op de 3D-Future en 3D-Front datasets en vergeleken met state-of-the-art methoden zoals MIDI, SceneGen en SAM-3D.

• Kwantitatieve Resultaten: FurnSet behaalde de beste prestaties op alle metrieken (Chamfer Distance en F-Score) voor zowel de totale scène als individuele objecten.
  • De verbetering is het meest opvallend bij herhalende objectinstanties. Waar andere methoden worstelen met occlusie, presteert FurnSet hier aanzienlijk beter door informatie uit meerdere exemplaren te combineren.
  • Voorbeeld: De CD-O (Object Chamfer Distance) voor herhalende instanties daalde van ~0.045 (beste concurrent) naar 0.0281 (FurnSet), en de F-Score steeg naar 77.72.
• Kwalitatieve Resultaten: Visuele vergelijkingen tonen aan dat FurnSet beter in staat is om geometrische ambiguïteiten op te lossen die ontstaan door verduistering, doordat het een gedeeld structureel template gebruikt voor sets van identieke objecten.

Ablatie Studies

De auteurs toonden aan dat beide componenten essentieel zijn:

• Zonder Global Self-Attention (alleen object-level) kan het model geen gebruik maken van de ruimtelijke context van andere objecten.
• Zonder Set-Aware Attention (standaard attention zonder CLS tokens) verliest het model het vermogen om specifieke sets te identificeren. Hierdoor wordt de gedeelde geometrische informatie minder effectief benut, wat leidt tot inconsistenties binnen sets van identieke objecten.

Significantie

FurnSet markeert een belangrijke stap voorwaarts in 3D-scène reconstructie door het probleem van occlusie en data-schaarste aan te pakken via een slimme exploitatie van repetitie. In plaats van te proberen elk object als uniek en geïsoleerd te reconstrueren, erkent het model dat objecten in sets voorkomen en gebruikt dit als een krachtige prior. Dit leidt tot robuustere, nauwkeurigere en visueel overtuigendere 3D-scènes, wat essentieel is voor toepassingen in Augmented Reality (AR), Virtual Reality (VR) en robotica, waar hoge kwaliteit 3D-data schaars is.