Seeing Through Clutter: Structured 3D Scene Reconstruction via Iterative Object Removal

Probleemstelling

Het reconstrueren van een gestructureerde 3D-scène vanuit één enkele RGB-afbeelding is een fundamentele uitdaging in computer vision en computer graphics. Bestaande methoden vertrouwen vaak op tussenstappen zoals semantische segmentatie en monokulaire diepteschatting. Deze benaderingen falen echter vaak in complexe, rommelige omgevingen met veel objecten en onderlinge verduistering (occlusie).

• De kernuitdaging: Wanneer objecten elkaar overlappen, worden segmentatiemasks onnauwkeurig en "ruisachtig". Dit leidt tot gebrekkige 3D-reconstructies waarbij verduisterde delen van objecten niet correct worden gereconstrueerd of waar fouten zich versterken door de complexiteit van de scène.
• Huidige beperkingen: Veel methoden vereisen specifieke training op datasets, werken niet goed buiten hun trainingsdomein (bijv. alleen meubels), en hebben moeite met het herkennen van objecten die grotendeels bedekt zijn door andere voorwerpen.

Methodologie: Seeing Through Clutter

De auteurs stellen een trainingsvrije (training-free) methode voor die een scène ontbindt in een reeks eenvoudigere sub-taken door objecten iteratief te verwijderen, te reconstrueren en de achtergrond in te vullen. Het proces bestaat uit twee hoofdfasen:

Fase 1: Iteratieve Objectverwijdering (Iterative Object Removal)

Het doel is om een reeks afbeeldingen te genereren waarin objecten één voor één worden verwijderd, zodat elk object op een bepaald moment volledig zichtbaar is zonder occlusie.

1. VLM als Orkestrator: Een Vision-Language Model (VLM, specifiek ChatGPT-4o) fungeert als centrale controller. Het analyseert de afbeelding en identificeert het meest prominente, volledig zichtbare voorgrondobject (of een secundair object dat op een ander ligt).
2. Objectvoorstelling & Segmentatie: De VLM geeft de naam van het object door. Een tekst-geconditioneerd segmentatiemodel (Grounded SAM met HQ SAM) gebruikt deze tekst om een nauwkeurig masker te genereren. Omdat de VLM alleen volledig zichtbare objecten kiest, is het masker schoon en vrij van occlusie.
3. Verwijdering & Inpainting: Het gemaskerde object wordt verwijderd uit de afbeelding. De vrijgekomen ruimte wordt ingevuld (inpainting) met de achtergrond, gebruikmakend van generatieve modellen (zoals Flux Kontext of gespecialiseerde inpainting-modellen).
4. Iteratie: Dit proces wordt herhaald totdat de VLM geen objecten meer detecteert in de resterende afbeelding. Het resultaat is een sequentie van afbeeldingen die steeds leger worden, en een set van "amodale" maskers (die zowel zichtbare als verduisterde delen van objecten omvatten).

Fase 2: Lay-out Optimalisatie (Layout Optimization)

In deze fase worden de geïsoleerde objecten omgezet in 3D en in een coherente scène geplaatst.

1. 3D Reconstructie: Voor elk verwijderd object (gebaseerd op het masker en de bijbehorende afbeelding) wordt een getextureerd 3D-mesh gegenereerd met behulp van een image-to-3D model (Hunyuan2). Omdat de objecten nu vrij zijn van occlusie, zijn deze reconstructies van hoge kwaliteit.
2. Dieptebepaling & Alignering: Er wordt monokulaire diepteschatting uitgevoerd op elke afbeelding in de sequentie. Omdat deze schattingen onafhankelijk zijn, zijn ze vaak niet consistent (verschillende schalen/offsets).
   • De auteurs introduceren een diepteverfijning met een MLP (Multi-Layer Perceptron) om de dieptekaarten af te stemmen op elkaar, zodat ze een coherente ruimte vormen.
3. Object Fitting: De gegenereerde 3D-meshes worden gepositioneerd en georiënteerd in de scène. Hiervoor wordt een twee-staps procedure gebruikt:
   • Eerst wordt een grove rotatie geschat door het mesh te vergelijken met de afbeelding (gebruikmakend van VGGT).
   • Vervolgens wordt een precisie-aanpassing gedaan via een least-squares probleem of ICP (Iterative Closest Point) tussen de geprojecteerde punten van het mesh en de verfijnde dieptekaart.
4. Filtering: Objecten die sterk overlappen (>90% IoU) met eerder geplaatste objecten (bijvoorbeeld door fouten in de inpainting) worden verwijderd om dubbelingen te voorkomen.

Belangrijkste Bijdragen

1. VLM-georkestreerde Pipeline: Een nieuw raamwerk waarbij een Vision-Language Model de volgorde van objectverwijdering bepaalt, waardoor complexe scènes systematisch worden ontbonden zonder handmatige tussenkomst.
2. Iteratieve Ontleding: Het bewijs dat het verwijderen van voorgrondobjecten leidt tot scherpere segmentatie en betere 3D-reconstructie van daarachter liggende objecten, zelfs in sterk verduisterde scènes.
3. Diepteverfijning en Lay-out Optimalisatie: Een methode om inconsistente monokulaire diepteschattingsresultaten uit een reeks afbeeldingen (met wisselende objecten) te aligneren tot één coherente 3D-ruimte.
4. Trainingsvrijheid: De methode maakt uitsluitend gebruik van bestaande, voorgeïmplementeerde foundation modellen (VLM, SAM, Inpainting, Image-to-3D) en vereist geen specifieke training of fine-tuning.

Resultaten

De methode is geëvalueerd op twee benchmarks: 3D-Front (synthetische binnenruimtes) en ADE20K (realistische, complexe scènes).

• 3D-Front (Reconstructie): De methode presteert superieur ten opzichte van state-of-the-art baselines (zoals Gen3DSR en MIDI*) op alle metrics, waaronder Chamfer Distance, F-Score en dieptefouten.
  • Ablatie-studies tonen aan dat het verwijderen van de diepte-alignatie leidt tot een sterke daling in prestaties, wat het belang van de coherente diepteverfijning benadrukt.
• ADE20K (Segmentatie): De iteratieve aanpak verbetert de segmentatiekwaliteit (IoU en RandIdx) aanzienlijk voor "things" (discrete objecten) in vergelijking met een single-step benadering. Dit bevestigt dat het verwijderen van verstorende objecten helpt bij het detecteren van verduisterde objecten.
• Generalisatie: De methode werkt succesvol op real-world foto's, kunstmatige afbeeldingen en zelfs op gegenereerde afbeeldingen uit text-to-image modellen, zonder aanpassing aan specifieke categorieën.

Betekenis en Toekomstperspectief

"Seeing Through Clutter" biedt een paradigmaverschuiving in 3D-scèneherstelling. In plaats van te proberen een complexe scène in één keer te begrijpen (wat vaak leidt tot fouten door occlusie), breekt het de taak op in een reeks eenvoudige, overzichtelijke stappen.

• Significantie: Het demonstreert dat foundation modellen, wanneer slim gecombineerd via een logische orchestratie (VLM), krachtige tools kunnen zijn voor complexe visuele taken zonder dat er zware, specifieke training nodig is.
• Toepassingen: De techniek is relevant voor content creatie, augmented reality (AR), robotica (perceptie in rommelige omgevingen) en beeldbewerking.
• Beperkingen: De huidige beperkingen liggen voornamelijk in de precisie van de objectuitlijning (soms onnauwkeurige rotatie) en artefacten die kunnen ontstaan bij de inpainting-stap. Toekomstig werk richt zich op het gebruik van video-gebaseerde dieptemodellen om de consistentie tussen de sequentie van afbeeldingen verder te verbeteren.