Point-based Instance Completion with Scene Constraints

Deze paper introduceert een nieuw model voor het completeren van objecten in een scène dat scene-constraints integreert via cross-attention, en presenteert het nieuwe ScanWCF-dataset om de kwaliteit en plausibiliteit van dergelijke completering te verbeteren.

De kern

Titel: De 3D-Puzzelmeester die de Kamer in de Gaten Houdt

Stel je voor dat je een kamer binnenstapt met een speciale bril die alleen de voorste kant van meubels kan zien. Je ziet de voorkant van een stoel, maar de poten aan de achterkant zijn verborgen. Je ziet de zijkant van een kast, maar de binnenkant is onzichtbaar. Voor een robot of een computer is dit een raadsel: "Hoe ziet het object eruit als ik het niet helemaal kan zien?"

Dit is het probleem dat de auteurs van dit paper proberen op te lossen. Ze hebben een nieuwe slimme manier bedacht om deze ontbrekende stukjes 3D-puzzel in te vullen, maar dan op een manier die niemand eerder goed heeft gedaan.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het oude probleem: De "Ideale Wereld" vs. De "Echte Wereld"

Vroeger waren computers die 3D-objecten konden "repareren" (completeren) heel goed, maar alleen in een ideale wereld.

• De analogie: Stel je voor dat je een legpuzzel maakt, maar je mag de puzzelstukjes alleen op een specifieke manier leggen: de tafel moet altijd recht voor je staan, en de stoel moet altijd precies in het midden staan. Als je de puzzelstukjes dan ziet, weet de computer precies wat er ontbreekt omdat hij het antwoord al uit zijn hoofd kent.
• Het probleem: In de echte wereld (een kamer met meubels) staat de stoel schuin, is hij groter of kleiner, en staat hij tegen een muur aan. De oude computers raakten in de war omdat ze niet gewend waren aan deze "chaos". Ze dachten: "Oh, de stoel staat niet recht, dus ik kan hem niet repareren."

2. De nieuwe oplossing: De "Ruimtelijke Architect"

De auteurs hebben een nieuw model gebouwd dat zich niet laat gek maken door de hoek of grootte van een object. Maar ze hebben nog iets veel belangrijkers toegevoegd: bewustzijn van de omgeving.

• De analogie: Stel je voor dat je een schilderij maakt van een ontbrekende muur in een kamer.
  • Een oude computer zou misschien een deur schilderen op de plek waar je al een kast hebt staan. Of het zou een muur schilderen die dwars door een ander meubelstuk heen gaat. Het kijkt alleen naar het object zelf, niet naar de rest van de kamer.
  • Onze nieuwe "Architect" kijkt naar de hele kamer. Hij ziet: "Aha, hier is een kast, dus ik mag daar geen deur schilderen. En hier is een open ruimte, dus ik mag daar geen muur schilderen die er niet mag zijn."

3. Hoe werkt het technisch? (Maar dan simpel)

Het model doet drie dingen:

1. Het snapt de vorm: Het kijkt naar het stukje dat je wel ziet (bijvoorbeeld de zitting van de stoel) en denkt: "Oké, dit is een stoel."
2. Het zoekt de plek: In plaats van te raden waar het midden van de stoel zit, berekent het eerst precies waar het centrum is, en bouwt dan de rest van de stoel daar omheen. Dit werkt veel beter als de stoel schuin staat.
3. Het respecteert de regels: Dit is het belangrijkste. Het model krijgt een "spooklijst" van de kamer. Deze lijst zegt: "Hier is vrije ruimte (je mag hier niet bouwen)" en "Hier is een ander object (je mag hier niet in botsen)". Het gebruikt een slimme techniek (cross-attention) om deze regels te lezen terwijl het de stoel tekent.

4. De Nieuze "Puzzelbox" (ScanWCF)

Om hun nieuwe model te testen, merkten ze dat de oude testmateriaal (datasets) vol zaten met fouten. Het was alsof ze een puzzel testten waarbij de randstukjes van de doos niet overeenkwamen met de foto op de voorkant, of waarbij de puzzelstukjes elkaar doorboorden.

Dus hebben ze zelf een nieuwe, perfecte puzzelbox gemaakt genaamd ScanWCF.

• Wat is het? Een verzameling van 3D-situaties van binnenkamers.
• Waarom is het speciaal? Alle objecten passen perfect in elkaar (geen botsingen) en de ontbrekende stukjes zijn exact bekend. Het is de "heilige graal" om te testen of een computer echt slim is.

5. Het Resultaat: Minder Botsingen, Meer Realisme

In hun tests hebben ze laten zien dat hun nieuwe model:

• Beter is in het invullen: Het tekent dunne stoelpoten en complexe vormen veel nauwkeuriger dan de concurrenten.
• Niet botst: Het plaatst geen meubels door elkaar heen (een veelvoorkomend probleem bij andere AI's).
• Kijkt naar de context: Het begrijpt dat als er een muur is, de stoel daar niet doorheen kan groeien.

Samenvattend:
Stel je voor dat je een robot hebt die een kamer moet opruimen. De oude robots zagen een half zichtbare stoel en dachten: "Ik ga een stoel maken," en plaatsten die soms dwars door de tafel heen. De nieuwe robot van dit paper kijkt naar de hele kamer, ziet waar de tafel staat, en plaatst de stoel op de perfecte plek, compleet met alle ontbrekende poten, alsof hij de kamer al jaren kent.

Dit maakt robots veel slimmer en veiliger voor interactie in onze echte, rommelige wereld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Point-Based Instance Completion with Scene Constraints", gepubliceerd bij ICLR 2025.

Titel: Point-Based Instance Completion with Scene Constraints

Auteurs: Wesley Khademi & Li Fuxin (Oregon State University)

---

1. Het Probleem

Bestaande methoden voor het completeren van 3D-objecten (object completion) op basis van puntenwolken presteren uitstekend bij het reconstrueren van de geometrie van geïsoleerde objecten. Echter, deze methoden zijn niet geschikt voor het completeren van objecten binnen een volledige scène om twee hoofdredenen:

1. Canonieke Coördinaten: De meeste bestaande modellen gaan ervan uit dat inputobjecten in een canoniek coördinatenstelsel staan (gecentreerd, geschaald en georiënteerd). In een echte scène hebben objecten willekeurige posities, schalen en rotaties, wat deze aanname ongeldig maakt.
2. Gebrek aan Scènecontext: Bestaande methoden negeren bekende scènebeperkingen, zoals andere waargenomen oppervlakken, vrije ruimte of occlusies. Dit leidt vaak tot onrealistische resultaten waarbij completerende objecten door andere objecten heen groeien (collisions) of in de camera groeien (schending van vrije ruimte).

Aan de andere kant bestaande methoden voor instance scene completion (completeren binnen een scène) blijven achter in kwaliteit vergeleken met point-based object completion en negeren vaak ook deze scènebeperkingen.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor dat puntenwolken gebruikt om objecten robuust te completeren binnen een scène, ongeacht hun schaal of pose. De architectuur bestaat uit drie hoofdfasen:

A. Partial Encoder (Deel-Encoder)

• De input is een gedeeltelijke scan van een object met geschatte oppervlaktenormals.
• In plaats van standaard PointConv, gebruiken de auteurs VI-PointConv (Viewpoint-Invariant Point Convolution). Deze filters zijn ontworpen om invariant te zijn voor rotatie en schaal, wat essentieel is voor objecten in willekeurige poses.
• De encoder produceert lokale features en een globaal vormdescriptor.

B. Seed Generator (Zaad-Generator)

Dit is een kerninnovatie om het probleem van canonieke coördinaten op te lossen:

• Objectcentrum & Offsets: In plaats van direct de coördinaten van het volledige object te voorspellen, voorspelt het model eerst het centrum van het object. Vervolgens worden de "Patch Seeds" (ruwe representatie van het object) voorspeld als offsets ten opzichte van dit centrum.
• Cross-Attention met Scènebeperkingen: Om rekening te houden met de omgeving, introduceert het model een set van sparse scènebeperkingen (scene constraints). Deze worden weergegeven als twee dunne schillen van punten:
  1. Vrije Ruimte (Free Space): Punten die bekend zijn als leeg (geen object).
  2. Ocecludeerde Ruimte (Occluded Space): Punten achter bekende oppervlakken waar objecten niet kunnen zijn.
• Deze beperkingen worden via een cross-attention mechanisme geïntegreerd in de seed generator. Hierdoor "weet" het model waar het geen punten mag genereren, wat collities voorkomt.

C. Coarse-to-Fine Decoder & Mesh Reconstruction

• De gegenereerde seeds worden via een hiërarchische decoder (met zowel lokale als globale attention lagen) opgeschaald naar een dichte puntenwolk.
• Een speciaal module voorspelt oppervlaktenormals voor de dichte puntenwolk. Dit is cruciaal omdat standaard PCA-benaderingen voor normals te ruisig blijken voor fijne details.
• De uiteindelijke puntenwolken en normals worden gebruikt om watertight meshes te reconstrueren met behulp van NKSR.

3. Nieuwe Dataset: ScanWCF

De auteurs stellen vast dat bestaande datasets (zoals Scan2CAD en ScanARCW) gebrekkig zijn:

• Scan2CAD: Slechte uitlijning tussen de echte scan en het synthetische ground truth mesh.
• ScanARCW: Bevat collities in de ground truth data, waardoor het onbetrouwbaar is om de plausibiliteit van een scène te meten.

Om dit op te lossen, introduceren ze ScanWCF (Watertight and Collision Free):

• Gebaseerd op ScanNet, ShapeNet, Scan2CAD en ScanARCW.
• Bevat 1202 binnenkamerscènes.
• Watertight: Alle meshes zijn gesloten en gesloten.
• Collision-Free: Objecten zijn geoptimaliseerd zodat ze niet in elkaar grijpen en niet zweven, met handmatige verificatie.
• Bevat zowel gedeeltelijke scans als perfect uitgelijnde ground truth compleet-scènes.

4. Resultaten

De methode is getest op de ScanWCF dataset en vergeleken met state-of-the-art methoden zoals RfD-Net en DIMR.

• Kwaliteit van Completering: De methode behaalt significant betere scores op metrics zoals Chamfer Distance (CD), Light Field Distance (LFD) en Intersection over Union (IoU), vooral bij moeilijkere drempels (wat betekent dat het fijne geometrische details beter herstelt).
• Respect voor Input: De methode volgt de waargenomen gedeeltelijke scan nauwkeuriger (lagere One-Sided CD en Unidirectional Hausdorff Distance).
• Plausibiliteit (Collities): Door de scènebeperkingen te gebruiken, reduceert de methode collities tussen objecten drastisch. RfD-Net en DIMR vertonen vaak objecten die diep in elkaar doorgroeien, terwijl ScanWCF bijna collision-free resultaten levert.
• Robuustheid: De methode presteert goed zonder dat objecten eerst in een canonieke pose moeten worden gebracht, wat de toepasbaarheid in echte scenario's vergroot.

5. Belangrijkste Bijdragen

1. Robuust Object-Completeringsmodel: Een nieuw model dat werkt met willekeurige schalen en poses van objecten binnen een scène, zonder afhankelijk te zijn van canonieke normalisatie.
2. Scènebewuste Completering: Integratie van een set van sparse scènebeperkingen (vrije en occludeerde ruimte) via cross-attention, wat zorgt voor plausibele completering zonder collities.
3. ScanWCF Dataset: Een nieuwe, hoogwaardige dataset voor instance scene completion die watertight en collision-free ground truth biedt, wat eerdere datasets ontbraken.

6. Betekenis en Conclusie

Dit werk is significant omdat het de kloof overbrugt tussen geïsoleerde object-completering en realistische scène-completering. Door rekening te houden met de fysieke beperkingen van de omgeving (geen collities, respect voor vrije ruimte), maakt de methode 3D-scèneherstel veel bruikbaarder voor robottoepassingen zoals navigatie en grijplanning. De introductie van de ScanWCF dataset lost het probleem op van onbetrouwbare evaluatie door gebrekkige ground truth data, en biedt een nieuwe standaard voor toekomstig onderzoek in dit domein.