Improved Convex Decomposition with Ensembling and Negative Primitives

Probleemstelling

Het beschrijven van een 3D-scene met behulp van primitieven (geometrisch eenvoudige vormen) is een klassiek maar uitdagend probleem in de computer vision. Bestaande methoden kampen met drie hoofdproblemen:

1. Vaste complexiteit: De meeste methoden gebruiken een vast aantal primitieven per scène, wat niet past bij de variatie in complexiteit tussen verschillende scènes (sommige zijn simpel, andere zeer complex).
2. Beperkte expressiviteit: Traditionele methoden gebruiken vaak alleen convexe vormen (zoals kubussen of superquadrieken). Dit maakt het moeilijk om concave vormen (holtes, gaten) of complexe structuren efficiënt weer te geven zonder een onrealistisch groot aantal primitieven te gebruiken.
3. Fitting-problemen: Bestaande regressiemethoden missen precisie, terwijl descendente methoden (optimalisatie) gevoelig zijn voor lokale minima en slechte initialisatie.

Het doel is een compacte, nauwkeurige en semantisch coherente representatie van de scène te vinden die geschikt is voor toepassingen zoals beeldbewerking, robotica (grijpen, bewegingsplanning) en simulatie.

Methodologie

De auteurs stellen een hybride aanpak voor die regressie combineert met descendente optimalisatie, en introduceert twee kerninnovaties: negatieve primitieven en test-time ensembling.

1. Negatieve Primitieven (Constructive Solid Geometry - CSG)

In plaats van alleen positieve (opvullende) primitieven te gebruiken, introduceert de methode negatieve primitieven.

• Werking: De representatie wordt gedefinieerd als een verzameling positieve vormen ($O_+$) minus een verzameling negatieve vormen ($O_-$).
• Formule: $O(x) = \text{relu}(O_+(x) - O_-(x))$.
• Voordeel: Dit stelt het model in staat om "af te snijden" (set-differencing). Een holte in een object (zoals een gat in een donut of de ruimte onder een stoel) kan worden gemodelleerd met één positief en één negatief primitief, in plaats van meerdere convexe vormen die samengevoegd moeten worden. Dit verrijkt de geometrische vocabulaire aanzienlijk.
• Theoretische onderbouwing: Het paper toont aan dat voor bepaalde vormen $S$, het aantal benodigde gemengde primitieven ($K_{\pm}$) veel kleiner is dan het aantal alleen positieve primitieven ($K_+$) om dezelfde precisie te bereiken ($K_{\pm} \ll K_+$).

2. Test-Time Ensembling voor Modelselectie

Omdat het moeilijk is om vooraf het juiste aantal primitieven te kiezen, trainen de auteurs een ensemble van 18 onafhankelijke modellen.

• Configuratie: De modellen variëren in het totale aantal primitieven ($K_{total} \in \{12, 24, 36\}$) en het aantal negatieve primitieven ($K_{-} \in \{0, 4, ..., K_{total}-4\}$).
• Selectiestrategie: Tijdens de inferentie worden alle modellen uitgevoerd. Er zijn twee strategieën om de beste oplossing te kiezen:
  • S → R (Select then Refine): Selecteer het beste model op basis van de initiële voorspelling en verfijn dit vervolgens.
  • R → S (Refine then Select): Verfijn alle modellen (door loss-minimalisatie op de voorspelde dieptekaart) en kies vervolgens het model met de laagste fout.
• Resultaat: De methode kiest dynamisch het optimale niveau van abstractie per afbeelding, wat leidt tot een betere balans tussen compactheid en nauwkeurigheid.

3. Architectuur en Training

• Input: RGBD-afbeeldingen (indien geen diepte beschikbaar is, wordt een voorspellingsmodel gebruikt).
• Netwerk: Een ResNet-18 encoder (uitgebreid voor RGBD) gevolgd door een decoder.
• Primitieven: Gebruik van "gegladde polytope" (gesmoothed polytopes) om numerieke problemen zoals singulariteiten te vermijden.
• Verfijning (Polishing): Na de initiële regressie wordt een test-time fine-tuning uitgevoerd (descent method) om de parameters van de primitieven te optimaliseren tegen de voorspelde diepte. Dit startpunt is cruciaal; pure descent zonder netwerkvoorspelling is inefficiënt.

Kernbijdragen

1. CSG met Negatieve Primitieven: De eerste methode die set-differencing (negatieve primitieven) toepast op "in-the-wild" RGB-scènes voor primitieve decompositie. Dit verbetert de geometrische expressiviteit aanzienlijk.
2. Dynamische Modelselectie via Ensembling: Een data-gedreven procedure die het aantal positieve en negatieve primitieven per scène dynamisch selecteert, in plaats van een vast aantal te forceren.
3. State-of-the-Art (SOTA) Nauwkeurigheid: De methode overtreft bestaande werken op de NYUv2-benchmark met een relatieve foutreductie van meer dan 50%.
4. Schaalbaarheid: De methode is succesvol getest op een dataset van ongeveer 1,8 miljoen natuurlijke afbeeldingen (LAION), wat aantoont dat het schaalbaar is tot "in-the-wild" scenario's.

Resultaten

De prestaties zijn geëvalueerd op de NYUv2-dataset (indoor scènes) en de LAION-dataset (natuurlijke, willekeurige scènes).

• Nauwkeurigheid:
  • Op NYUv2 bereikt de beste configuratie (R → S met ensembling en negatieve primitieven) een AbsRel (absolute relatieve dieptefout) van 0.0417, vergeleken met 0.098 bij de vorige SOTA (Vavilala & Forsyth [62]).
  • Segmentatie-nauwkeurigheid (SegAcc) stijgt van 0.618 naar 0.756.
  • Normaalvectoren (normals) worden significant nauwkeuriger voorspeld.
• Effectiviteit van Negatieve Primitieven:
  • Experimenten tonen aan dat een verhouding van ongeveer 1 op 3 negatieve tot positieve primitieven ($K_- \approx K_{total}/3$) vaak de beste resultaten oplevert.
  • Zonder negatieve primitieven zijn veel meer vormen nodig om dezelfde holtes te modelleren, wat leidt tot overfitting of minder compacte representaties.
• Efficiëntie:
  • Hoewel ensembling meer rekentijd kost dan een enkel model, is de totale doorlooptijd (inclusief verfijning) sneller dan de vorige SOTA-methoden.
  • De netwerkvoorspelling dient als een uitstekend startpunt, waardoor de benodigde iteraties voor descendente optimalisatie drastisch worden verminderd (ongeveer 900 stappen bespaard ten opzichte van willekeurige initialisatie).

Betekenis en Toekomstperspectief

Deze paper markeert een belangrijke stap in de 3D-scènebegrip. Door het combineren van CSG-operaties (aftrekken) met moderne deep learning en adaptieve modelselectie, overwint de methode de beperkingen van puur convexe decompositie.

• Toepassingen: De nauwkeurige en compacte geometrische representaties zijn direct toepasbaar in:
  • Robotica: Voor efficiënte bewegingsplanning en grijpplanning in complexe omgevingen.
  • Beeldbewerking: Het stelt gebruikers in staat objecten in een afbeelding te verplaatsen of te bewerken op basis van hun onderliggende 3D-primitieven (zoals geïllustreerd in Figuur 8 van het paper).
  • Generatieve Modellen: Als input voor dieptegestuurde diffusiemodellen.

De auteurs benadrukken dat hoewel de geometrische nauwkeurigheid is verbeterd, de semantische coherentie (dat de grenzen van primitieven perfect samenvallen met objectgrenzen) nog steeds een uitdaging is, maar dat de huidige resultaten een sterke basis vormen voor toekomstige ontwikkelingen in variabele primitieve representaties.