Learning Convex Decomposition via Feature Fields

Dit artikel introduceert een nieuwe, feed-forward methode voor open-wereld convexe decompositie van 3D-vormen door het leren van continue feature-velden die via een zelftoezichtende, puur geometrische doelstelling worden geclusterd tot hoogwaardige convexe lichamen.

De kern

Stel je voor dat je een ingewikkeld, gekarteld stukje speelgoed hebt, zoals een zeepaardje of een robot met veel uitsteeksels. Je wilt dit object in een virtuele wereld laten bewegen, botsen met andere objecten en vallen. Computers zijn echter niet zo slim als wij; ze vinden het heel moeilijk om te berekenen of twee van deze gekartelde vormen tegen elkaar aan botsen. Het is alsof je probeert te voorspellen of twee ingewikkeld gevormde wolken elkaar raken; het kost enorm veel rekenkracht.

De oplossing? Convex Decomposition (Convexe Decompositie).

In dit paper stellen de onderzoekers een nieuwe, slimme manier voor om dit probleem op te lossen. Hier is de uitleg in gewone taal, met een paar leuke vergelijkingen:

1. Het Probleem: De "Blokken" Benadering

Om botsingen snel te berekenen, willen computers elk complex object zien als een verzameling simpele, "bolle" blokken (zoals een doos, een bal of een ei). Een object dat naar binnen is gekromd (hol) is lastig; een object dat overal naar buiten bol is (convex) is makkelijk.

Vroeger moesten mensen (kunstenaars) deze blokken handmatig voor elk object maken. Dat is veel werk. Bestaande computerprogramma's proberen dit automatisch te doen, maar ze zijn vaak traag of maken fouten, vooral bij nieuwe, vreemde objecten die ze nog nooit hebben gezien.

2. Het Nieuwe Genie: Een "Gevoelskaart"

De onderzoekers van NVIDIA en de Universiteit van Texas hebben een nieuwe manier bedacht. In plaats van te proberen direct de blokken te tekenen, leren ze de computer eerst een gevoelskaart (een "feature field") te maken van het object.

De Analogie:
Stel je voor dat je een heel complex object (bijvoorbeeld een krab) bekijkt.

• De oude manier: De computer probeert direct te raden: "Hier is een blok, daar is nog een blok."
• De nieuwe manier: De computer krijgt een speciale bril op die een kleurenkaart over het object projecteert.
  • Als twee punten op het object "vrienden" zijn (dat wil zeggen: als je een lijn tussen ze trekt, blijft die lijn binnen het object), krijgen ze dezelfde kleur.
  • Als ze "vijanden" zijn (de lijn gaat door de lucht of door een ander deel van het object), krijgen ze een heel andere kleur.

Deze "gevoelskaart" is niet handmatig gemaakt, maar de computer heeft het zelf geleerd door duizenden voorbeelden te bekijken. Het is een zelflerend systeem dat geen menselijke instructies nodig heeft, alleen de vorm van het object.

3. Het Groeperen: Het Kleuren van de Blokken

Zodra de computer deze kleurenkaart heeft, is het heel makkelijk om de blokken te maken. De computer kijkt simpelweg: "Welke gebieden hebben dezelfde kleur?"

• Alle rode gebieden worden samengevoegd tot één blok.
• Alle blauwe gebieden worden een ander blok.

Omdat de kleuren zijn bepaald door de "vriendschap" van de punten (de convexiteit), ontstaan er vanzelf perfecte, strakke blokken die het object nauwkeurig omsluiten.

4. Waarom is dit zo speciaal?

Dit onderzoek is revolutionair om drie redenen:

1. Het is supersnel: Omdat de computer de "gevoelskaart" direct kan voorspellen (zoals een foto maken), hoeft hij niet lang na te denken. Het is als het verschil tussen het handmatig tekenen van een plattegrond en het direct scannen van een huis.
2. Het werkt overal: De meeste oude methoden werken alleen voor specifieke dingen (zoals auto's of stoelen). Deze nieuwe methode werkt voor alles: van een 3D-scan van een echte kamer, tot een willekeurig CAD-model, en zelfs tot nieuwe AI-generaties zoals "Gaussian Splats" (een moderne manier om 3D-beelden te maken). Het is een "open-wereld" model.
3. Het is aanpasbaar: Je kunt de "dichtheid" van de blokken instellen. Wil je heel veel kleine blokken voor extreme precisie? Dat kan. Wil je maar een paar grote blokken voor een snelle simulatie? Dat kan ook. Alles uit één en dezelfde kaart.

5. Wat levert het op?

In de praktijk betekent dit dat video games, robotica en fysica-simulaties veel sneller en realistischer kunnen worden.

• Voor robots: Een robotarm kan veel sneller berekenen of hij ergens tegenaan gaat botsen.
• Voor games: Objecten botsen soepeler en natuurlijker, zonder dat het spel vastloopt.

Kortom: De onderzoekers hebben een manier gevonden om computers te leren "voelen" welke delen van een object bij elkaar horen, zodat ze die delen automatisch in simpele blokken kunnen verdelen. Het is alsof je een computer leert om een ingewikkeld puzzelstukje te zien als een verzameling simpele Lego-blokjes, zonder dat je het hem ooit hebt verteld hoe Lego eruitziet.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Learning Convex Decomposition via Feature Fields" in het Nederlands.

Probleemstelling

Convex decompositie is het proces waarbij complexe, niet-convexe 3D-vormen worden benaderd door een verzameling van eenvoudige, convexe lichamen. Dit is een fundamentele techniek in de computergrafiek en fysieke simulatie, essentieel voor:

• Snelle botsingsdetectie (collision detection).
• Berekening van gesloten afstanden (signed-distance computation).
• Bewegingsanimatie en simulatie van generatieve assets.

Traditionele methoden (zoals V-HACD en CoACD) zijn vaak computationally expensive, gebaseerd op zoekalgoritmen (branch-and-bound) die NP-hard problemen oplossen, en werken voornamelijk op mesh-geometrie. Bestaande deep-learning benaderingen zijn vaak beperkt tot specifieke objectcategorieën of vereisen grondwaarheid (ground truth) labels die niet bestaan voor optimale convex decompositie. Daarnaast kunnen ze niet goed omgaan met onnauwkeurige representaties zoals 3D-scans of Gaussian splats.

Methodologie

De auteurs stellen een nieuwe formulering voor die convex decompositie omzet in een leerprobleem van continue feature fields (kenmerkvelden), in plaats van het direct optimaliseren van een discrete set primitieven.

1. Kerninzicht: Convexiteit als Kenmerk
De methode is gebaseerd op de klassieke geometrische definitie van convexiteit: een vorm is convex als het lijnsegment tussen elk paar punten binnen de vorm volledig binnen het volume ligt.

• Convex paren: Twee punten op het oppervlak vormen een "convex paar" als het lijnsegment ertussen binnen het object blijft.
• Niet-convex paren: Als het lijnsegment het object verlaat, vormen ze een "niet-convex paar".

2. Contrastief Leren van Feature Fields
In plaats van de vorm direct te partitioneren, leert het model een continu veld van kenmerken $f: M \to \mathbb{R}^k$ over het oppervlak van de vorm.

• Doel: Punten die tot hetzelfde convex lichaam moeten behoren, moeten vergelijkbare kenmerken hebben (kleine afstand in feature space), terwijl punten die tot verschillende convex lichamen behoren, verschillende kenmerken moeten hebben.
• Zelftoezicht (Self-Supervision): Omdat er geen ground truth is voor de "beste" decompositie, gebruiken de auteurs een contrastieve loss afgeleid van de convexiteitsdefinitie.
  • Positieve paren: Punten die een convex paar vormen (lijnsegment binnen het object) moeten dicht bij elkaar liggen in de feature space.
  • Negatieve paren: Punten die een niet-convex paar vormen (lijnsegment buiten het object) moeten ver uit elkaar liggen.
  • De loss functie (triplet loss) minimaliseert de afstand tussen positieve paren en maximaliseert de afstand tot negatieve paren.

3. Triplet Sampling Strategie
Om efficiënt te trainen, worden triplets $(x, p, n)$ gegenereerd:

• $x$: Een ankerpunt op het oppervlak.
• $p$ (positief): Een punt gevonden door een straal vanuit $x$ het object in te schieten (hemisfeer-sampling).
• $n$ (negatief): Een punt dat een lijnsegment vormt dat het object verlaat. De auteurs gebruiken "hard negative sampling" waarbij punten dichtbij $x$ (maar niet-convex) vaker worden geselecteerd, omdat deze het moeilijkst te scheiden zijn.

4. Feedforward Model Architectuur
Het model is een feedforward netwerk dat direct een feature field voorspelt op basis van een ingevoerde 3D-shape (point cloud, mesh, of Gaussian splats).

• Input: Een point cloud van het oppervlak.
• Encoder: PVCNN (Point-Voxel CNN) encodeert de shape.
• Triplane Representatie: De features worden geprojecteerd op drie orthogonale 2D-vlakken, verwerkt door een 2D CNN en een Transformer, en vervolgens upgesampled.
• Output: Voor elke 3D-query punt wordt een feature vector gegenereerd.

5. Recursieve Decompositie
Tijdens inferentie worden de voorspelde features geclusterd om de vorm te partitioneren:

• Er wordt een recursieve binaire clustering toegepast.
• Een cluster wordt verder opgesplitst totdat de "concavity" (afwijking van de convexe hull) onder een door de gebruiker ingestelde drempelwaarde ($\epsilon$) valt.
• Dit stelt de gebruiker in staat om de granulariteit (aantal componenten) dynamisch aan te passen zonder het model opnieuw te hoeven trainen.

Belangrijkste Bijdragen

1. Nieuwe Formulering: Convex decompositie wordt geformuleerd als een contrastief leerprobleem met een zelftoezichtende, puur geometrische loss, wat schaalbaar leren op open-world data mogelijk maakt.
2. Eerste Open-World Model: Het is het eerste feedforward model dat in staat is om hoogwaardige convex decompositie uit te voeren op willekeurige 3D-objecten (open-world), zonder beperking tot specifieke categorieën.
3. Generalisatie: Het model generaliseert naar verschillende input-modaliteiten, waaronder meshes, CAD-modellen, 3D-scans en zelfs AI-genererde 3D Gaussian splats, zonder dat een waterdicht mesh vereist is.
4. Controleerbare Granulariteit: Door het gebruik van een feature field kan de decompositie-nauwkeurigheid na het trainen worden aangepast via clustering-drempels.

Resultaten

De methode is geëvalueerd op drie datasets: V-HACD, PartObjaverse-Tiny en ShapeNet.

• Kwalitatieve en Kwantitatieve Superioriteit: De methode presteert consistent beter dan klassieke algoritmen (V-HACD, CoACD) en bestaande deep-learning baselines (BSP-Net, Cvx-Net) op zowel concavity-metrics als reconstructie-error (Chamfer distance).
• Robuustheid: In tegenstelling tot klassieke methoden die vaak onnodige splitsingen maken bij schuine vlakken (door hun aanname van as-gealigneerde sneden), behoudt de voorgestelde methode grote convexe structuren beter.
• Schaalbaarheid: De methoden die zijn getraind op ShapeNet (BSP-S, Cvx-S) falen bij generalisatie naar andere vormen, terwijl het voorgestelde model (getraind op Objaverse) uitstekend presteert op diverse objecten.
• Efficiëntie: De inferentie is snel (5s voor feature generatie + 13s voor clustering) en versnelt fysieke simulaties met een factor 5 ten opzichte van het gebruik van originele meshes voor botsingsdetectie.

Betekenis en Toekomstperspectief

Dit werk markeert een verschuiving in convex decompositie van dure, handmatige of zoekgebaseerde algoritmen naar een snelle, datagedreven aanpak.

• Toepassingen: Het maakt robuuste simulatie van gegenereerde assets (bijv. voor robotica en gaming) mogelijk, waar handmatige decompositie onhaalbaar is.
• Flexibiliteit: De mogelijkheid om direct op imperfecte data (zoals scans en Gaussian splats) te werken, opent de deur voor toepassingen in augmented reality en digitale tweelingen.
• Beperkingen: Het model is getraind op schone objectgegevens en heeft moeite met zeer complexe, dunne structuren of scene-schaal data. Toekomstig werk richt zich op training met ruis en scènes, en het leren van semantisch bewuste proxies die rekening houden met de verwachte beweging van objecten.

Kortom, deze paper introduceert een krachtige, schaalbare en veelzijdige oplossing voor een langdurig probleem in de computergrafiek, waardoor hoogwaardige fysieke simulaties op grote schaal mogelijk worden.