Technische Samenvatting: S2MDF

Probleemstelling

Compositional implicit surface representations modelleren scènes als verzamelingen van objecten, waarbij elk object wordt gecodeerd door een Signed Distance Field (SDF). Een fundamentele beperking van deze aanpak is dat meerdere onafhankelijke SDF's geometrieën kunnen produceren die in elkaar doordringen, waardoor de fysieke plausibiliteit wordt geschonden. Bestaande mitigatiestrategieën vertrouwen doorgaans op zachte straftermen (verliesfuncties) om de frequentie en ernst van intersecties te verminderen. Deze methoden garanderen echter niet de volledige eliminatie van intersecties en vereisen vaak een zorgvuldige afstelling van de verliesgewichten om straftermen voor intersecties in evenwicht te brengen met de reconstructiekwaliteit. Bovendien voorkomen deze zachte constraints geen intersecties die kunnen ontstaan tijdens de interpolatie van SDF-waarden tussen steekproefpunten, zoals bij het extraheren van een mesh.

Methodologie

De auteurs stellen S2MDF voor, een lichtgewicht, plug-and-play module die een harde constraint oplegt aan vectorwaardige SDF's om intersectievrije geometrie te garanderen. De kern van de methode bestaat uit het herdefiniëren van de representatie als een Multi-object Distance Field (MDF).

Theoretische Formulering

Het artikel formaliseert de voorwaarde voor een intersectievrije geometrie. Voor een ruimtelijk punt $p$ met een vectorwaardige SDF $u = [SDF_1(p), \dots, SDF_K(p)]$, wordt de voorwaarde dat $p$ zich in ten hoogste één object bevindt traditioneel uitgedrukt als $\min^{(2)}(u) \ge 0$ (de tweede kleinste afstandswaarde moet niet-negatief zijn).

De auteurs tonen echter aan dat voor neurale SDF's, die imperfect zijn en vaak worden geëvalueerd op discrete punten voordat ze worden geïnterpoleerd, deze voorwaarde ontoereikend is. Zij introduceren een sterkere constraint gebaseerd op Stelling 1:
$$\min^{(1)}(u) + \min^{(2)}(u) \ge 0$$
Deze constraint zorgt ervoor dat de som van de twee kleinste tekensafstanden niet-negatief is. Cruciaal is dat Stelling 2 bewijst dat als deze constraint geldt voor een set discrete punten, deze ook geldt voor elk punt langs het lijnsegment dat ze verbindt via lineaire interpolatie. Deze eigenschap is essentieel voor compatibiliteit met standaard meshing-algoritmen zoals Marching Cubes en Marching Tetrahedra, die vertrouwen op lineaire interpolatie.

Implementatie: S2MDF-module

S2MDF fungeert als een projectielaag die een willekeurige vectorwaardige SDF-uitvoer afbeeldt op de dichtstbijzijnde vector die voldoet aan de MDF-constraint. De module biedt twee implementatiestrategieën:

1. Kwadratische Programmering (QP): De projectie wordt geformuleerd als een minimaliseringsprobleem ($\min \|d - u\|^2$) onderhevig aan de MDF-constraint. Dit kan worden herschreven als een standaard Kwadratisch Programma met paarsgewijze constraints ($d_i + d_j \ge 0$). Hoewel wiskundig strikt, schaalt deze aanpak kwadratisch met het aantal objecten ($K$), wat de rekentijd tijdens training mogelijk kan verhogen.
2. Analytische Oplossing (Shift-All): Om de rekenkundige overhead van QP aan te pakken, stellen de auteurs een heuristische "Shift-All"-oplossing voor. Als de constraint wordt geschonden, worden alle SDF-waarden verschoven met een constante hoeveelheid: $-\frac{\min^{(1)}(u) + \min^{(2)}(u)}{2}$. Deze aanpak behoudt de paarsgewijze verschillen tussen SDF-waarden (waarbij de relatieve ordening van de velden wordt gehandhaafd) en is aanzienlijk sneller. De auteurs bewijzen dat dit de optimale oplossing is onder de aanvullende constraint van het behoud van paarsgewijze verschillen.

De module kan op twee manieren in bestaande pijplijnen worden geïntegreerd:

• Tijdens Training: Als een laag die aan het netwerk wordt toegevoegd, waardoor het model zich kan aanpassen aan de constraint.
• Nabewerking: Toegepast op de SDF-waarden op het moment van meshing zonder het trainingsproces te wijzigen.

Belangrijkste Bijdragen

1. Formalisatie van MDF: De auteurs definiëren het Multi-object Distance Field (MDF) door vectorwaardige SDF's te beperken tot het voldoen aan de som-van-minima-conditie, waardoor een theoretische garantie wordt geboden voor intersectievrije geometrie.
2. S2MDF-module: Zij introduceren een snelle, plug-and-play module die object-compositionele SDF-representaties projecteert op het MDF-variëteit. Deze is compatibel met standaard lineair-geïnterpoleerde meshing-technieken en vereist geen architecturale wijzigingen aan bestaande modellen.
3. Theoretische Garanties: In tegenstelling tot zachte, op verlies gebaseerde aanpakken, biedt S2MDF een harde constraint die intersecties elimineert tot numerieke precisie, zelfs in geïnterpoleerde gebieden.

Experimentele Resultaten

De auteurs hebben S2MDF gevalideerd op drie state-of-the-art compositionele methoden: MedTet (medische beeldvorming), ObjectSDF++ (scène-reconstructie) en PartSDF (vormrepresentatie op basis van onderdelen).

• Reductie van Intersecties: Over alle datasets heen (waaronder TS-Lung, MM-WHS, Replica en PartNet) verminderde S2MDF het Intersectievolume (IV) met meerdere ordes van grootte in vergelijking met standaardmethoden en methoden die gebruikmaken van zachte intersectieverliezen. In veel gevallen werd het intersectievolume gereduceerd tot bijna nul (bijvoorbeeld $10^{-9}$ tot $10^{-12}$), waardoor doordringing effectief werd geëlimineerd.
• Reconstructiekwaliteit: De methode behield de reconstructiekwaliteit; metrieken zoals Mesh Chamfer Distance (MCD), Normal Consistency (NC), F1-scores en IoU bleven vergelijkbaar met of licht beter dan de baseline-methoden.
• Vergelijking met Zachte Verliezen: Experimenten op MedTet toonden aan dat het toevoegen van een zachte intersectieverliesterm slechts marginaal het intersectievolume verminderde, terwijl S2MDF dit met meerdere ordes van grootte reduceerde zonder de reconstructiemetrieken te verslechteren.
• Efficiëntie: De "Shift-All"-variant vertoonde verwaarloosbare rekenkundige overhead tijdens zowel training als inferentie, waardoor deze haalbaar is voor scènes met tientallen objecten waar de QP-variant mogelijk te traag zou zijn.

Betekenis

Het artikel stelt dat S2MDF een robuuste, generieke oplossing biedt voor de langdurige beperking van doordringing in compositionele neurale oppervlaktrepresentaties. Door een harde constraint af te dwingen in plaats van te vertrouwen op zachte straffen, zorgt de methode voor fysieke plausibiliteit zonder dat zorgvuldige verliesgewichten of architecturale aanpassingen nodig zijn. De auteurs benadrukken dat hun aanpak intersecties reduceert tot numerieke precisie terwijl hoge-fideliteit reconstructie wordt behouden, en dat dit beter presteert dan bestaande mitigatiestrategieën. Zij concluderen dat, hoewel hun methode het numerieke probleem van intersecties aanpakt, een meer principiële toekomstige richting zou bestaan uit het ontwerpen van meshing-algoritmen die specifiek zijn ontworpen om meerdere objecten op native wijze te verwerken.