Shape Representation using Gaussian Process mixture models

1. Problemstellung

Die Darstellung von 3D-Formen ist ein zentrales Problem in der Computer Vision, Photogrammetrie und Computergrafik. Herkömmliche explizite Darstellungen wie Punktwolken, Meshes oder Voxel haben erhebliche Nachteile:

• Speicherbedarf: Sie benötigen viel Speicherplatz, um feine geometrische Details zu erfassen.
• Indexierung: Sie erfordern komplexe Indexierungssysteme für schnelle Oberflächenabfragen.
• Diskretisierung: Sie bilden die Geometrie diskret ab und überbrücken nicht effektiv die Lücke zwischen rohen Sensordaten und kontinuierlicher Geometrie.

Neuronale implizite Darstellungen (z. B. DeepSDF, NeRF) sind zwar speichereffizient und können komplexe Topologien lernen, sind jedoch oft rechenintensiv im Training und darauf ausgelegt, statistische Merkmale ganzer Objektklassen zu generalisieren, anstatt die hochfiden, idiosynkratischen Details eines spezifischen Objekts mit geringer Datenmenge präzise wiederzugeben.

2. Methodik

Die Autoren schlagen eine objektspezifische, funktionale implizite Darstellung vor, die auf Gaussian Process (GP) Mixture Models basiert. Im Gegensatz zu neuronalen Architekturen ist dieser Ansatz leichtgewichtig und verzichtet vollständig auf Deep-Learning-Komponenten.

Der Kern der Methode besteht aus folgenden Schritten:

• Richtungsabstands-Felder (Directional Distance Fields - DDFs):
  Anstatt ein volumetrisches Feld zu lernen, modelliert die Methode die Oberfläche als Sammlung von Abständen entlang verschiedener Richtungen von einem Referenzpunkt aus. Ein Punkt $P$ auf der Oberfläche wird relativ zu einem Referenzpunkt $C$ im Inneren des Objekts durch sphärische Koordinaten (Richtung $\phi, \theta$ und Distanz $d$) parametrisiert.

• Gaussian Process Regression:
  Für jeden Referenzpunkt wird ein lokaler GP-Modell trainiert, um die Distanz $d$ zu der Oberfläche für eine gegebene Richtung vorherzusagen.

  • Als Kernel wird der Rational Quadratic (RQ) Kernel verwendet, der sich als adaptiver erwies als der übliche RBF-Kernel, da er Multi-Skalen-Verhalten besser regulieren kann.
  • Das GP-Modell liefert eine Wahrscheinlichkeitsverteilung (Mittelwert und Varianz) für die Distanz zu einer beliebigen Richtung.

• Mixture Model für komplexe Topologien:
  Ein einzelner Referenzpunkt reicht für komplexe Objekte nicht aus, da Strahlen die Oberfläche mehrfach schneiden können. Um dies zu lösen, wird das Objekt in Regionen unterteilt.

  • Referenzpunkte: Diese werden strategisch im Inneren des Objekts platziert (z. B. durch Skelettierung oder Distanz-basiertes Clustering wie k-Means).
  • Mischung: Die Gesamtoberfläche wird als Mischung (Mixture) mehrerer lokaler GP-Priors modelliert. Die Wahrscheinlichkeit, dass ein Punkt zur Oberfläche gehört, wird durch eine gewichtete Summe der Likelihoods der einzelnen GPs berechnet.
  • Überlappung: Um Fehler bei der Zuordnung von Punkten zu Referenzpunkten an den Grenzen der Regionen zu vermeiden, werden Überlappungsbereiche (Inter-cluster overlap) im Training eingeführt.

3. Wichtige Beiträge

1. Neue funktionale Darstellung: Einführung einer objektspezifischen Darstellung als Mischung von GP-basierten Priors. Sie ist „leichtgewichtig", da sie keine neuronalen Netze verwendet und nur mit spärlich abgetasteten Punktwolken arbeitet.
2. Robuste Evaluierung: Umfassende Auswertung mit synthetischen und realen Daten (ShapeNetCore und IndustryShapes) im Vergleich zu State-of-the-Art-Methoden.
3. Effizienz und Genauigkeit: Demonstration, dass GPs in der Lage sind, komplexe Topologien und feine Details mit hoher Präzision zu rekonstruieren, ohne den Trainingsaufwand tiefer neuronaler Modelle.

4. Ergebnisse

Die Methode wurde auf den Datensätzen ShapeNetCore (Kategorien: Flugzeuge, Stühle, Sofas) und IndustryShapes (Schraubendreher) getestet.

• Quantitative Ergebnisse:
  • Die Methode erreichte auf allen getesteten Kategorien die niedrigste Chamfer-Distanz (dC) und die höchsten F-Scores (über 90% in den meisten Fällen).
  • Beispiel Flugzeuge: F-Score von 90,3% (verglichen mit 87,6% bei DeepSDF und 79,5% bei NKSR).
  • Die Recall-Werte waren besonders hoch (z. B. 93,6% bei Flugzeugen), was zeigt, dass die Rekonstruktion die gesamte Ground-Truth-Oberfläche gut abdeckt.
• Qualitative Ergebnisse:
  • Im Gegensatz zu neuronalen Methoden, die wichtige Merkmale oft glätten oder verpassen, erfasst die GP-Methode feine Details und komplexe Topologien (z. B. Löcher, dünne Strukturen) robust.
  • Bei komplexen Objekten (wie Stühlen) zeigte sich, dass die Platzierung der Referenzpunkte kritisch ist: Manuelle Platzierung oder Skelettierung liefert bessere Ergebnisse als reines k-Means-Clustering.
• Ablationsstudien:
  • Der RQ-Kernel schnitt im Vergleich zu RBF, Matérn und anderen Kerneln am besten ab.
  • Die Anzahl der Referenzpunkte beeinflusst die Genauigkeit; mehr Punkte führen zu besseren Ergebnissen, bis ein Plateau erreicht ist.

5. Bedeutung und Ausblick

Diese Arbeit zeigt, dass Gaussian Processes eine leistungsfähige Alternative zu neuronalen impliziten Funktionen für die 3D-Rekonstruktion darstellen, insbesondere wenn:

• Nur spärliche Daten verfügbar sind.
• Speichereffizienz und Interpretierbarkeit (keine Black-Box-Neuronen) gefordert sind.
• Die Rekonstruktion spezifischer Objekte (Template-Erstellung) im Vordergrund steht, nicht die Generalisierung über ganze Klassen.

Zukünftige Arbeiten zielen darauf ab, die automatische Wahl der Referenzpunkte zu optimieren und theoretische Garantien für eine vollständige Oberflächenabdeckung unabhängig von der Komplexität der Form zu entwickeln. Der Code ist öffentlich verfügbar, was die Reproduzierbarkeit und Weiterentwicklung fördert.