Hyper-Network Neural Functional Maps for Unsupervised Robust 3D Shape Matching

Technische Zusammenfassung: Hyper-Netzwerk-basierte neuronale funktionale Abbildungen für unüberwachtes robustes 3D-Shape-Matching

Problemstellung
Die Etablierung präziser vertexweiser Korrespondenzen zwischen nicht-rigiden 3D-Formen ist eine fundamentale Herausforderung in der Computer Vision und Computergrafik, insbesondere beim Umgang mit realen Daten, die durch topologische Rauschanteile, Partialität (fehlende Teile) und unstrukturierte Rohpunktwolken charakterisiert sind. Während funktionale Map-Frameworks zum Eckpfeiler des effizienten 3D-Shape-Matchings geworden sind, indem sie im Spektralbereich operieren, stehen sie in diesen anspruchsvollen Szenarien vor einem kritischen Engpass. Standardmäßige funktionale Maps verlassen sich auf eine lineare Transformation zur Ausrichtung abgeschnittener spektraler Basen (Laplace-Beltrami-Eigenfunktionen). Jedoch verhindern signifikante intrinsische Verzerrungen durch Partialität oder topologisches Rauschen, dass diese Basen durch einfache lineare Operatoren exakt ausgerichtet werden können. Wie in der Arbeit dargelegt, sind lineare Transformationen unzureichend, um die komplexen, nicht-linearen spektralen Verschiebungen zu modellieren, die durch solche Unregelmäßigkeiten induziert werden, was zu einer fundamentalen spektralen Fehlausrichtung und einem anschließenden Versagen der Korrespondenzwiederherstellung führt.

Methodik
Die Autoren schlagen ein unüberwachtes Lernframework vor, das die starre lineare spektrale Transformation durch eine flexible, nicht-lineare Neuronale Funktionale Abbildung (Neural Functional Map, NFM) ersetzt. Der Kern des Ansatzes umfasst drei Stufen:

1. Initiale lineare Schätzung: Die Pipeline beginnt mit einem standardmäßigen unüberwachten Deep-Functional-Map-Block (z. B. unter Verwendung eines Siamese-Feature-Extraktors wie DiffusionNet), um eine initiale lineare funktionale Map ($C_{NM}$) und weiche vertexweise Korrespondenzen zu berechnen.
2. Hyper-Netzwerk-Vorhersage: Anstatt die Map-Parameter individuell für jedes Formpaar zu optimieren (wie bei traditionellen Verfeinerungsmethoden), führen die Autoren ein Hyper-Netzwerk ($H$) ein. Dieses Netzwerk nimmt die initiale lineare funktionale Map ($C_{NM}$) als Eingabe – wobei die $k \times k$-Matrix als Single-Channel-Bild behandelt wird – und sagt dynamisch die Gewichte ($\theta_{NM}$) für die neuronale funktionale Abbildung voraus. Das Hyper-Netzwerk nutzt eine Vision Transformer (ViT)-Architektur, um Self-Attention-Mechanismen zu nutzen, die es ermöglichen, globale Abhängigkeiten und komplexe Muster spektraler Fehlausrichtung über verschiedene Frequenzbänder hinweg zu erfassen.
3. Nicht-lineare Ausrichtung: Die vorhergesagten Gewichte definieren ein leichtgewichtiges Multi-Layer Perceptron (MLP) mit Skip-Connections. Diese NFM, bezeichnet als $h_{\theta_{NM}}$, führt eine nicht-lineare Transformation auf die ursprünglichen spektralen Basen durch. Sie ist als ein Residual-Lernprozess formuliert, bei dem die NFM die standardmäßige lineare Map verfeinert: $h_{\theta_{NM}}(\phi_N(x)) = C_{NM}\phi_N(x) + \text{MLP}(\phi_N(x))$. Dies ermöglicht es dem Modell, die strukturellen Vorteile der linearen spektralen Ausrichtung zu bewahren und gleichzeitig die Ausdrucksstärke zu gewinnen, um nicht-lineare Verzerrungen zu korrigieren.
4. Unüberwachte spektrale Ausrichtungs-Loss-Funktion: Um das Hyper-Netzwerk ohne Ground-Truth-Korrespondenzen zu trainieren, wird ein neuartiger spektraler Ausrichtungs-Loss eingeführt. Dieser Loss minimiert die Diskrepanz zwischen den Ziel-Spektralbasen und den nicht-linear transformierten Quell-Spektralbasen, wobei die weichen vertexweisen Korrespondenzen aus dem initialen linearen Schritt als räumliche Brücke dienen.

Wesentliche Beiträge

• Unüberwachtes NFM-Framework: Die Arbeit schlägt das erste unüberwachte Lernframework für nicht-lineare neuronale funktionale Abbildungen vor, welches eine flexible Ausrichtung der Spektralbasen in Szenarien ermöglicht, in denen lineare Methoden versagen.
• Generalisierbares Hyper-Netzwerk: Ein Hyper-Netzwerk wird eingeführt, das dynamisch NFM-Gewichte vorhersagt, die auf Standard-funktionalen Maps konditioniert sind. Dies verschiebt das Paradigma von der pro-Paar-Optimierung hin zu einem prädiktiven Lernframework und vermeidet die Notwendigkeit einer sorgfältigen Initialisierung und zeitaufwendigen Optimierung.
• Neuartige Loss-Funktion: Die Autoren entwerfen einen unüberwachten spektralen Ausrichtungs-Loss, der das Training des Hyper-Netzwerks erleichtert, indem er sicherstellt, dass die nicht-lineare Transformation die Spektralbasen konsistent mit den geschätzten räumlichen Korrespondenzen ausrichtet.
• Nahtlose Integration: Das Framework ist so konzipiert, dass es in bestehende State-of-the-Art Deep-Functional-Map-Pipelines integriert werden kann, um diese zu verbessern, ohne deren Kernarchitektur zu verändern.

Experimentelle Ergebnisse
Umfangreiche Experimente zeigen, dass die vorgeschlagene Methode die Genauigkeit des Matchings über verschiedene und anspruchsvolle Benchmarks hinweg erheblich verbessert:

• Topologisches Rauschen: Auf dem TOPKIDS-Datensatz erreicht die Methode eine signifikante Reduktion des mittleren geodätischen Fehlers im Vergleich zu sowohl intrinsischen als auch extrinsisch-bewussten Baselines und übertrifft selbst Methoden, die auf rigiden Ausrichtungsprioritäten basieren.
• Partielles Shape-Matching: Auf SHREC16 (Cuts and Holes) und Pfaust setzt der unüberwachte Ansatz einen neuen Stand der Technik und übertrifft bestehende unüberwachte Baselines deutlich. Bemerkenswerterweise übertrifft er etablierte überwachte Methoden in den anspruchsvollsten Benchmarks (z. B. SHREC16 Holes und Pfaust Hard), was die Robustheit gegenüber extremer fehlender Geometrie demonstriert.
• Multi-Modales Matching: Bei Aufgaben, die Korrespondenzen zwischen Dreiecksnetzen (Meshes) und unstrukturierten Punktwolken beinhalten (FAUST, SCAPE, SHREC19), übertrifft die Methode konsistent sowohl überwachte als auch selbstüberwachte Baselines und zeigt eine überlegene Generalisierung über verschiedene Formreprsentationen hinweg.
• Ablationsstudien: Die Ergebnisse bestätigen, dass das ViT-Backbone entscheidend ist, um globale spektrale Abhängigkeiten zu erfassen, und dass ein 2-Layer-MLP für die NFM das optimale Gleichgewicht zwischen Ausdrucksstärke und Regularisierung bietet.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass ihr Ansatz durch die Überwindung der Einschränkungen linearer Transformationen effektiv komplexe intrinsische Verzerrungen aufnehmen kann, die Standard-funktionale Maps nicht auflösen können. Die Bedeutung liegt im Paradigmenwechsel hin zur adaptiven spektralen Ausrichtung, bei der ein Hyper-Netzwerk lernt, nicht-lineare Korrekturen basierend auf dem in der initialen linearen Map kodierten Verzerrungsprofil vorherzusagen. Die Autoren behaupten, dass diese Methode eine robuste Grundlage für qualitativ hochwertige Korrespondenzen in realen Daten bietet und oft eine Genauigkeit erreicht, die mit voll überwachten Alternativen vergleichbar oder diesen sogar überlegen ist, insbesondere in Szenarien, in denen lineare Approximationen versagen. Die Arbeit legt nahe, dass die Verbindung von spektraler Verarbeitung mit tiefen nicht-linearen Architekturen eine vielseitige Lösung für die 3D-Formanalyse in Bereichen wie Robotik und medizinischer Bildgebung bietet, ohne dass eine Ground-Truth-Supervision erforderlich ist.