Encoding the Euler Characteristic Transform

Technisches Resümee: Kodierung der Euler-Charakteristik-Transformation

Problemstellung
Die Euler-Charakteristik-Transformation (ECT) ist ein leistungsstarker, injektiver Formdeskriptor, der Euler-Charakteristik-Kurven (ECCs) über mehrere Abtastrichtungen hinweg aggregiert. Während die differenzierbare ECT (DECT) bereits ein End-to-End-Lernen ermöglicht hat, bleibt eine kritische Engstelle in der Art und Weise bestehen, wie die ECT für neuronale Netze kodiert wird. Konventionell werden ECCs auf ein festes Gitter von Höhenschwellenwerten ($H$) für jede Richtung ($D$) diskretisiert, was zu einer $D \times H$-Matrix führt. Diese Diskretisierung führt einen Auflösungshypersparameter ($H$) ein, der für jeden Datensatz separat abgestimmt werden muss, was einen Kompromiss zwischen Expressivität und Rechenaufwand schafft. Darüber hinaus erzwingt die uniforme Diskretisierung dieselbe Auflösung sowohl für sich schnell ändernde als auch für flache Regionen der Kurve, obwohl alle topologischen Informationen in einer ECC inhärent den Vertizes des zugrunde liegenden Zellkomplexes zugeordnet sind.

Methodik
Die Autoren schlagen eine kontinuierliche Kodierung der ECT vor, die die Notwendigkeit eines Diskretisierungsgitters eliminiert. Anstatt die ECC-Funktion bei festen Höhen abzutasten, zeichnet die Methode die Netto-Änderung der Euler-Charakteristik ($\Delta\chi$) auf, die jedem Vertiz $v$ für eine gegebene Richtung $w_i$ zugeschrieben wird.

• Tokenisierung: Für einen Zellkomplex mit $N$ Vertizes und einer Richtung $w_i$ wird die Filtrationshöhe für jeden Zell durch seinen „verantwortlichen Vertiz“ (den Vertiz mit der maximalen Projektion) bestimmt. Die Nettoänderung $\Delta\chi(v, w_i)$ wird berechnet, indem die summierten Vorzeichenbeiträge aller Zellen addiert werden, die bei dem durch diesen Vertiz definierten Schwellenwert in die Filtration eintreten. Vertizes mit einer Nettoänderung von Null werden verworfen, woraus eine spärliche Sequenz von Tokens $\{( \langle v, w_i \rangle, \Delta\chi(v, w_i) )\}$ resultiert.
• ECC-Encoder: Ein kleiner Transformer-Encoder verarbeitet diese Token-Sequenzen für jede Richtung und bildet die variablen Sequenzlängen auf einen festen Merkmalsvektor ($d_{out}$) ab. Dies ersetzt die traditionelle diskretisierte Matrix durch eine $D \times d_{out}$ Merkmalsmatrix.
• Repräsentationsarchitekturen: Die Studie evaluiert sechs verschiedene Architekturen zur Verarbeitung der resultierenden ECT-Matrix, die von strukturagnostischen Baselines bis hin zu äquivarianten Modellen reichen:
  1. Feedforward Network (Vorwärtsgerichtetes Netzwerk): Flacht die Matrix ab; kein struktureller induktiver Bias.
  2. Deep Sets: Behandelt Richtungen als eine ungeordnete Menge (Permutationsinvarianz).
  3. 2D-Konvolution: Behandelt die Matrix als Bild; verwendet kreisförmiges Padding entlang der Richtungsachse, um Rotationsäquivarianz zu bewahren.
  4. 1D-Konvolution: Wendet Faltungen entlang der Richtungsachse mit kreisförmigem Padding an.
  5. 1D-Komplexe Konvolution: Repräsentiert ECCs im komplexen Bereich, um durch Phasenkodierung inhärente Rotationsäquivarianz zu bewahren.
  6. Hybrid: Kombiniert 1D-Konvolutionen mit vollvernetzten Schichten (fully connected layers).

Wesentliche Beiträge

1. Kontinuierliche ECT-Repräsentation: Einführung einer gitterfreien, exakten und sparsamen Kodierung, die die topologischen Änderungen an Vertizes statt Funktionswerten aufzeichnet. Dies entfernt den Auflösungshypersparameter und ist inhärent differenzierbar.
2. Systematische Architekturstudie: Eine umfassende Evaluierung von sechs neuronalen Architekturen, die unterschiedliche induktive Biases (von strukturagnostisch bis rotationsäquivariant) abdecken, um zu bestimmen, wie Richtungsinformationen am besten aggregiert werden können.
3. Empirisches Benchmarking: Evaluierung über sechs Klassifikations-Benchmarks, die diverse Datentypen abdecken: Punktwolken, Graphen, kubische Komplexe und Meshes (sowohl 2D als auch 3D).

Ergebnisse

• Auswirkung der Kodierung: Die kontinuierliche Kodierung verbesserte die Klassifikationsgenauigkeit auf fünf von sechs Datensätzen im Vergleich zur besten diskreten Kodierung. Die signifikantesten Gewinne wurden beim Datensatz Letter-high (+0,120) und SwissBuildings (+0,094) beobachtet.
• Tokenisierung vs. Kapazität: Kontrollexperimente zeigten, dass die Leistungssteigerungen aus der Tokenisierung selbst stammen und nicht aus der zusätzlichen Kapazität des Transformers. Die Anwendung eines Transformers auf die diskretisierte ECT führte nicht zu konsistenten Verbesserungen.
• Interaktion der Architekturen: Die Wahl der Repräsentationsarchitektur war weniger entscheidend als die Wahl der Kodierung. Es wurden jedoch Interaktionen beobachtet:
  • Unter kontinuierlicher Kodierung war das einfache Feedforward Network auf fünf der sechs Datensätze der stärkste Performer.
  • Unter diskreter Kodierung war das Feedforward Network instabil (z. B. Kollaps bei SwissBuildings), während konvolutionale Architekturen (insbesondere 1D und Hybrid) robuster erwiesen.
  • Die kontinuierliche Kodierung lieferte einen leichter „lernbaren“ Input, wodurch die Leistungslücke zwischen dem Feedforward Network und den konvolutionalen Modellen verringert wurde.
• Äquivarianz: Obwohl rotationsäquivariante Architekturen (1D/Complex Conv) darauf ausgelegt waren, Symmetrien zu bewahren, übertraf das Feedforward Network oft die Modelle auf Datensätzen mit kanonischen Orientierungen (wie Fashion-MNIST-Derivaten), was darauf hindeutet, dass strikte Äquivarianz nicht immer der optimale induktive Bias für alle Aufgaben ist.

Bedeutung
Das Paper behauptet, dass die Methode der Kodierung der ECT ein entscheidenderer Faktor für die nachgeschaltete Performance ist als die spezifische neuronale Architektur, die zur Verarbeitung desselben verwendet wird. Durch den Übergang von einer diskretisierten, gitterbasierten Repräsentation zu einer kontinuierlichen, vertizbasierten Tokenisierung erreichen die Autoren eine höhere Genauigkeit und Trainingsstabilität, ohne auf komplexe äquivariante Architekturen für die meisten Aufgaben angewiesen zu sein. Die kontinuierliche Kodierung umgeht effektiv die mit der Gitterauflösung verbundene Hyperparameter-Abstimmung und bietet eine exakte Repräsentation der topologischen Transformation, die natürlich für die neuronale Verarbeitung geeignet ist. Die Arbeit legt nahe, dass für globale Formdeskriptoren die Treue der Input-Repräsentation (die Kodierung) die Komplexität der induktiven Biases des Modells überwiegt.