Encoding the Euler Characteristic Transform

Technische Samenvatting: Het coderen van de Euler-karakteristiek-transformatie

Probleemstelling
De Euler-karakteristiek-transformatie (ECT) is een krachtige, injectieve vormbeschrijver die Euler-karakteristiek-curven (ECC's) aggregeert die over meerdere samplingsrichtingen zijn berekend. Hoewel de Differentiële ECT (DECT) end-to-end leren mogelijk heeft gemaakt, blijft er een kritieke bottleneck bestaan in de manier waarop de ECT wordt gecodeerd voor neurale netwerken. Conventioneel worden ECC's gediscretiseerd op een vast rooster van hoogte-drempelwaarden ($H$) voor elke richting ($D$), wat resulteert in een $D \times H$ matrix. Deze discretisatie introduceert een resolutie-hyperparameter ($H$) die per dataset moet worden afgestemd, wat een afweging creëert tussen expressiviteit en computationele kosten. Bovendien dwingt uniforme discretisatie dezelfde resolutie af op zowel snel veranderende als vlakke regio's van de curve, ondanks het feit dat alle topologische informatie in een ECC inherent wordt toegeschreven aan de vertices van de onderliggende celcomplex.

Methodologie
De auteurs stellen een continue codering van de ECT voor die de noodzaak voor een discretisatie-rooster elimineert. In plaats van de ECC-functie te samplen op vaste hoogtes, legt de methode de netto Euler-karakteristiek-verandering ($\Delta\chi$) vast die aan elke vertex $v$ wordt toegeschreven voor een gegeven richting $w_i$.

• Tokenisatie: Voor een celcomplex met $N$ vertices en een richting $w_i$ wordt de filtratiehoogte voor elke cel bepaald door de "verantwoordelijke vertex" (de vertex met de maximale projectie). De netto verandering $\Delta\chi(v, w_i)$ wordt berekend door de gesigneerde bijdragen op te tellen van alle cellen die de filtratie binnenkomen op de drempelwaarde gedefinieerd door die vertex. Vertices met een netto verandering van nul worden weggegooid, wat resulteert in een ijle sequentie van tokens $\{( \langle v, w_i \rangle, \Delta\chi(v, w_i) )\}$.
• ECC Encoder: Een kleine transformer-encoder verwerkt deze token-sequenties voor elke richting, waarbij de variabele lengte van de sequentie wordt in kaart gebracht naar een vector met een vaste lengte ($d_{out}$). Dit vervangt de traditionele gediscretiseerde matrix door een $D \times d_{out}$ kenmerkmatrix.
• Representatie-architecturen: De studie evalueert zes verschillende architecturen om de resulterende ECT-matrix te verwerken, variërend van structuur-agnostische baselines tot equivariante modellen:
  1. Feedforward Netwerk: Vlak de matrix af; geen structurele inductieve bias.
  2. Deep Sets: Behandelt richtingen als een ongeordende verzameling (permutatie-invariant).
  3. 2D Convolutie: Behandelt de matrix als een afbeelding; gebruikt circulaire padding langs de richting-as om rotationele equivariance te behouden.
  4. 1D Convolutie: Past convoluties toe langs de richting-as met circulaire padding.
  5. 1D Complex Convolutie: Representeert ECC's in het complexe domein om rotationele equivariance inherent te behouden via fase-encodering.
  6. Hybride: Combineert 1D-convoluties met volledig verbonden lagen (fully connected layers).

Belangrijkste Bijdragen

1. Continue ECT-representatie: Introductie van een rooster-vrije, exacte en parsimonieuze codering die de topologische veranderingen bij vertices vastlegt in plaats van functiewaarden te samplen. Dit verwijdert de resolutie-hyperparameter en is inherent differentieerbaar.
2. Systematische Architectuurstudie: Een uitgebreide evaluatie van zes neurale architecturen die verschillende inductieve biases beslaan (van structuur-agnostisch tot rotationeel equivariant) om te bepalen hoe directionele informatie het beste kan worden geaggregeerd.
3. Empirische Benchmarking: Evaluatie over zes classificatie-benchmarks die diverse datatypen bestrijken: puntenwolken, grafen, kubische complexen en meshes (zowel 2D als 3D).

Resultaten

• Impact van Codering: De continue codering verbeterde de classificatie-nauwkeurigheid op vijf van de zes datasets vergeleken met de beste discrete codering. De meest significante winst werd waargenomen op de Letter-high dataset (+0,120) en SwissBuildings (+0,094).
• Tokenisatie versus Capaciteit: Controle-experimenten toonden aan dat de prestatiewinst voortkomt uit de tokenisatie zelf en niet uit de toegevoegde capaciteit van de transformer. Het toepassen van een transformer op de gediscretiseerde ECT leverde geen consistente verbeteringen op.
• Interactie van Architectuur: De keuze van de representatie-architectuur was minder belangrijk dan de keuze van de codering. Er werden echter interacties waargenomen:
  • Onder continue codering was het eenvoudige feedforward netwerk de sterkste performer op vijf van de zes datasets.
  • Onder discrete codering was het feedforward netwerk instabiel (bijv. instortend op SwissBuildings), terwijl convolutionele architecturen (specifiek 1D en Hybride) bewezen robuuster te zijn.
  • De continue codering bood een meer "leerbare" input, waardoor de prestatiekloof tussen het feedforward netwerk en de convolutionele modellen werd verkleind.
• Equivariance: Hoewel rotationeel equivariante architecturen (1D/Complex Conv) ontworpen zijn om symmetrie te behouden, presteerde het feedforward netwerk vaak beter dan hen op datasets met canonieke oriëntaties (zoals Fashion-MNIST derivaten), wat suggereert dat strikte equivariance niet altijd de optimale inductieve bias is voor alle taken.

Betekenis
Het artikel stelt dat de methode van het coderen van de ECT een kritiekere factor is voor de downstream prestaties dan de specifieke neurale architectuur die wordt gebruikt om het te verwerken. Door over te stappen van een gediscretiseerde, rooster-gebaseerde representatie naar een continue, vertex-gebaseerde tokenisatie, bereiken de auteurs een hogere nauwkeurigheid en trainingsstabiliteit zonder te vertrouwen op complexe equivariante architecturen voor de meeste taken. De continue codering omzeilt effectief de hyperparameter-afstemming die geassocieerd wordt met roosterresolutie, en biedt een exacte representatie van de topologische transformatie die van nature geschikt is voor neurale verwerking. Het werk suggereert dat voor globale vormbeschrijvers de getrouwheid van de input-representatie (de codering) zwaarder weegt dan de complexiteit van de inductieve biases van het model.