Herglotz-NET: Implicit Neural Representation of Spherical Data with Harmonic Positional Encoding

Probleemstelling

Het representeren en verwerken van data op het oppervlak van een bol (sferisch domein) vormt een unieke uitdaging vanwege de kromming van het domein. Klassieke Euclidische technieken, zoals standaard Implicit Neural Representations (INR's) (bijv. SIREN of NeRF), falen vaak op het oppervlak van een bol. Ze zijn gevoelig voor artefacten, met name bij de polen, omdat ze de inherente geometrie van de bol niet respecteren.

Eerdere pogingen om dit op te lossen, zoals SPH-SIREN, integreerden Sferische Harmonischen (Spherical Harmonics - SH) in de positionele encoding (PE). Hoewel dit effectief is, vereist deze aanpak het expliciet evalueren van een grote lijst van sferische harmonischen. Dit is computatief intensief, vatbaar voor numerieke instabiliteit bij hoge ordes, en schaalt slecht.

Methodologie: Herglotz-NET (HNET)

De auteurs stellen Herglotz-NET (HNET) voor, een nieuwe INR-architectuur die de flexibiliteit van SIREN combineert met een wiskundig goed gesteld kader voor het boloppervlak, zonder expliciete berekening van sferische harmonischen.

Kernconcepten:

1. Harmonische Positionele Encoding (PE):
   In plaats van Euclidische periodieke functies (zoals $\sin(\omega^T x)$) te gebruiken, maakt HNET gebruik van de exponentiële van een Herglotz-afbeelding.

   • Gegeven een complex vector $a \in \mathbb{C}^3$ die voldoet aan de Herglotz-voorwaarde $a^\top a = 0$ (bijv. $a = (1, i, 0)$).
   • De functie $g(x) = \exp(\omega_0 (a^\top x))$ is een harmonische functie (de Laplaciaan $\Delta g(x) = 0$).
   • Beperkt tot de eenheidsbol $S^2$, fungeert deze functie als een genererende functie voor alle sferische harmonischen.

2. Architectuur:

   • De PE bestaat uit $n$ neuronen gedefinieerd als:
     $$\psi_{a_i, w_i, b_i}(x) = e^{\omega_0 (w_i a_i^\top x + b_i)}$$
     waarbij $a_i$ Herglotz-vectoren zijn, en $w_i, b_i$ trainbare parameters.
   • Deze encoding wordt gevoed aan een Multilayer Perceptron (MLP) met periodieke activeringsfuncties (sinus), vergelijkbaar met SIREN.

3. Initialisatie:
   De Herglotz-vectoren worden initieel willekeurig gekozen (uniform verdeeld op de bol en in het orthogonale vlak) om ervoor te zorgen dat er geen voorkeur is voor een specifiek punt of richting op de bol, wat zorgt voor een isotrope start.

Theoretische Bijdragen en Spectrale Analyse

Het paper biedt een unificerende analyse van de expressiviteit van sferische INR's:

• Spectrale Expansie: Door de exponentiële en sinus-activeringsfuncties te benaderen met Taylorreeksen, tonen de auteurs aan dat elke laag in het netwerk het frequentiespectrum uitbreidt.
• Lemma 1 & Theorema 1:
  • Elke neuron in de PE van HNET heeft een spectrum dat begrensd is en gedomineerd wordt door een specifieke orde $\ell$ die evenredig is met de frequentieparameter $\omega_0$.
  • Het bewijs toont aan dat voor zowel HNET als SPH-SIREN, de maximale orde van de sferische harmonischen die het netwerk kan representeren, lineair schaalt met de diepte van het netwerk ($Q$) en de graad van de polynoombenadering van de activeringsfuncties.
  • Dit betekent dat HNET, net als SPH-SIREN, theoretisch in staat is om een oneindig breed spectrum van frequenties op de bol te modelleren naarmate het netwerk dieper wordt.

Experimentele Resultaten

De auteurs evalueren HNET op twee taken met aarddata (EARTH2014 dataset) en vergelijken het met een standaard SIREN en SPH-SIREN.

1. Super-Resolution (Resolutieverbetering):

   • Opdracht: Trainen op een grof rooster ($L=150$) en testen op een fijn rooster ($L=300$).
   • Resultaat: HNET, SIREN en SPH-SIREN presteren nagenoeg identiek (SNR rond de 22.26 dB). Visueel zijn de residuen gelijk.
   • Conclusie: HNET is even goed in het leren van de data als de gevestigde methoden.

2. Reconstructie van de Laplaciaan:

   • Opdracht: Het berekenen van de sferische Laplaciaan van de geleerde functie (belangrijk voor PDE-oplossing).
   • Resultaat:
     • SIREN: Toont significante artefacten bij de polen, wat leidt tot een zeer lage SNR (-20.95 dB). De differentieerbaarheid is hier niet goed gesteld op het boloppervlak.
     • HNET en SPH-SIREN: Geen zichtbare artefacten bij de polen en hoge nauwkeurigheid (SNR respectievelijk 7.89 dB en 6.83 dB, hoewel de absolute waarden lager zijn dan bij super-resolution, is de kwaliteit van de afgeleide veel beter dan bij SIREN).
   • Conclusie: HNET behoudt de "goed gestelde differentieerbaarheid" die cruciaal is voor inverse problemen en het oplossen van differentiaalvergelijkingen, in tegenstelling tot standaard SIREN.

Belangrijkheid en Conclusie

De belangrijkste bijdragen van dit werk zijn:

• Innovatie: HNET introduceert een nieuwe manier om sferische data te modelleren door Herglotz-afbeeldingen te gebruiken, waardoor de noodzaak voor dure en instabiele expliciete berekeningen van sferische harmonischen wordt weggelaten.
• Prestatie: HNET presteert op gelijke hoogte met de state-of-the-art SPH-SIREN, maar is mogelijk efficiënter te implementeren en te trainen.
• Robuustheid: Het model lost het probleem van polaire artefacten op en garandeert een wiskundig correct gedrag voor differentiatie, wat het ideaal maakt voor wetenschappelijke toepassingen zoals het oplossen van PDE's op het boloppervlak.
• Theoretisch inzicht: De paper biedt een diepgaand inzicht in hoe de diepte van het netwerk de spectrale expressiviteit beïnvloedt voor sferische INR's.

Kortom, Herglotz-NET biedt een schaalbaar, flexibel en nauwkeurig kader voor het modelleren van sferische data, waarbij het de beste eigenschappen van SIREN combineert met de geometrische correctheid van sferische harmonischen.