Intrinsic Lorentz Neural Network

Dit artikel introduceert de Intrinsic Lorentz Neural Network (ILNN), een volledig intrinsieke hyperbolische architectuur die alle berekeningen binnen het Lorentz-model uitvoert en via innovatieve componenten zoals point-to-hyperplane lagen en GyroLBN state-of-the-art prestaties behaalt op zowel beeld- als genomische benchmarks.

De kern

Stel je voor dat je een enorme bibliotheek moet organiseren. In de wereld van kunstmatige intelligentie (AI) proberen computers vaak patronen te vinden in data, zoals foto's van dieren of stukjes DNA.

De meeste AI-modellen werken alsof ze in een vlakke, Euclidische ruimte zitten. Denk aan een groot, plat veld waar je alles in een rechte lijn kunt zetten. Maar veel echte data, zoals de stamboom van dieren of de hiërarchie van genen, is niet plat. Het is meer als een boom of een piramide. Als je probeert om zo'n boom in een plat veld te drukken, wordt het erg rommelig en vervormd. Het is alsof je probeert een oranje in een vierkante doos te proppen: het past niet goed en je moet veel ruimte verspillen.

Wetenschappers hebben ontdekt dat hyperbolische geometrie (een kromme ruimte) veel beter past bij deze boom-achtige structuren. Het is alsof je de data op een sneeuwhoed of een saladekom legt; daar past er veel meer in zonder dat het rommelig wordt.

Het Probleem: De "Half-Weg" Oplossing

Tot nu toe hadden AI-modellen die in deze kromme ruimte werkten een groot nadeel. Ze waren als een hybride auto die soms elektrisch rijdt (in de kromme ruimte) en soms op benzine (in de vlakke ruimte). Ze deden hun berekeningen in de kromme ruimte, maar gebruikten voor de zware lifting weer de oude, vlakke regels. Dit veroorzaakte wrijving, onnauwkeurigheid en maakte de modellen traag.

De Oplossing: ILNN (De "Puur Elektrische" Auto)

De auteurs van dit paper hebben een nieuw model bedacht: ILNN (Intrinsic Lorentz Neural Network). Dit is een volledig "intrinsic" model. Dat betekent: alles gebeurt binnen de kromme ruimte. Geen enkele stap wordt meer in de "oude, vlakke wereld" gedaan.

Hier zijn de drie belangrijkste uitvindingen van dit model, vertaald naar alledaagse termen:

1. De "Hyperplane" Classifier (De Slimme Scheidsrechter)

In een normaal AI-model wordt een beslissing genomen door een rechte lijn (een vlak) te trekken. In de kromme ruimte werkt dat niet goed.

• De Analogie: Stel je voor dat je twee groepen mensen moet scheiden in een ronde zaal. In een vlakke ruimte trek je een rechte lijn. In een ronde zaal (kromme ruimte) is een rechte lijn verwarrend.
• De ILNN-methode: In plaats van een rechte lijn, gebruikt ILNN de afstand tot een denkbeeldige muur (een hyperplane) die perfect in de kromme ruimte past. Het vraagt niet: "Hoeveel moet ik vermenigvuldigen?", maar: "Hoe ver is dit punt van de muur verwijderd?". Dit zorgt voor veel scherpere en betere beslissingen, alsof de AI een beter gevoel voor de vorm van de ruimte heeft.

2. GyroLBN (De Perfecte Regelaar)

AI-modellen hebben "Batch Normalization" nodig om stabiel te blijven tijdens het leren. Dit is als het regelen van de temperatuur in een kamer zodat het niet te heet of te koud wordt.

• Het oude probleem: Bestaande methoden waren ofwel te traag (ze moesten eindeloos rekenen om het gemiddelde te vinden) of ze waren niet precies genoeg.
• De ILNN-methode: Ze hebben een nieuwe regelaar bedacht, GyroLBN. Dit is als een slimme thermostaat die niet alleen de temperatuur meet, maar ook begrijpt hoe de luchtstroom in die ronde kamer werkt. Het is sneller, nauwkeuriger en zorgt ervoor dat het model veel sneller leert zonder vast te lopen.

3. De "Log-Radius" Klem (De Slimme Pakketjes)

Wanneer je veel stukjes data samenvoegt (bijvoorbeeld bij het kijken naar een foto), groeit de "grootte" van die data vaak oncontroleerbaar.

• De Analogie: Stel je voor dat je dozen met ballen stapelt. Als je ze zomaar op elkaar zet, wordt de stapel te hoog en valt hij om.
• De ILNN-methode: Ze gebruiken een speciale klem (Log-Radius Concatenation) die de grootte van de dozen automatisch aanpast voordat ze worden gestapeld. Hierdoor blijft de stapel stabiel, ongeacht hoeveel dozen je toevoegt.

Wat levert dit op?

De auteurs hebben hun model getest op twee gebieden:

1. Foto's herkennen (CIFAR): Het model kon beter onderscheid maken tussen verschillende dieren en objecten dan de beste bestaande modellen.
2. DNA analyseren: Genen hebben een complexe hiërarchie. Het model kon patronen in DNA veel beter vinden dan de oude, "vlakke" modellen.

Conclusie:
Dit paper introduceert een AI-architectuur die eindelijk volledig "in haar element" werkt. Het stopt met het forceren van ronde data in vierkante dozen. Door alles binnen de natuurlijke kromming van de data te laten gebeuren, wordt de AI slimmer, sneller en nauwkeuriger. Het is alsof je eindelijk stopt met het proberen om een bol in een kubus te proppen, en gewoon een bolvormige doos gebruikt die perfect past.

Technische samenvatting

Hieronder volgt een gedetailleerde technische samenvatting van het paper "Intrinsic Lorentz Neural Network" (ILNN), gepresenteerd bij ICLR 2026, in het Nederlands.

Probleemstelling

Real-world data vertonen vaak latente hiërarchische structuren die natuurlijk worden weergegeven door hyperbolische meetkunde. Hoewel bestaande hyperbolische neurale netwerken (HNN's) veelbelovende resultaten hebben geleverd, lijden veel huidige architecturen onder een partiële intrinsieke aard. Dit betekent dat ze Euclidische operaties (zoals lineaire transformaties in de omringende ruimte) mengen met hyperbolische operaties, of afhankelijk zijn van extrinsieke parametriseringen.

Deze hybride benadering introduceert meetkundige inconsistenties en numerieke instabiliteit. Specifiek in het Lorentz-model (dat stabieler is dan het Poincaré-model) gebruiken bestaande lagen, zoals de Lorentz Fully Connected (LFC) laag, vaak Euclidische matrixvermenigvuldigingen op de ruimtelijke componenten, waardoor de intrinsieke kromming van de variëteit wordt genegeerd. Ook normalisatiemethoden (zoals LBN en GyroBN) hebben compromissen: LBN negeert gyro-variatie, terwijl GyroBN computatiever is door het gebruik van iteratieve Fréchet-middens.

Methodologie: Intrinsic Lorentz Neural Network (ILNN)

De auteurs stellen ILNN voor, een volledig intrinsieke hyperbolische architectuur waarbij alle berekeningen, parameters en updates strikt binnen het Lorentz-model (het hyperboloïde) plaatsvinden. De kern van de methode bestaat uit de volgende innovaties:

1. Point-to-Hyperplane Lorentz Fully Connected (PLFC) Laag:

   • Vervangt traditionele Euclidische affiene transformaties ($y = Ax - b$) door een benadering gebaseerd op gesloten-formule hyperbolische afstanden.
   • In plaats van een lineaire projectie, wordt de output berekend als de gesymboliseerde afstand van een inputpunt tot een geleerde Lorentz-hypervlak.
   • Dit zorgt ervoor dat de beslissingsfuncties de inherente kromming van de ruimte respecteren. Wiskundig wordt de output $y$ reconstrueerd zodat de gesymboliseerde afstand tot de coördinaat-hypervlakken gelijk is aan de berekende logits.
   • Dit elimineert de noodzaak voor Euclidische lineaire mapping in de omringende Minkowski-ruimte.

2. GyroLBN (Gyrogroup Lorentz Batch Normalization):

   • Een nieuwe normalisatielaag die gyro-centering combineert met variatie-gereguleerde gyro-scaling.
   • Het lost het probleem op van bestaande methoden door de efficiënte, gesloten-formule Lorentz-centroïde (in plaats van de iteratieve Fréchet-middens) te gebruiken voor het berekenen van het gemiddelde, terwijl het toch de gyro-groepstructuur behoudt voor schaling.
   • Dit resulteert in een snellere trainingstijd en betere stabiliteit dan zowel LBN als GyroBN.

3. Aanvullende Intrinsieke Modules:

   • Gyro-additieve bias: Een leerbare offset die intrinsiek wordt toegevoegd via gyro-additie.
   • Log-radius patch-concatenatie: Een operator die de verwachte log-straal van feature-blokken aligneert via een digamma-gebaseerde schaal. Dit voorkomt dat de feature-norm oncontroleerbaar groeit bij het samenvoegen van blokken (een veelvoorkomend probleem bij convoluties in hyperbolische ruimte).
   • Lorentz Dropout: Een regularisatiemethode die een Bernoulli-masker toepast op de Lorentz-coördinaten en het resultaat direct projecteert terug naar het hyperboloïde, in plaats van via een Euclidische tussenstap.

Belangrijkste Bijdragen

1. Volledige Intrinsieke Architectuur: De eerste HNN die volledig vrij is van extrinsieke Euclidische operaties, waardoor de volledige representatieve kracht van de hyperbolische meetkunde wordt benut.
2. PLFC Laag: Een nieuw concept dat affiene transformaties vervangt door intrinsieke hyperbolische afstanden, wat leidt tot een hogere representatieve fideliteit en beter begrensde marges.
3. GyroLBN: Een efficiëntere en nauwkeurigere normalisatielaag die de voordelen van gyro-group normalisatie combineert met de snelheid van gesloten-formule statistieken.
4. State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat ILNN superieur is aan zowel Euclidische baselines als bestaande hyperbolische modellen.

Resultaten

De auteurs hebben ILNN getest op diverse benchmarks:

• Beeldclassificatie (CIFAR-10 en CIFAR-100):

  • ILNN bereikte een nauwkeurigheid van 95,36% op CIFAR-10 en 78,41% op CIFAR-100.
  • Dit is een verbetering ten opzichte van de sterke Euclidische ResNet-18 baseline (+0,22 en +0,69 procentpunten) en de beste bestaande hyperbolische concurrent (HCNN-Lorentz).
  • Visualisaties tonen compactere en beter gescheiden clusters in de embedding-ruimte, wat wijst op betere leer van de hiërarchische structuur.

• Genomische Classificatie (TEB en GUE benchmarks):

  • Op genomische taken (zoals pseudogeen-detectie en promotor-herkenning) presteerde ILNN aanzienlijk beter dan Euclidische CNN's en eerdere hyperbolische modellen.
  • Op de GUE "Covid Variant" taak herstelde ILNN de prestaties volledig (MCC ~64,8), terwijl eerdere hyperbolische modellen (HCNN) hierin faalden (MCC < 37).
  • Op de "Tata core-promoter" taak steeg de score van 79,9 (beste vorige) naar 83,9.

• Grafen (Graph Benchmarks):

  • Bij toepassing op grafen (AIRPORT, CORA, PUBMED) door het vervangen van de lineaire laag in Hypformer, behaalde ILNN de beste resultaten op alle drie de datasets, met verbeteringen van +1,03 tot +1,22 procentpunten ten opzichte van de originele Hypformer.

• Efficiëntie:

  • Ablatiestudies tonen aan dat GyroLBN aanzienlijk sneller is dan GyroBN (bijv. 169s vs 314s per epoch) en sneller dan LBN in bepaalde configuraties, terwijl het tegelijkertijd een hogere nauwkeurigheid levert.

Betekenis en Impact

Dit paper markeert een belangrijke stap in de evolutie van hyperbolische deep learning. Door de afhankelijkheid van Euclidische "hacks" of extrinsieke parametriseringen te elimineren, bewijst ILNN dat een volledig intrinsieke benadering niet alleen wiskundig consistenter is, maar ook praktisch superieure resultaten oplevert.

De introductie van de PLFC-laag en GyroLBN biedt robuuste bouwstenen voor toekomstig onderzoek in representatieleren op negatief gekromde variëteiten. De resultaten suggereren dat het volledig respecteren van de meetkundige kromming essentieel is voor het modelleren van complexe hiërarchische data, zoals die voorkomt in computer vision, genomics en grafen. De code zal openbaar beschikbaar worden gesteld, wat de reproduceerbaarheid en adoptie van deze methode zal stimuleren.