A Hamiltonian driven Geometric Construction of Neural Networks via the Lognormal family, Application to Financial Fraud Detection and to Network Security

Technische Samenvatting: Een Hamiltoniaanse Gedreven Geometrische Constructie van Neurale Netwerken via de Lognormale Familie

Probleemstelling
Traditionele kunstmatige neurale netwerken (ANN's) worden doorgaans geconstrueerd binnen Euclidische ruimtes, een beperking die hun vermogen beperkt om de intrinsieke complexiteit van gestructureerde data op statistische manifolds te vatten. Hoewel de informatiestatistiek (information geometry), gepionierd door Amari, de bruikbaarheid van Riemanniaanse structuren voor synaptische parameters heeft vastgesteld, hebben weinig studies expliciet neurale netwerkarchitecturen geconstrueerd op specifieke statistische manifolds, met name de lognormale manifold. De lognormale verdeling is alomtegenwoordig in de financiële sector, biologie en signaalverwerking, maar de parameterruimte ervan is nog niet systematisch gebruikt om neurale componenten (inputs, gewichten, activatiefuncties) af te leiden vanuit eerste geometrische principes. Het artikel adresseert de vraag hoe men een lognormale statistische manifold als een neurale manifold kan structureren en de componenten ervan kan afleiden met behulp van Hamiltoniaanse geometrie en Lie-groepformalisme.

Methodologie
De auteurs stellen een systematische methode voor om een neuraal netwerk intrinsiek op de lognormale statistische manifold te construeren door gebruik te maken van de Hamiltoniaanse en geometrische structuur ervan. De methodologie verloopt via de volgende stappen:

1. Statistische Formulering: De lognormale verdeling wordt behandeld als een exponentiële familie. De natuurlijke parameters $\theta = (\theta_1, \theta_2)$ worden afgeleid van het gemiddelde ($\mu$) en de standaarddeviatie ($\sigma$) van de log-data.
2. Hamiltoniaanse Dynamica: De gradiëntstroom op de lognormale manifold blijkt equivalent te zijn aan een Hamiltoniaans systeem. Door faseruimte-coördinaten $P$ en $Q$ te definiëren op basis van de natuurlijke parameters, wordt het systeem gemapt naar de Poincaré-schijf ($D$), een model van hyperbolische geometrie.
3. Lie-groepactie: De dynamica van het systeem wordt beschreven door de actie van de Lie-groep $SU(1, 1)$ op de Poincaré-schijf. De groep-actie vertegenwoordigt de evolutie van het systeem in de faseruimte.
4. Afleiding van Neurale Componenten:
   • Input: De inputvector wordt gedefinieerd door de coördinaten van de Poincaré-schijf, afgeleid van de Hamiltoniaanse variabelen.
   • Gewichtsmatrix: De synaptische gewichtsmatrix wordt geconstrueerd uit het rotatiecomponent van de $SU(1, 1)$-actie (vertegenwoordigd door een rotatiematrix $\Omega \in SO(2)$) en een translatievector $\vec{t}$. Deze matrix behoort tot de Speciale Euclidische groep $SE(2)$.
   • Activatiefunctie: De activatiefunctie ontstaat uit de symplectische structuur van het systeem, gedefinieerd als een groepsmorfisme bestaande uit exponentiële en trigonometrische functies van de hoekvariabele $\beta$.
5. Architectuur: De resulterende architectuur is een volledig verbonden (fully connected) enkelvoudige laag netwerk met een bias, waarbij de lineaire combinatie en de niet-lineariteit geworteld zijn in de onderliggende geometrie van de data in plaats van in eenvoudige algebraïsche abstracties.

Kernbijdragen

• Geometrische Constructie: Het artikel biedt een rigoureuze afleiding van een neurale netwerkarchitectuur direct vanuit de lognormale statistische manifold, waarmee het verder gaat dan Euclidische benaderingen.
• Hamiltoniaans Gedreven Dynamica: Het toont aan dat het gradiëntensysteem op de lognormale manifold integreerbaar is en equivalent is aan een Hamiltoniaans systeem met gesloten elliptische trajecten in de faseruimte, die gecompacteerd zijn op de Poincaré-schijf.
• Expliciete Definitie van Componenten: De auteurs definiëren expliciet de inputfuncties, de gewichtsmatrix (inclusief rotatie en translatie) en de activatiefunctie op basis van de Lie-groep $SU(1, 1)$ en de symplectische structuur.
• Theoretisch Kader: Dit werk slaat een brug tussen de informatiestatistiek, Lie-groeptheorie en machine learning, en laat zien hoe informatieverwerkingssystemen "genaturaliseerd" kunnen worden op niet-Euclidische ruimtes.

Resultaten en Toepassingen
Het artikel valideert het voorgestelde kader via twee specifieke toepassingsscenario's, waarbij 10-daagse datasets worden gebruikt om de detectie van anomalieën aan te tonen:

1. Detectie van Financiële Fraude:

   • Context: Transactiebedragen, die een lognormale verdeling volgen, worden gemonitord.
   • Mechanisme: Frauleuze activiteiten veranderen de baseline statistische verdeling ($\mu, \sigma$). Het systeem mapt deze parameters naar de Poincaré-schijf.
   • Resultaat: In de casestudy veroorzaakte een frauduleuze dag (Dag 6) met hoge volatiliteit een radicale verschuiving in de statistische eigenschappen. In de hyperbolische kenmerkruimte van de Poincaré-schijf resulteerde dit in een significante "geodesische acceleratie", waardoor de frauduleuze staat veel duidelijker werd gescheiden van de normale operationele enveloppe dan met Euclidische afstandmetrieken het geval zou zijn.

2. Netwerkbeveiliging (DDoS Intrusion Detection):

   • Context: Netwerkpakketfrequenties, die positief en scheef verdeeld zijn, worden als lognormaal gemodelleerd.
   • Mechanisme: Een DDoS-aanval verhoogt de gemiddelde pakketfrequentie en volatiliteit drastisch.
   • Resultaat: De geometrische transformatiepipeline toonde aan dat tijdens normale verkeersroutines de coördinaten een zeer stabiele cluster vormen op het uiterst linkse segment van de interne manifold-enveloppe ($x_D \approx -0,499$). Wanneer de DDoS-aanval wordt getriggerd, veroorzaakt de massale verschuiving in de distributieparameters een "explosieve, bijna orthogonale sprong" naar de verticale grensas, waardoor $x_D$ van $-0,4996$ naar $-0,0062$ reist en $y_D$ stijgt naar $0,4999$. Deze verschuiving weerspiegelt een enorme variatie in de Rao-Fisher afstand, wat een onmiddellijk geometrisch alarm geeft dat robuust is tegen adaptieve aanvalsprofielen die traditionele drempelwaarde-gebaseerde systemen zouden kunnen omzeilen.

Betekenis en Claims
Het artikel claimt een nieuw perspectief te bieden voor geometrische machine learning door aan te tonen dat neurale informatieverwerkingssystemen gebaseerd op de lognormale familie gemodelleerd kunnen worden als dynamische systemen op de Poincaré-schijf. De significantie ligt in het feit dat de fundamentele operaties van het netwerk (lineaire combinatie, niet-lineariteit) geen willekeurige algebraïsche keuzes zijn, maar intrinsiek afgeleid zijn van de geometrie van de parameterruimte van de data.

De auteurs stellen dat deze aanpak de mogelijkheid biedt om architecturen te ontwerpen die van nature geschikt zijn voor data die een lognormale verdeling volgen, waarbij de parameterruimte inherent een manifold is. Door gebruik te maken van de Hamiltoniaanse formalisatiewijze en de actie van $SU(1, 1)$, behoudt het model de statistische identiteit tijdens de voorwaartse propagatie binnen geïsoleerde informatieroutes (orbits), in plaats van globaal over de gehele schijf. Dit biedt een computationeel lichte geometrische methode voor het detecteren van anomalieën in systemen waar de data van nature een lognormale verdeling volgt. Het werk wordt gepresenteerd als een fundamentele stap in het toepassen van de informatiestatistiek op de expliciete constructie van neurale netwerken op specifieke statistische manifolds.