A Hamiltonian driven Geometric Construction of Neural Networks via the Lognormal family, Application to Financial Fraud Detection and to Network Security

Technische Zusammenfassung: Eine Hamilton-gesteuerte geometrische Konstruktion neuronaler Netze mittels der Lognormal-Familie

Problemstellung
Traditionelle künstliche neuronale Netze (ANNs) werden typischerweise innerhalb euklidischer Räume konstruiert, eine Einschränkung, die ihre Fähigkeit einschränkt, die intrinsische Komplexität strukturierter Daten auf statistischen Mannigfaltigkeiten zu erfassen. Während die Informationsgeometrie, begründet durch Amari, die Nützlichkeit Riemannscher Strukturen für synaptische Parameter etabliert hat, blieben wenige Studien zurück, die neuronale Netzwerkarchitekturen explizit auf spezifischen statistischen Mannigfaltigkeiten – insbesondere der Lognormal-Mannigfaltigkeit – konstruieren. Die Lognormalverteilung ist in der Finanzwelt, Biologie und Signalverarbeitung allgegenwärtig, doch ihr Parameterraum wurde bisher nicht systematisch genutzt, um neuronale Komponenten (Inputs, Gewichte, Aktivierungsfunktionen) aus ersten geometrischen Prinzipien abzuleiten. Die vorliegende Arbeit adresst die Frage, wie man eine Lognormal-statistische Mannigfaltigkeit als neuronale Mannigfaltigkeit strukturieren und deren Komponenten mittels Hamilton-Geometrie und Lie-Gruppen-Formalismus ableiten kann.

Methodik
Die Autoren schlagen eine systematische Methode vor, um ein neuronales Netzwerk intrinsisch auf der Lognormal-statistischen Mannigfaltigkeit zu konstruieren, indem sie deren Hamilton- und geometrische Struktur ausnutzen. Die Methodik vollzieht sich in folgenden Schritten:

1. Statistische Formulierung: Die Lognormalverteilung wird als Exponentialfamilie behandelt. Die natürlichen Parameter $\theta = (\theta_1, \theta_2)$ werden aus dem Mittelwert ($\mu$) und der Standardabweichung ($\sigma$) der Log-Daten abgeleitet.
2. Hamilton-Dynamik: Der Gradientenfluss auf der Lognormal-Mannigfaltigkeit wird als äquivalent zu einem Hamilton-System gezeigt. Durch die Definition von Phasenraum-Koordinaten $P$ und $Q$ basierend auf den natürlichen Parametern wird das System auf die Poincaré-Scheibe ($D$) abgebildet, ein Modell der hyperbolischen Geometrie.
3. Lie-Gruppen-Wirkung: Die Dynamik des Systems wird durch die Wirkung der Lie-Gruppe $SU(1, 1)$ auf die Poincaré-Scheibe beschrieben. Die Gruppenwirkung repräsentiert die Evolution des Systems im Phasenraum.
4. Ableitung der neuronalen Komponenten:
   • Input: Der Input-Vektor wird durch die Koordinaten der Poincaré-Scheibe definiert, die aus den Hamilton-Variablen abgeleitet sind.
   • Gewichtsmatrix: Die synaptische Gewichtsmatrix wird aus der Rotationskomponente der $SU(1, 1)$-Wirkung (repräsentiert durch eine Rotationsmatrix $\Omega \in SO(2)$) und einem Translationsvektor $\vec{t}$ konstruiert. Diese Matrix gehört zur speziellen euklidischen Gruppe $SE(2)$.
   • Aktivierungsfunktion: Die Aktivierungsfunktion ergibt sich aus der symplektischen Struktur des Systems, definiert als eine Gruppenmorphismus involvierend exponentielle und trigonometrische Funktionen der Winkelvariable $\beta$.
5. Architektur: Die resultierende Architektur ist ein vollvernetztes einlagiges Netzwerk mit Bias, bei dem die Linearkombination und Nichtlinearität in der zugrunde liegenden Geometrie der Daten statt in einfachen algebraischen Abstraktionen verwurzelt sind.

Zentrale Beiträge

• Geometrische Konstruktion: Die Arbeit liefert eine rigorose Ableitung einer neuronalen Netzwerkarchitektur direkt aus der Lognormal-statistischen Mannigfaltigkeit und bewegt sich damit über euklidische Approximationen hinaus.
• Hamilton-gesteuerte Dynamik: Sie zeigt, dass das Gradientensystem auf der Lognormal-Mannigfaltigkeit integrabel ist und einem Hamilton-System mit geschlossenen elliptischen Trajektorien im Phasenraum entspricht, welche auf die Poincaré-Scheibe kompaktifiziert werden.
• Explizite Definition der Komponenten: Die Autoren definieren explizit die Input-Funktionen, die Gewichtsmatrix (unter Einbeziehung von Rotation und Translation) sowie die Aktivierungsfunktion bassierend auf der Lie-Gruppe $SU(1, 1)$ und der symplektischen Struktur.
• Theoretischer Rahmen: Die Arbeit schlägt eine Brücke zwischen Informationsgeometrie, Lie-Gruppentheorie und maschinellem Lernen und zeigt auf, wie Informationsverarbeitungssysteme auf nicht-euklidischen Räumen „naturalisiert“ werden können.

Ergebnisse und Anwendungen
Die Arbeit validiert den vorgeschlagenen Rahmen durch zwei spezifische Anwendungsszenarien unter Verwendung von 10-Tage-Datensätzen, um die Detektion von Anomalien zu demonstrieren:

1. Finanzbetrugserkennung (Financial Fraud Detection):

   • Kontext: Transaktionsbeträge, die einer Lognormalverteilung folgen, werden überwacht.
   • Mechanismus: Betrügerische Aktivitäten verändern die Basis-Statistikverteilung ($\mu, \sigma$). Das System bildet diese Parameter auf die Poincaré-Scheibe ab.
   • Ergebnis: Im Fallbeispiel verursachte ein betrügerischer Tag (Tag 6) mit hoher Volatilität eine radikale Verschiebung der statistischen Eigenschaften. Im hyperbolischen Merkmalsraum der Poincaré-Scheibe führte dies zu einer signifikanten „geodätischen Beschleunigung“, die den betrügerischen Zustand weitaus deutlicher vom normalen Betriebsumfeld trennte, als es euklidische Distanzmetriken vermögen würden.

2. Netzwerksicherheit (DDoS Intrusion Detection):

   • Kontext: Netzwerkpaketraten, die positiv und schief verteilt sind, werden als Lognormal modelliert.
   • Mechanismus: Ein DDoS-Angriff erhöht die mittlere Paketrate und die Volatilität drastisch.
   • Ergebnis: Die geometrische Transformationspipeline zeigte, dass während normaler Verkehrsroutinen die Koordinaten ein hochstabiles Cluster auf dem extrem linken Segment des internen Mannigfaltigkeits-Envelopes ($x_D \approx -0,499$) bilden. Wenn der DDoS-Angriff auslöst, verursacht die massive Verschiebung der Verteilungsparameter einen „explosiven, nahezu orthogonalen Sprung“ in Richtung der vertikalen Grenzachse, wodurch $x_D$ von $-0,4996$ auf $-0,0062$ springt und $y_D$ auf $0,4999$ steigt. Diese Verschiebung spiegelt eine massive Variation der Rao-Fisher-Distanz wider und bietet einen sofortigen geometrischen Alarm, der robust gegenüber adaptiven Angriffsprofilen ist, die traditionelle schwellenwertbasierte Systeme umgehen könnten.

Bedeutung und Behauptungen
Das Paper beansprucht, eine neue Perspektive für das geometrische maschinelle Lernen aufzuzeigen, indem es demonstriert, dass neuronale Informationsverarbeitungssysteme basierend auf der Lognormal-Familie als dynamische Systeme auf der Poincaré-Scheibe modelliert werden können. Die Bedeutung liegt darin, dass die fundamentalen Operationen des Netzwerks (Linearkombination, Nichtlinearität) keine willkürlichen algebraischen Entscheidungen sind, sondern intrinsisch aus der Geometrie des Parameterraums der Daten abgeleitet wurden.

Die Autoren behaupten, dass dieser Ansatz die Gestaltung von Architekturen ermöglicht, die natürlich für Daten geeignet sind, die einer Lognormalverteilung folgen, bei denen der Parameterraum inhärent eine Mannigfaltigkeit ist. Durch die Nutzung der Hamilton-Formalismen und der Wirkung von $SU(1, 1)$ bewahrt das Modell die statistische Identität während der Vorwärtsausbreitung innerhalb isolierter Informations-Trajektorien (Orbits) statt global über die gesamte Scheibe. Dies bietet eine rechenleichtgewichtige geometrische Methode zur Erkennung von Anomalien in Systemen, in denen Daten natürlicherweise einer Lognormalverteilung folgen. Die Arbeit wird als ein grundlegender Schritt präsentiert, um die Informationsgeometrie auf die explizite Konstruktion neuronaler Netze auf spezifischen statistischen Mannigfaltigkeiten anzuwenden.