🤖 machine learning

Fast Exact Nearest-Neighbor Learning for High-Frequency Financial Time Series

Diese Arbeit zeigt, dass eine auf Mojo basierende Implementierung eines exakten SIMD k-d-Baums bestehende scikit-learn-Methoden in Bezug auf Geschwindigkeit und Skalierbarkeit für hochfrequente Finanz-Zeitreihen signifikant übertrifft, was ein Echtzeit-Nearest-Neighbor-Lernen und verbesserte Derivatepreismodelle ermöglicht, ohne die Genauigkeit zu beeinträchtigen.

Ursprüngliche Autoren: Henry Han, Diane Li

Veröffentlicht 2026-06-10

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Henry Han, Diane Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Nadel im Heuhaufen“-Dilemma

Stellen Sie sich vor, Sie sind ein Finanzhändler. Jede Sekunde müssen Sie eine Entscheidung basierend auf dem aktuellen Markt treffen. Um dies zu tun, schauen Sie in Ihre „Gedächtnisbank“ – eine riesige Historie davon, wie sich der Markt in der Vergangenheit verhalten hat. Sie wollen die exakten Momente in der Geschichte finden, die dem heutigen Tag am ähnlichsten sehen, um vorherzusagen, was als Nächstes passiert.

Das Problem ist, dass diese „Gedächtnisbank“ riesig wird (Millionen von Datenpunkten).

Der alte Weg (Python/Scikit-learn): Stellen Sie sich vor, Sie versuchen, ein bestimmtes Buch in einer Bibliothek zu finden, indem Sie jeden einzelnen Gang ablaufen und jedes einzelne Buch prüfen, eines nach dem anderen. Das ist genau, aber es ist unglaublich langsam. Wenn die Bibliothek größer wird, werden Sie langsamer.
Der „schnelle“ Weg (C++): Stellen Sie sich vor, Sie stellen ein Team von superschnellen Läufern ein, um dieselbe Suche durchzuführen. Sie sind schnell, aber sie sprechen eine andere Sprache als Ihre Forscher. Sie müssen Ihre Ideen in ihre Sprache übersetzen, was langsam, teuer und fehleranfällig ist.

Die Lösung: Mojo

Die Autoren führen Mojo ein, eine neue Programmiersprache, die wie ein „supergeladenes Python“ ist. Sie spricht dieselbe Sprache wie die Forscher (leicht zu schreiben), läuft aber mit der Geschwindigkeit der superschnellen Läufer.

Sie nutzten Mojo, um einen intelligenteren Weg zu bauen, um diese Finanzhistorie zu durchsuchen. Anstatt jedes einzelne Buch (Datenpunkt) zu prüfen, bauten sie ein smartes Ablagesystem (einen „k-d-Baum“), das ihnen hilft, riesige Abschnitte der Bibliothek zu überspringen, die definitiv nicht die Antwort enthalten.

Wie sie es schnell gemacht haben (Die drei Tricks)

Das Papier erklärt, dass sie nicht nur ein smartes Ablagesystem verwendet haben, sondern es auf drei spezifische Arten optimiert haben, damit es förmlich fliegt:

Der „smarte Split“ (Varianzbasierte Aufteilung):
- Analogie: Stellen Sie sich vor, Sie sortieren einen unordentlichen Haufen Kleidung. Anstatt sie einfach nur nach „Hemden vs. Hosen“ zu trennen, schauen Sie sich den Haufen an und fragen: „Welches Merkmal trennt diese Artikel am besten?“ Vielleicht teilen Sie sie zuerst nach der „Farbe“ auf, weil das die saubersten Gruppen erzeugt.
- Im Papier: Der Algorithmus betrachtet die Finanzdaten und findet das spezifische Merkmal (wie Volatilität oder Preisimpuls), das am stärksten variiert. Er teilt die Daten dort zuerst auf, wodurch engere, leichter zu durchsuchende Gruppen entstehen.
Der „flache Boden“ (Kontinuierliche Flat-Buffer-Speicherung):
- Analogie: Stellen Sie sich vor, Ihre Bücher sind in einer Bibliothek gelagert, in der einige in einer Kiste, einige auf einem Regal und einige in einem Keller liegen, und Sie müssen ständig hin- und herlaufen, um sie zu holen. Das ist langsam. Stellen Sie sich nun vor, alle Bücher sind perfekt in einer einzigen, langen Reihe auf einem Regal aufgereiht. Sie können sie in einer einzigen fließenden Bewegung greifen.
- Im Papier: Sie speicherten die Daten in einem kontinuierlichen Speicherblock. Dies ermöglicht es dem „Prefetcher“ des Computers (einem Teil des Gehirns, der errät, was Sie als Nächstes benötigen), die Daten effizient abzurufen, ohne Zeit durch Hin- und Herspringen zu verschwenden.
Der „Super-Leser“ (SIMD-Vektorisierung):
- Analogie: Stellen Sie sich vor, Sie lesen eine Liste von Zahlen. Ein normaler Mensch liest eine Zahl nach der anderen. Ein „Super-Leser“ (SIMD) kann acht Zahlen gleichzeitig lesen und die Berechnungen für alle acht in einem einzigen Augenblick durchführen.
- Im Papier: Sie programmierten den Computer so, dass er acht Finanzdatenpunkte gleichzeitig vergleicht. Dies macht die eigentliche Mathematik des Vergleichs von „heute“ mit „gestern“ unglaublich schnell.

Die Ergebnisse: Geschwindigkeit vs. Genauigkeit

Das Team testete dies an realen Finanzdaten (Aktien, ETFs und Währungen) auf zwei Arten von Computerchips (Intel x86 und Apple M3).

Die Geschwindigkeit:
- Auf Standardcomputern (x86) war ihre neue Methode 17- bis 21-mal schneller als das Standard-Python-Tool (scikit-learn).
- Auf Apple-Computern (ARM64) war sie 28- bis 43-mal schneller als das Standard-Tool.
- Wichtiger Punkt: Sie haben nicht geraten. Sie fanden exakt dasselbe Ergebnis wie die langsame Methode, nur viel schneller.
Das „Warum“ (Die ARM64-Überraschung):
- Auf Apple-Chips war die Standard-„Brute-Force“-Methode (alles prüfen) überraschend langsam, weil der „Super-Leser“ (SIMD) des Chips schmaler war, als der Code es erwartete. Da die Autoren jedoch ihr „smartes Ablagesystem“ (k-d-Baum) nutzten, das so viele unnötige Prüfungen übersprang, spielte das keine Rolle. Es war immer noch die schnellste Methode bei weitem.

Der reale Gewinn: Bessere Vorhersagen

Das Papier blieb nicht nur bei der Geschwindigkeit. Sie zeigten, dass Schnelligkeit es ermöglicht, mehr zu leisten.

Sie trainierten ein Modell, um die „implizite Volatilität“ (ein Maß für das Risiko von Aktienoptionen) vorherzusagen.
Da ihr System so schnell war, konnten sie das Modell mit 10-mal mehr Daten trainieren, als das Standard-Python-System in der gleichen Zeit bewältigen könnte.
Das Ergebnis: Durch die Nutzung von mehr Daten wurde das Modell um 8 % genauer. Dies beweist, dass Geschwindigkeit nicht nur bedeutet, weniger zu warten; es bedeutet, besser zu lernen.

Zusammenfassung

Das Papier argumentt, dass wir, um die massiven Datenmengen in der modernen Finanzwelt zu bewältigen, weder nur langsame, einfache Werkzeuge (Python) noch schwere, schnelle Werkzeuge (C++) verwenden können. Wir brauchen einen Mittelweg.

Mojo bietet diesen Mittelweg. Durch die Kombination eines smarten Suchalgorithmus, einer ordentlichen Art der Datenspeicherung und einer „super-lesenden“ Mathematik-Engine haben sie ein System geschaffen, das:

Exakt ist: Es rät nicht; es findet die echte Antwort.
Schnell ist: Es ist 17- bis 43-mal schneller als aktuelle Standard-Tools.
Skalierbar ist: Es wird mit zunehmender Datenmenge sogar noch leistungsfähiger, was es Finanzmodellen ermöglicht, aus größeren Historien zu lernen und bessere Vorhersagen zu treffen.

Technisches Resümee: Schnelles exaktes Nearest-Neighbor-Lernen für hochfrequente Finanzzeitreihen

Problemstellung
Die Finanz-KI tritt in eine Skalierungsära ein, in der Modelle massive historische Korpora (Aktien, ETFs, FX, Optionen) verarbeiten müssen, um den Echtzeithandel, das Risikomanagement und die Derivatepreisgestaltung zu unterstützen. Ein kritischer Engpass besteht im aktuellen Stack: Während Python-basierte Werkzeuge (NumPy, scikit-learn) Flexibilität bieten, leiden sie unter Interpreter-Overhead, Speicherbandbrettensättigung und schlechter Cache-Lokalität bei der Abfrage hunderttausender historischer Zustände. Im Gegensatz dazu bieten C++- und FPGA-Lösungen zwar Geschwindigkeit, erzeugen jedoch eine „Research-to-Production“-Lücke durch die Notwendigkeit separater Codebasen und manueller Optimierung. Die spezifische Herausforderung, die hier adressiert wird, ist die exakte Nearest-Neighbor (KNN)-Inferenz für hochfrequente Zeitreihen, bei der die linearen Kosten einer Brute-Force-Suche ( $O(n \cdot d)$ ) für Echtzeit-Latenzbudgets prohibitiv werden, während approximative Methoden (wie HNSW) die für bestimmte Finanzanwendungen erforderliche Exaktheit opfern.

Methodik
Die Autoren schlagen einen Mojo SIMD k-d-Baum vor, der speziell für Finanzzeitreihen-Korpora entwickelt wurde. Mojo, eine kompilierte Systemsprache mit Python-kompatibler Syntax, ermöglicht das Co-Design von Algorithmus, Speicherlayout und Hardware, ohne die Python-Umgebung verlassen zu müssen. Die Methodologie integriert drei Kernoptimierungen:

Varianzbasierte Aufspaltung: Im Gegensatz zu Standard-Median-Splits wählt der Baum die Aufspaltungsachse basierend auf der Dimension mit der maximalen Varianz ( $j^* = \arg\max \text{Var}(\{x_{i,j}\})$ ). Dies konzentriert das frühe Pruning auf die diskriminativsten Finanzmerkmale (Renditen, Volatilität, Momentum) und schafft so dichtere Teilregionen.
Kontinuierliche Flat-Buffer-Speicherung: Trainingsvektoren werden in einem zeilenorientierten Flat-Buffer ( $X \in \mathbb{R}^{n \times d}$ ) gespeichert, der durch ein permutiertes Array indiziert wird. Blattknoten sind durch Integer-Offsets definiert, wodurch Kandidaten als kontinuierliche Speicherblöcke gelesen werden können. Dies eliminiert den Pointer-Chasing-Overhead und gewährleistet die Cache-Line-Ausrichtung.
Compile-Zeit-vektorisierte Kernel: Distanzberechnungen nutzen SIMD (Single Instruction, Multiple Data) Vektorisierung. Der Kernel wird zur Kompilierzeit (comptime) für spezifische Dimensionen (z. B. $d=16$ oder $d=24$ ) und SIMD-Breiten spezialisiert, wodurch vollständig ungerollter, skalarfreier Code generiert wird. Die quadratische euklidische Distanz wird in parallele Registerbreiten-Blöcke zerlegt.

Das System wurde auf acht Finanzdatensätzen (US-Aktien, ETFs, FX) auf zwei Hardware-Architekturen evaluiert: x86 (Intel/AMD) und ARM64 (Apple M3). Vergleiche wurden mit den Brute-Force- und k-d-Tree-Implementierungen von scikit-learn sowie dem eigenen Mojo SIMD-Brute-Force-Ansatz gezogen.

Wesentliche Beiträge

Mojo SIMD k-d-Tree Implementierung: Eine neuartige Implementierung, die varianzbasiertes Pruning, ein Flat-Buffer-Speicherlayout und zur Kompilierzeit vektorisierte Distanz-Kernel kombiniert, um exaktes KNN auf großen Finanzdatensätzen durchzuführen.
Theoretische Laufzeitanalyse: Ein Beweis, dass der Mojo k-d-Baum unter Standard-Pruning-Annahmen im Regime fester Aktien, großem $n$ und moderater Dimensionalität den Mojo SIMD Brute Force und den scikit-learn k-d-Tree asymptotisch dominiert.
Finanz-Hardware-Co-Design: Ein standardisierter Feature-Engineering-Ansatz, bei dem OHLCV-abgeleitete Merkmale mit SIMD-Breiten (16 und 24 Float32-Werte, die auf 2 bzw. 3 Registerbreiten abgebildet werden) abgestimmt sind, wodurch die finanzielle Interpretierbarkeit gewahrt und der Durchsatz maximiert wird.
Empirische Validierung: Umfassende Benchmarks, die signifikante Beschleunigungen über verschiedene Assetklassen und Hardwareplattformen hinweg zeigen, wobei die statistische Signifikanz mittels Wilcoxon-Signed-Rank-Tests bestätigt wurde.
Skalierbarkeitsdemonstration: Ein Sekundärexperiment mit Extra Trees für die Preisgestaltung der impliziten Volatilität zeigt, dass die Durchsatzgewinne eine Training auf 10 $\times$ mehr Daten ermöglichen, was die Vorhersagegenauigkeit direkt verbessert.

Ergebnisse

Beschleunigung auf x86 ( $d=16$ ): Der Mojo k-d-Baum erreichte eine 17,5–21,6 $\times$ Beschleunigung gegenüber dem scikit-learn k-d-Tree und eine 1,2–1,3 $\times$ Beschleunigung gegenüber dem scikit-learn Brute Force über Datensätze mit einer Spanne von 143K bis 277K Stichproben.
Beschleunigung auf ARM64 ( $d=24$ ): Die Methode erreichte eine 28,1–43,5 $\times$ Beschleunigung gegenüber dem scikit-learn Brute Force auf dem Apple M3. Bemerkenswert ist, dass der Mojo SIMD-Brute-Force-Kernel auf ARM64 780–1549 $\times$ langsamer war als der k-d-Tree aufgrund einer Diskrepanz zwischen der für x86 optimierten Compile-Zeit-SIMD-Breite (256-Bit-Register) und den nativen 128-Bit ARM-Registern. Das algorithmische Pruning des k-d-Baums ( $O(n^{1-1/d})$ ) machte ihn jedoch immun gegen diesen hardware-spezifischen Nachteil und bewahrte massive Gewinne.
Skalierungsexponenten: Die empirische Anpassung der Laufzeitkomplexität $T(n) = Cn^\alpha$ ergab einen Exponenten von 1,755 für den Mojo k-d-Baum (nur Abfrage), im Vergleich zu 1,885 für Brute Force und 2,320 für den scikit-learn k-d-Tree. Dies bestätigt eine sub-quadratische Skalierung, die sich mit zunehmender Datensatzgröße vergrößert.
Vorhersagequalität: Im Extra-Trees-Experiment reduzierte das Training auf 200.000 Stichproben (10 $\times$ das Python-Baseline-Limit) den Put Implied Volatility (IV) RMSE um 8,0 % (von 0,361 auf 0,333). Die Trennung von Calls und Puts reduzierte den RMSE weiter um 27–31 %.
Statistische Signifikanz: Ein Wilcoxon-Signed-Rank-Test bestätigte, dass der Mojo k-d-Baum auf allen acht Datensätzen strikt schneller ist als der scikit-learn k-d-Tree ( $p < 0,01$ ), mit einer geometrischen mittleren Beschleunigung von 10,8 $\times$ (95 % KI: [5,94 $\times$ , 16,62 $\times$ ]).

Bedeutung und Ansprüche
Das Paper beansprucht, die erste Open-Source, Python-kompatible, systemnahe Studie zur Effizienz der Finanz-KI-Inferenz in großem Maßstab zu sein. Seine primäre Bedeutung liegt in dem Nachweis, dass ein Co-Design über Algorithmus, Speicherlayout, Hardware und Sprache hinweg signifikante Beschleunigungen ohne Verlust an Exaktheit oder Python-Kompatibilität ermöglicht.

Die Autoren argumentieren, dass Mojo die Lücke zwischen der Flexibilität der Python-Forschung und der Performance von C++-Produktionssystemen schließt. Indem es eine einzige Codebasis ermöglicht, die eine nahezu C++-analoge Durchsatzrate erreicht (ca. 60 % der optimierten C++-Geschwindigkeit in einem spezifischen Vergleich) und gleichzeitig eine 10 $\times$ höhere Geschwindigkeit als Standard-Python-Bibliotheken bietet, positioniert das Werk Mojo als skalierbaren, produktionsreifen Stack für die Finanz-KI. Die Ergebnisse legen nahe, dass mit wachsenden Finanzdatenvolumina in Richtung Tick-Level-Skalen das sub-quadratische Scaling dieses Ansatzes immer entscheidender wird, um Echtzeit-Latenzbedingungen einzuhalten. Die Prinzipien werden zudem als anwendbar auf andere datenintensive Felder beschrieben, die eine exakte Nearest-Neighbor-Suche erfordern, wie etwa Genomik und Cybersicherheit.