🤖 machine learning

Faithful Embeddings of Irregular and Asynchronous Data for Online Log-NCDEs

Dieser Artikel schlägt eine kontinuierliche und injektive Einbettungsmethode für Log-NCDEs vor, die Log-Signaturen direkt aus Dateninkrementen ohne Interpolation konstruiert und damit eine präzise, effiziente und robuste Online-Modellierung unregelmäßiger und asynchroner Zeitreihendaten ermöglicht.

Ursprüngliche Autoren: Benjamin Walker, Alexandre Bloch, Lingyi Yang, Sam Morley, Terry Lyons

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Benjamin Walker, Alexandre Bloch, Lingyi Yang, Sam Morley, Terry Lyons

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Versuch, die Lücken zu füllen

Stellen Sie sich vor, Sie versuchen, eine Geschichte zu verstehen, aber die Seiten, die Sie haben, sind zerrissen, fehlen und kamen in zufälliger Reihenfolge an. Manchmal erhalten Sie eine ganze Seite; manchmal nur einen einzigen Satz.

Die meisten Computermodelle (wie die, die KI-Chatbots antreiben oder Aktienkurse vorhersagen) sind dafür gebaut, Geschichten zu lesen, bei denen die Seiten perfekt in der richtigen Reihenfolge, nacheinander und ohne Lücken ankommen. Um unordentliche, unregelmäßige Daten in diese Modelle zu passen, versuchen Wissenschaftler normalerweise, die „Lücken zu füllen". Sie raten, was zwischen den Seiten geschehen ist, die sie haben.

Interpolation: Eine glatte Linie zwischen zwei Punkten ziehen.
Imputation: Eine fehlende Zahl basierend auf den umliegenden Zahlen raten.

Die Kritik des Papiers: Die Autoren argumentieren, dass dieses „Raten" gefährlich ist. Wenn Sie eine glatte Linie zwischen zwei Datenpunkten ziehen, erfinden Sie möglicherweise eine Geschichte, die nie passiert ist. Sie füttern den Computer mit falschen Informationen, was zu schlechten Entscheidungen führen kann.

Die Lösung: Der „treue" Bote

Anstatt zu raten, was in den Lücken passiert ist, schlagen die Autoren eine neue Methode vor, um die Daten an den Computer zu senden. Sie nennen dies eine „treue Einbettung" (Faithful Embedding).

Stellen Sie es sich wie einen Botendienst vor, der genau das meldet, was er gesehen hat, nichts weiter.

Alte Methode (Interpolation): Der Bote sagt: „Ich habe Sie um 13:00 Uhr gesehen und um 14:00 Uhr wieder, also nehme ich an, dass Sie eine gerade Linie zwischen ihnen entlanggegangen sind." (Das könnte falsch sein; vielleicht sind Sie gerannt, stehen geblieben oder in einen Laden gegangen).
Neue Methode (Treue): Der Bote sagt: „Ich habe Sie um 13:00 Uhr gesehen. Dann, um 14:00 Uhr, habe ich Sie wieder gesehen. Hier ist die Differenz Ihres Standorts zwischen diesen beiden Zeiten."

Der Computer muss nicht wissen, wie Sie sich dazwischen bewegt haben; er muss nur den Start, das Ende und die Änderung kennen. Dies hält die Daten der Realität „treu".

Wie es funktioniert: Das „Log-Signatur"-Rezept

Das Papier stellt ein spezifisches mathematisches Werkzeug namens Log-NCDE (Neural Controlled Differential Equation) vor. Um dies mit unordentlichen Daten funktionsfähig zu machen, haben sie ein spezielles Rezept entwickelt, um Beobachtungen in Mathematik umzuwandeln.

Stellen Sie sich vor, Sie verfolgen die Reise eines Wanderers durch einen Wald, erhalten aber nur Textnachrichten von ihm zu zufälligen Zeitpunkten.

Die Inkrement: Anstatt zu fragen „Wo sind Sie?", fragt das System „Wie weit sind Sie seit Ihrer letzten Nachricht gelaufen?" und „In welche Richtung?".
Die Zählung: Es notiert auch: „Hey, eine Nachricht ist gerade eingetroffen!" Dies ist entscheidend, denn wenn der Wanderer stillsteht, aber eine Nachricht sendet mit „Ich bin immer noch hier", ist das anders, als wenn er überhaupt keine Nachricht sendet. Das System zählt diese Ereignisse, um sicherzustellen, dass es den Überblick nicht verliert.
Die „Log-Signatur": Dies ist die magische Zutat. Es ist eine Möglichkeit, ein ganzes Stück der Reise (ein Intervall) in einen einzigen, kompakten „Fingerabdruck" zusammenzufassen.
- Anstatt jeden einzelnen Schritt zu betrachten, den der Wanderer gemacht hat, betrachtet das System die Gesamtänderung über einen bestimmten Zeitblock.
- Es erfasst nicht nur die Distanz, sondern auch die Kurven und Wendungen (wie wenn der Wanderer im Kreis gelaufen wäre). Dies wird als Erfassen von „Informationen höherer Ordnung" bezeichnet.

Warum dies ein Game-Changer ist

Die Autoren beweisen zwei Hauptdinge:

Kein Raten nötig: Sie müssen keinen glatten Pfad zwischen Datenpunkten erfinden. Wenn Sie die Änderungen und die Zeitlücken genau aufzeichnen, kann ein intelligentes Computermodell genauso gut (oder besser) lernen, als wenn Sie den Pfad geraten hätten.
Geschwindigkeit und Effizienz: Da das System Zeitblöcke in diese „Fingerabdrücke" (Log-Signaturen) zusammenfasst, kann es Daten viel schneller verarbeiten.
- Analogie: Stellen Sie sich vor, Sie lesen ein 1.000-Seiten-Buch.
  - Alte Methode: Sie lesen jedes einzelne Wort, eins nach dem anderen, sogar die, die Sie bereits kennen.
  - Neue Methode: Sie fassen jedes Kapitel in einem einzigen Satz zusammen und lesen dann diese Sätze. Sie bekommen die ganze Geschichte viel schneller, und Sie können es tun, während das Buch noch geschrieben wird (Online-Berechnung).

Die Ergebnisse: Hartnäckigere Daten, bessere Antworten

Das Team testete dies an zwei Arten von Herausforderungen:

Synthetische Daten (Die „Fake"-Welt): Sie erstellten Computersimulationen, bei denen Daten unregelmäßig, asynchron (verschiedene Kanäle zu verschiedenen Zeiten) und spärlich (viele fehlende Informationen) ankamen.
- Ergebnis: Ihre Methode war robust. Selbst wenn 95 % der Daten fehlten, funktionierte ihr Modell noch gut. Andere Modelle, die sich auf das „Füllen der Lücken" verließen, versagten jämmerlich, weil ihre Ratschläge falsch waren.
Realwelt-Daten (Die „Real"-Welt): Sie testeten an Standarddatensätzen, die zur Klassifizierung von Dingen wie Herzschlägen oder Wurm-Bewegungen verwendet werden.
- Ergebnis: Ihre Modelle waren schneller (in einigen Fällen bis zu 3.000-mal schneller) und genauer, insbesondere wenn die Daten unordentlich oder spärlich waren.

Das Fazit

Dieses Papier argumentiert, dass beim Umgang mit unordentlichen, realen Daten Ehrlichkeit die beste Politik ist. Versuchen Sie nicht zu raten, was in den Lücken passiert ist. Stattdessen notieren Sie genau, was Sie gesehen haben, wie viel es sich geändert hat und wann es passiert ist. Indem Sie eine spezielle mathematische Zusammenfassung (die Log-Signatur) verwenden, um diese ehrlichen Daten zu verpacken, können Sie KI-Modelle erstellen, die schneller, genauer und viel besser darin sind, das Chaos der realen Welt zu bewältigen.

Technische Zusammenfassung: Treue Einbettungen irregulärer und asynchroner Daten für Online-Log-NCDEs

Problemstellung

Kontinuierliche Zeit-Machine-Learning-Modelle, wie Neuronale Gesteuerte Differentialgleichungen (NCDEs) und Log-NCDEs, bieten einen natürlichen Rahmen für die Verarbeitung irregulärer, asynchroner und spärlicher Zeitreihendaten. Ein kritischer Engpass im Design bleibt jedoch bestehen: Wie lassen sich diskrete Beobachtungen in einen kontinuierlichen Zeitpfad einbetten, ohne Artefakte einzuführen?

Standardansätze verlassen sich auf Interpolation oder Imputation, um einen kontinuierlichen Beobachtungspfad wiederherzustellen, bevor er in das Modell eingespeist wird. Wie in der Arbeit illustriert, leiden diese Methoden unter erheblichen Nachteilen:

Imputation füllt fehlende Werte mit Daten auf, die in der Praxis nie beobachtet wurden.
Interpolation kann Werte außerhalb des beobachteten Datenbereichs erzeugen oder künstliche Dynamiken zwischen Messungen auferlegen.
Diese Rekonstruktionsschritte führen „nicht beobachtetes Verhalten" in die Repräsentation ein und zwingen das Modell, potenziell unrealistische Eingaben zu verarbeiten.

Die Arbeit argumentiert, dass eine treue kontinuierliche Zeitdarstellung nur die Informationen bewahren sollte, die tatsächlich beobachtet wurden, und die Rekonstruktion nicht beobachteten Verhaltens dem Modellierungsprozess selbst überlassen sollte, nicht dem Einbettungsprozess.

Methodik

1. Theoretische Grundlage: Treue Einbettungen

Die Autoren formalisieren das Konzept einer treuen Einbettung. Sie beweisen ein Universalitäts-Transfer-Ergebnis (Lemma 1), das besagt, dass, wenn der Datenraum $X$ und der Modelleingangsraum $P$ Hausdorffsche topologische Räume sind und die Einbettung $\phi: X \to P$ stetig und injektiv ist, dann die Universalität eines nachgelagerten Modells auf kompakten Teilmengen von $P$ auf den ursprünglichen Datenraum $X$ übergeht.

Dies impliziert, dass für universelle Modelle wie NCDEs und Log-NCDEs die Einbettung den Pfad nicht rekonstruieren muss; sie muss lediglich eine stetige, injektive Abbildung sein, die die Unterscheidbarkeit verschiedener Datenströme bewahrt.

2. Vorgeschlagene Einbettung: Log-NCDE Steuerpfad

Aufbauend auf dem für NCDEs von Morrill et al. [2022] eingeführten rechtwinkligen Steuerpfad konstruieren die Autoren eine treue Einbettung speziell für Log-NCDEs. Im Gegensatz zu Standard-NCDEs, die punktuelle Werte eines Steuerpfads verwenden, operieren Log-NCDEs auf Intervall-Log-Signaturen.

Die vorgeschlagene Einbettung funktioniert wie folgt:

Eingabedarstellung: Die Eingabe besteht aus einem Strom diskreter Beobachtungen $x = ((t_0, s_0, x_0), \dots, (t_n, s_n, x_n))$ und kontinuierlich beobachteter Variablen $C$ (z. B. Zeit).
Inkrementale Kodierung: Anstatt Werte zu interpolieren, wird jede Beobachtung in ein Lie-Algebra-Inkrement $\Delta_i$ $Δ_{i}$ umgewandelt. Dieses Inkrement erfasst:
- Die Wertänderung für jeden beobachteten Kanal seit seiner letzten Beobachtung.
- Ein Inkrement in einer dedizierten „Zählkoordinate", um zwischen einem wiederholten Wert und dem Fehlen einer neuen Beobachtung zu unterscheiden.
- Optional höhere lokale Informationen (z. B. vorberechnete vorzeichenbehaftete Flächen), falls verfügbar.
Intervall-Komposition: Für ein beliebiges Abfrageintervall $[\alpha, \beta)$ $[α, β)$ konstruiert die Einbettung einen Signaturfaktor $G_{\alpha, \beta}$ $G_{α, β}$ durch Komposition von:
- Signaturfaktoren der kontinuierlich beobachteten Variablen (z. B. Zeit) über die Lücken zwischen Ereignissen.
- Exponentialfaktoren $E_i = \exp(\Delta_i)$ für jedes diskrete Ereignis, das innerhalb des Intervalls auftritt.
Log-Signatur-Extraktion: Die Intervall-Log-Signatur $\Phi_{\alpha, \beta}$ wird durch Anwendung des Logarithmus auf die zusammengesetzte Signatur $G_{\alpha, \beta}$ erhalten.

Diese Konstruktion ermöglicht Online-Berechnung und Parallelisierung über die Zeit mittels assoziativer Scans, da die Log-Signatur für ein Intervall nur von Beobachtungen bis zum Ende dieses Intervalls abhängt.

3. Modellarchitektur: Log-SLiCE

Die Autoren implementieren diese Einbettung innerhalb von Strukturierten Linearen CDEs (SLiCEs), speziell der Log-SLiCE-Variante.

Die Evolution des versteckten Zustands in einem Intervall wird durch ein Log-ODE-Update gesteuert, das von der Intervall-Log-Signatur angetrieben wird.
Für lineare Modelle hat der Intervallfluss eine geschlossene Lösungsform, die Matrixexponentialfunktionen der Log-Signatur beinhaltet.
Diese Struktur ermöglicht die parallele Berechnung der versteckten Zustände über Intervalle hinweg mittels assoziativem Scan, was die Rechenkomplexität im Vergleich zu sequentiellen ODE-Lösern erheblich reduziert.

Hauptbeiträge

Formalisierung treuer Einbettungen: Die Arbeit beweist, dass stetige, injektive Einbettungen die Universalität vom Modelleingangsraum zurück auf den Datenraum übertragen, was die Eliminierung von Interpolationsschritten rechtfertigt.
Neuartige Einbettungskonstruktion: Eine stetige und injektive Einbettung für irreguläre Ströme, die Beobachtungen als Tensoralgebra-Faktoren (Inkremente) aufzeichnet und sie ohne Interpolation zu Intervall-Log-Signaturen zusammensetzt.
Effiziente Log-SLiCE-Implementierung: Ein Parallel-zur-Zeit-Algorithmus für Log-NCDEs, der die Formulierung der Intervall-Log-Signatur nutzt und effizientes Training und Inferenz auf langen Sequenzen ermöglicht.
Empirische Validierung: Umfassende Experimente, die Genauigkeit, Effizienz und Robustheit gegenüber Irregularität und Sparsität demonstrieren.

Experimentelle Ergebnisse

1. Effizienz und Genauigkeit (EigenWorms)

Auf dem EigenWorms-Datensatz (17.984 Beobachtungen pro Serie) erreichte die Log-ODE-Methode in Kombination mit Log-SLiCE (BD-SLiCE):

Genauigkeit: 86,1 % Testgenauigkeit (vs. 75,0 % für Standard-NCDE), eine Verbesserung um 11,1 Prozentpunkte.
Geschwindigkeit: Reduzierung der Trainingszeit pro Schritt um einen Faktor von fast 3.000 (von 26,02 s auf 0,009 s).
Speicher: Beibehaltung eines vergleichbaren GPU-Speicherbedarfs wie bei Standard-NCDEs.

2. Generalisierung auf irreguläre Abtastung (Synthetische Kopplungsdaten)

Mittels eines synthetischen sinusförmigen Systems testeten die Autoren die Generalisierung über Regime hinweg.

Modelle, die auf asynchronen spärlichen Daten trainiert wurden (das schwierigste Regime), blieben über alle anderen Abtastregime hinweg robust (synchron regulär, synchron irregulär, asynchron irregulär).
Modelle, die auf regulären Daten trainiert wurden, generalisierten nicht auf asynchron spärliche Settings, was darauf hindeutet, dass sie Abkürzungen basierend auf festen Abtastgittern gelernt hatten.
Die treue Einbettung ermöglichte es den Modellen, die zugrunde liegende Dynamik unabhängig vom Beobachtungsgitter zu lernen.

3. Ausnutzung höherer Ordnungsinformationen (Brownsche Bewegung)

In einem linearen System, das durch Brownsche Bewegung angetrieben wird und dessen Lösung von Termen der zweiten Lie-Klammer (Lévy-Fläche) abhängt:

Modelle, die Log-Signaturen der Stufe 2 (einschließlich Flächeninformationen) nutzten, erreichten einen deutlich niedrigeren mittleren quadratischen Fehler (MSE) als solche, die nur Stufe 1 (Inkremente) verwendeten.
Der Ansatz integrierte erfolgreich vorberechnete Informationen höherer Ordnung und demonstrierte Flexibilität über erste Ordnungs-Inkremente hinaus.

4. Robustheit gegenüber Eingabeausfällen (UEA-Benchmarks)

Auf sechs UEA-Datensätzen für multivariate Zeitreihenklassifikation simulierten die Autoren schwere Eingabeausfälle (bis zu 95 % der Beobachtungen entfernt).

BD-SLiCE mit der vorgeschlagenen Einbettung behielt eine hohe Leistung bei und sank nur von 64,0 % (kein Ausfall) auf 62,5 % (95 % Ausfall).
Es erreichte den besten durchschnittlichen Rang über alle Ausfallstufen hinweg und übertraf rekurrente Baselines (S5, LRU, S6, Mamba) sowie Standard-NCDEs, insbesondere unter starker Verdünnung.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass kontinuierliche Zeitdarstellungen die Bewahrung beobachteter Daten gegenüber der Rekonstruktion nicht beobachteten Verhaltens priorisieren sollten. Durch die Formalisierung „treuer Einbettungen" und den Nachweis, dass sie die Universalität nachgelagerter Modelle bewahren, liefern die Autoren eine theoretische Begründung für das Umgehen von Interpolation.

Die vorgeschlagene Methode bietet eine treue, Online- und effiziente Alternative zu einbettungsbasierten Interpolationsverfahren. Sie entkoppelt Eingabe-Abtastzeiten von Ausgabe-Abfragegittern, unterstützt parallele Berechnungen und demonstriert überlegene Robustheit gegenüber Irregularität, Asynchronität und Datensparsität. Die Ergebnisse deuten darauf hin, dass für universelle kontinuierliche Zeitmodelle die Qualität der Einbettung in ihrer Fähigkeit liegt, beobachtete Inkremente und Intervalle treu zu kodieren, und nicht in ihrer Fähigkeit, den Pfad zwischen Beobachtungen zu erraten.