🤖 machine learning

TIDES: Implicit Time-Awareness in Selective State Space Models

Das Papier schlägt TIDES vor, eine Variante des selektiven Zustandsraummodells, die die physikalische Bedeutung der Zeitdiskretisierung für die native Verarbeitung unregelmäßiger Zeitreihen bewahrt und gleichzeitig eine hohe Ausdruckskraft pro Token aufrechterhält, indem sie die Eingangsabhängigkeit von der Schrittweite auf die Zustandsmatrix verlagert, wodurch auf Zeitreihen-Benchmarks State-of-the-Art-Leistung erzielt wird.

Ursprüngliche Autoren: Taylan Soydan, Miguel A. Bessa, Dirk Mohr, Rui Barreira

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Taylan Soydan, Miguel A. Bessa, Dirk Mohr, Rui Barreira

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine Geschichte zu verstehen, die jedoch auf sehr seltsame Weise erzählt wird. Manchmal spricht der Erzähler jede Sekunde, manchmal wartet er fünf Minuten, und manchmal überspringt er ganze Tage. Genau das passiert bei unregelmäßigen Zeitreihendaten (wie einem Herzfrequenzmonitor eines Patienten, der nur piept, wenn sich etwas ändert, oder einem Wettersensor, der stundenlang ausfällt).

Um damit umzugehen, benötigt der Roboter zwei Superkräfte:

Kontextbewusstsein: Er muss wissen, was gerade passiert, um zu entscheiden, ob er die Vergangenheit behalten oder vergessen soll. (z. B.: „Oh, gerade ist ein Herzinfarkt passiert? Ich sollte mir das besser merken!" vs. „Nur ein normaler Herzschlag? Ich kann den letzten vergessen.")
Zeitbewusstsein: Er muss verstehen, wie viel Zeit zwischen den Ereignissen vergangen ist. (z. B.: „Es sind 5 Sekunden seit dem letzten Piepen vergangen" vs. „Es sind 5 Stunden vergangen.")

Das Problem mit früheren Robotern

Die Arbeit argumentiert, dass die beiden bisher besten Roboter (genannt Mamba und S5) jeweils eine dieser Superkräfte besitzen, aber die andere vermissen.

Der „Mamba"-Roboter: Dieser Roboter ist hervorragend im Kontextbewusstsein. Er kann ein bestimmtes Wort oder Ereignis betrachten und entscheiden: „Ich muss extra auf das achten!" Um dies zu tun, behandelt er die Zeit jedoch als eine flexible, erfundene Zahl. Er lernt eine „falsche Zeit" basierend auf der Eingabe.
- Der Fehler: Wenn Sie diesen Roboter auf Geschichten trainieren, bei denen die Lücken normalerweise 1 Minute betragen, und ihn dann bitten, eine Geschichte mit Lücken von 1 Stunde zu lesen, gerät er in Verwirrung. Er versucht, seine Logik der „falschen Zeit" auf eine Situation anzuwenden, die er noch nie gesehen hat, und scheitert. Es ist wie ein Koch, der gelernt hat, nur zu kochen, wenn der Timer „5 Minuten" anzeigt, aber wenn der Timer „5 Stunden" anzeigt, weiß er nicht, wie er die Hitze anpassen soll.
Der „S5"-Roboter: Dieser Roboter ist hervorragend im Zeitbewusstsein. Er behandelt die Zeit exakt wie eine echte Uhr. Wenn 5 Stunden vergehen, weiß er, dass 5 Stunden vergangen sind, egal was passiert.
- Der Fehler: Er ist zu starr. Er behandelt jede Eingabe gleich. Er kann nicht sagen: „Dieses spezifische Ereignis ist wichtig, also werde ich es länger behalten." Es ist wie ein Roboter, der Sekunden perfekt zählt, aber kein Gehirn hat, um zu entscheiden, was es wert ist, erinnert zu werden.

Die Lösung: TIDES

Die Autoren haben einen neuen Roboter namens TIDES (Time-Implicit Decay and Eigenvalue Selectivity) entwickelt.

Stellen Sie sich TIDES als einen Hybrid-Koch vor.

Die Uhr (Zeit): TIDES führt eine echte, physikalische Uhr. Er fälscht die Zeit niemals. Wenn die Lücke zwischen Ereignissen 5 Stunden beträgt, weiß der Roboter, dass es 5 Stunden sind. Er versucht nicht, eine „falsche Zeit" aus der Eingabe zu lernen. Dies ermöglicht es ihm, seltsame, unregelmäßige Lücken perfekt zu handhaben, selbst wenn er diese spezifische Lückengröße noch nie gesehen hat.
Das Gehirn (Selektivität): Anstatt die Zeit zu fälschen, um klug zu sein, ändert TIDES seine internen Speichereinstellungen basierend auf der Eingabe. Wenn ein großes Ereignis eintritt, sagt er seinem internen Speicher: „Verlangsamen Sie den Vergessensprozess für dieses spezifische Informationsteil." Wenn ein langweiliges Ereignis eintritt, sagt er: „Vergessen Sie dies schnell."

Der magische Trick:
In früheren Modellen versuchte der Roboter, klug zu sein, indem er die Uhrgeschwindigkeit (den Zeitschritt) änderte. TIDES hält die Uhrgeschwindigkeit real und physikalisch, ändert aber die Vergessensrate des Speichers (wie schnell er vergisst). Auf diese Weise erhält er das Beste aus beiden Welten: Er versteht den realen Zeitablauf und er weiß, was er behalten soll.

Der „Verblasster Blitz"-Test

Um zu beweisen, dass dies funktioniert, erfanden die Autoren ein einfaches Spiel namens „Verblasster Blitz".
Stellen Sie sich eine Reihe von 40 Lichtdetektoren vor.

Ein Blitz tritt auf.
Der Detektor leuchtet auf und verblasst dann langsam.
Die Geschwindigkeit, mit der er verblasst, hängt davon ab, in welcher „Zone" der Reihe er sich befindet (Langsam, Mittel oder Schnell).
Die Zeit zwischen den Blitzen ist zufällig und unregelmäßig.

Die alten Roboter: Der „S5"-Roboter konnte die unterschiedlichen Verblasungsgeschwindigkeiten für verschiedene Zonen nicht lernen. Der „Mamba"-Roboter konnte die Geschwindigkeiten lernen, aber wenn Sie die Zeit zwischen den Blitzen auf etwas änderten, das er im Training nicht gesehen hatte, versagte er völlig.
Der TIDES-Roboter: Er lernte die unterschiedlichen Verblasungsgeschwindigkeiten für jede Zone und funktionierte perfekt, selbst wenn die Zeit zwischen den Blitzen völlig neu und seltsam war.

Die Ergebnisse

Die Autoren testeten TIDES auf realen Datensätzen (wie medizinischen Sensordaten und biologischen Simulationen).

Es wurde zum neuen Champion (State-of-the-Art) bei der Klassifizierung von Zeitreihendaten.
Es wurde zum neuen Champion bei der Vorhersage biologischer Gleichungen.
Entscheidend ist, dass es nicht nur auf den Trainingsdaten Glück hatte; es bewältigte „Out-of-Distribution"-Daten (seltsame, ungesehene Zeitlücken) viel besser als seine Konkurrenten.

Zusammenfassung

TIDES ist eine neue Art von KI, die aufhört, die Zeit zu „fälschen", um klug zu sein. Stattdessen hält sie die Zeit real und physikalisch, macht aber ihren Speicher flexibel. Dies ermöglicht es ihr, chaotische, unregelmäßige reale Daten (wie Sensoren, die ausfallen, oder medizinische Aufzeichnungen, die verspätet eintreffen) zu handhaben, ohne verwirrt zu werden, wenn sich der Zeitplan ändert.

Technische Zusammenfassung: TIDES – Implizite Zeitwahrnehmung in selektiven Zustandsraummodellen

Problemstellung

Reale sequenzielle Daten, wie klinische Beobachtungen, Umweltsensorwerte und finanzielle Ereignisse, werden selten auf einem regelmäßigen Gitter abgetastet. Standardsequenzmodelle gehen häufig von einheitlichen Zeitschritten aus, was sie zwingt, entweder Daten neu zu abtasten (und dabei zeitliche Informationen zu verlieren) oder Eingaben um explizite Zeitmerkmale zu erweitern.

Zwei dominante Familien von Zustandsraummodellen (SSMs) adressieren die Sequenzmodellierung, stehen jedoch vor einem grundlegenden Zielkonflikt bezüglich unregelmäßiger Zeitreihen:

Kontinuierliche Zeit-SSMs (z. B. S5): Diese bewahren die physikalische Bedeutung des Zeitschritts ( $\tilde{\Delta} \equiv \Delta$ ) und ermöglichen es ihnen, unregelmäßige Zeitstempel nativ zu verarbeiten, indem sie die kontinuierliche Dynamik über die tatsächlich verstrichene Zeit integrieren. Allerdings sind sie typischerweise linear zeitinvariant (LTI), was bedeutet, dass sich ihre Dynamik nicht basierend auf dem Eingabeinhalt ändert, was die Ausdruckskraft pro Token begrenzt.
Selektive SSMs (z. B. Mamba): Diese erreichen eine starke Ausdruckskraft pro Token, indem sie den Diskretisierungsschritt $\tilde{\Delta}$ und die Projektionsmatrizen ( $B, C$ ) zu eingabeabhängigen Funktionen machen. Dies ermöglicht es dem Modell, seine effektive Zeitkonstante tokenweise anzupassen. Allerdings kollabiert dieses Design $\tilde{\Delta}$ von einem physikalischen Abtastintervall zu einem gelernten Gate. Folglich verliert das Modell seine native Handhabung unregelmäßiger Zeit; um unregelmäßige Daten zu verarbeiten, muss es Zeitdeltas als explizite Eingabemerkmale behandeln. Die Arbeit argumentiert, dass diese indirekte Kopplung verhindert, dass das Modell auf während des Trainings nicht gesehene Unregelmäßigkeitsregime (Zeitdeltas) extrapolieren kann.

Methodik: TIDES

Die Autoren schlagen TIDES (Time-Implicit Decay and Eigenvalue Selectivity) vor, eine Variante selektiver SSMs, die die Ausdruckskraft von Mamba mit der physikalischen Zeitsemantik von S5 in Einklang bringen soll.

Grundlegender Designprinzip

TIDES verlagert die Eingabeabhängigkeit vom Diskretisierungsschritt ( $\tilde{\Delta}$ ) auf den kontinuierlichen Zeitgenerator (die Zustandsmatrix $\Lambda$ und die Projektionen $B, C$ ).

Implizite Zeitwahrnehmung: Der Zeitschritt $\tilde{\Delta}$ bleibt streng physikalisch ( $\tilde{\Delta} \equiv \Delta$ ) und wird ausschließlich durch die Beobachtungzeitstempel bestimmt. Er ist keine gelernte Funktion der Eingabe.
Selektiver Generator: Die Eingabeabhängigkeit wird angewendet auf:
- $\text{Re}(\Lambda)$ : Der Realteil der Eigenwerte (Abklingraten) wird zu einer Funktion der Eingabe. Dies ermöglicht es dem Modell, je nach Inhalt „schneller zu vergessen" oder „länger zu halten" und bietet die notwendige Selektivität.
- $B$ und $C$ : Die Eingabe- und Ausgabeprojektionen sind eingabeabhängig, was dem Modell erlaubt, Rauschen zu filtern und das Lesen/Schreiben des Zustands zu modulieren.
- $\text{Im}(\Lambda)$ : Der Imaginärteil (Oszillationsfrequenz) bleibt statisch. Die Autoren argumentieren, dass die Modulation der Frequenz pro Token keine saubere kontinuierliche Zeitinterpretation zulässt, und stellen empirisch fest, dass dies die Leistung verschlechtert.

Architekturdetails

Initialisierung: Das Modell initialisiert mit HiPPO-abgeleiteten Bias-Werten für $\Lambda, B, C$ und null-initialisierten Projektionsgewichten. Dies stellt sicher, dass das Modell von einer gut konditionierten LTI-Rekursion ausgeht und Selektivität als glatte Störung lernt.
Niedrigrang-Projektionen: Um die Parameteranzahl zu managen, werden die dichten Projektionen für $B$ und $C$ in Niedrigrang-Strukturen faktorisiert ( $r \ll PH$ ).
Tiefe Projektoren: Der Eingabepfad enthält vor der finalen Projektion residuelle Gated Linear Unit (GLU)-Blöcke, um Nichtlinearität einzuführen, ähnlich der Vorverarbeitung bei Mamba.
Normalisierung: RMSNorm wird auf die projizierten Parameter ( $\text{Re}(\Lambda), B, C$ ) unmittelbar vor der Diskretisierung angewendet, um das Training zu stabilisieren und unbeschränkte Störungen in der Rekursion zu verhindern.
Stabile Reparametrisierung: $\text{Re}(\Lambda)$ wird reparametrisiert (z. B. via Exponentialfunktion oder stabile Abbildung), um sicherzustellen, dass die Eigenwerte in der stabilen Halbebene bleiben und explosive Rekursionen unabhängig von der Eingabe verhindert werden.

Hauptbeiträge

Architektur: TIDES führt ein Design ein, bei dem die Selektivität im kontinuierlichen Zeitgenerator ( $\text{Re}(\Lambda), B, C$ ) resides, während der Diskretisierungsschritt eine physikalische, implizite Größe bleibt. Dies ermöglicht es dem Modell, unregelmäßige Zeitstempel nativ zu verarbeiten, ohne die Ausdruckskraft pro Token zu opfern.
Mechanistische Analyse (Fading Flash): Die Autoren führen einen neuartigen diagnostischen Benchmark ein, Fading Flash, der zwei Fehlermodi isoliert:
- LTI-Rigidität: Die Unfähigkeit von S5, mehrere Abklingraten gleichzeitig zu modellieren.
- Extrapolationsversagen: Die Unfähigkeit von Mamba-ähnlichen Modellen, auf Zeitdeltas ( $\Delta$ ) außerhalb der Trainingsverteilung zu generalisieren.
- Es wird gezeigt, dass TIDES die einzige Architektur ist, die beide überwindet und robuste Leistung über nicht gesehene $\Delta$ -Werte hinweg beibehält, während sie zonenabhängige Dynamiken erfasst.
Empirische Ergebnisse: TIDES erreicht neue State-of-the-Art (SOTA) Durchschnittsränge bei:
- UEA Zeitreihenklassifikation: Übertrifft LogNCDE, RFormer und andere Baselines.
- Physiome-ODE-Regression: Übertrifft LinODEnet und andere Modelle zur Vorhersage unregelmäßiger Zeitreihen.

Experimentelle Befunde

Fading Flash: In diesem kontrollierten Experiment scheiterte S5 daran, zonenabhängige Abklingvorgänge zu erfassen (geringe Ausdruckskraft), während MambaS (ein Mamba-Surrogat) scheiterte, auf Testzeit- $\Delta$ -Werte außerhalb des Trainingsbereichs zu extrapolieren (driftende effektive Abklingraten). TIDES lernte erfolgreich die korrekten Abklingraten für alle Zonen und blieb über einen weiten Bereich von Testzeit- $\Delta$ hinweg robust.
Random Drop-Ablation: Auf dem EigenWorms-Datensatz mit zufälligem Zeitschritt-Verlust behielt TIDES auch bei extremen Verlustraten ( $r_{test}=0.9$ ), die während des Trainings nicht gesehen wurden, eine hohe Genauigkeit. Im Gegensatz dazu kollabierten MambaS und RFormer bei hohen Verlustraten signifikant, was bestätigt, dass eingabeabhängiges $\tilde{\Delta}$ oder feste Signaturfenster nicht auf unregelmäßige Abtastregime generalisieren.
Ablation zu $\text{Im}(\Lambda)$ : Die Eingabeabhängigkeit des Imaginärteils der Eigenwerte verbesserte die Leistung nicht und verschlechterte sie leicht, was die Designentscheidung unterstützt, Oszillationsfrequenzen statisch zu halten.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass TIDES zeigt, dass Ausdruckskraft pro Token und treue physikalische Zeitsemantik vereinbar sind, sofern die Eingabeabhängigkeit über den kontinuierlichen Zeitgenerator und nicht über den Diskretisierungsschritt geleitet wird.

Die Autoren postulieren ein breiteres Designprinzip für unregelmäßig abgetastete Sequenzen: Diskretisierung und Ausdruckskraft getrennt halten. Das physikalische Abtastintervall sollte das Modell nur über die analytische Diskretisierungsregel betreten, während die Ausdruckskraft im kontinuierlichen Zeitgenerator residieren sollte. Diese Trennung ermöglicht es Modellen, gleichzeitig ausdrucksstark und extrapolierend auf während des Trainings nicht gesehene Abtastregime zu sein.

Die Arbeit ist in ihrem Umfang bescheiden und stellt explizit fest, dass TIDES für unregelmäßige Zeitreihen (klinische, Sensor-, Simulationsdaten) konzipiert ist und nicht als allgemeiner Ersatz für Mamba bei Aufgaben mit regelmäßigem Gitter wie der Sprachmodellierung beansprucht wird, wo die Rolle des eingabeabhängigen Zeitgates unterschiedlich ist. Die Arbeit legt nahe, dass das Prinzip der Trennung von Zeitbehandlung und Ausdruckskraft auf andere kontinuierliche Zeitarchitekturen ausgedehnt werden kann, einschließlich Neural ODEs und Varianten der kontinuierlichen Zeit-Attention.