🤖 AI

FRACTAL: SSM with Fractional Recurrent Architecture for Computational Temporal Analysis of Long Sequences

Das Papier stellt FRACTAL vor, ein neuartiges Zustandsraummodell, das die fraktale Maßtheorie in rekursive Speicheraktualisierungen integriert, um den Zielkonflikt zwischen der Bewahrung einer unbeschränkten Historie und der Erkennung kurzfristiger Variationen zu lösen, und damit auf Benchmarks für lange Sequenzen im Vergleich zu bestehenden Modellen wie S5 eine überlegene Leistung erzielt.

Ursprüngliche Autoren: Mengqi Li, Wensheng Lin, Jinshuai Yang, Lixin Li

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mengqi Li, Wensheng Lin, Jinshuai Yang, Lixin Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, sich an eine lange Geschichte zu erinnern. Sie stehen vor einem kniffligen Problem: Wenn Sie versuchen, jedes einzelne Detail gleich gut zu behalten, werden die neuesten Wörter von den Tausenden von Wörtern, die ihnen vorausgingen, übertönt. Wenn Sie sich jedoch nur auf die letzten Sätze konzentrieren, um die unmittelbare Handlungswendung zu erfassen, vergessen Sie den Anfang der Geschichte vollständig.

Lange Zeit mussten Computermodelle, die aus langen Sequenzen lernen sollten (wie Text, Aktienkurse oder Herzschläge), zwischen diesen beiden schlechten Optionen wählen. Dieser Artikel stellt ein neues Modell namens FRACTAL vor, das dieses Problem durch einen mathematischen Trick namens „fraktionale Kalkül" löst.

Hier ist eine einfache Aufschlüsselung der Funktionsweise, unter Verwendung alltäglicher Analogien:

1. Das Problem: Das „Gedächtnis-Trilemma"

Stellen Sie sich das Gedächtnis wie einen Eimer Wasser vor.

Altes Modell A (Uniform): Es gießt Wasser mit einer konstanten Rate ein. Der Eimer ist voll, aber das Wasser oben (das Neueste) wird durch das Wasser unten (das Alte) verwässert. Sie erinnern sich an alles, aber die neuesten Details sind schwach.
Altes Modell B (Exponentiell): Es gießt Wasser ein, aber der Boden des Eimers hat ein Loch. Das alte Wasser läuft schnell aus, sodass das neue Wasser frisch und hell bleibt. Aber wenn die Geschichte zu lang ist, ist der Boden des Eimers leer, und Sie verlieren den Kontext des Anfangs.
Altes Modell C (Fenster): Es behält nur die letzten paar Tassen Wasser. Sie haben eine perfekte Klarheit über die unmittelbare Vergangenheit, aber Sie haben kein Gedächtnis für alles, was davor geschah.

Der Artikel argumentiert, dass reale Daten (wie Finanzmärkte oder biologische Signale) alle drei benötigen: Sie benötigen die vollständige Geschichte, Sie müssen die neuesten Details klar hören können, und Sie müssen Ereignisse bewältigen können, die mit unterschiedlichen Geschwindigkeiten ablaufen.

2. Die Lösung: Die „fraktionale" Magie

FRACTAL führt eine neue Art ein, den Eimer mit einer einstellbaren Singularität zu füllen.

Stellen Sie sich vor, der Eimer hat eine spezielle Form, die sich je nach einem Drehknopf ändert, den Sie drehen können (die sogenannte Singularitätsindex oder $\alpha$ ).

Die Form: Anstatt ein gerader Zylinder oder ein Kegel zu sein, hat der Eimer einen „schweren Schwanz". Er hält das alte Wasser (die Geschichte) sehr gut fest, aber die sehr Spitze des Eimers ist wie ein Trichter geformt, der das neueste Wasser direkt an der Oberfläche konzentriert.
Der Drehknopf:
- Wenn Sie den Knopf in die eine Richtung drehen, verhält sich der Eimer wie ein Standardgedächtnis (es erinnert sich an alles gleichermaßen).
- Wenn Sie ihn in die andere Richtung drehen, verhält er sich wie ein „Kurzzeitgedächtnis" (es konzentriert sich auf das Jetzt).
- Die Magie: FRACTAL kann irgendwo dazwischen sitzen. Es erzeugt ein „Potenzgesetz"-Gedächtnis, was bedeutet, dass es die ferne Vergangenheit gerade genug erinnert, um den Kontext zu bewahren, aber es gibt der sehr nahen Vergangenheit einen massiven Schub, damit Sie plötzliche Veränderungen nicht verpassen.

3. Die Architektur: Die „Spektrale Filterbank"

Der Artikel verwendet nicht nur einen Eimer, sondern ein ganzes Orchester von Eimern (eine sogenannte Multi-Scale Filterbank).

Stellen Sie sich einen Chor vor, bei dem jeder Sänger eine leicht unterschiedliche Stimme hat.
Einige Sänger sind darauf abgestimmt, die langsamen, langfristigen Trends zu erinnern (wie die allgemeine Stimmung eines Songs).
Andere Sänger sind darauf abgestimmt, die schnellen, plötzlichen Noten zu fangen (wie ein Trommelschlag oder ein plötzlicher Schrei).
FRACTAL weist verschiedenen Teilen seines Gehirns unterschiedliche „Drehknöpfe" zu. Einige Teile konzentrieren sich auf die lange Geschichte, während andere auf die unmittelbare Gegenwart zoomen.
Das Modell mischt diese Stimmen dann zusammen, um das Gesamtbild zu verstehen.

4. Warum es besser ist (Die Ergebnisse)

Die Autoren testeten FRACTAL an einem Standardset schwieriger Rätsel namens Long Range Arena. Diese Rätsel erfordern, dass der Computer Verbindungen zwischen Dingen findet, die in einer Sequenz sehr weit voneinander entfernt sind.

Die Punktzahl: FRACTAL erreichte 87,11 % und schlug das bisher beste Modell (S5), das 87,04 % erreichte.
Der große Sieg: Bei einer spezifischen Aufgabe namens ListOps (die das Lösen verschachtelter mathematischer Probleme beinhaltet), erreichte FRACTAL 61,85 % und schlug den vorherigen Bestwert von 61,10 %. Diese Aufgabe ist schwierig, weil Sie die öffnende Klammer vom allerersten Teil des Satzes im Gedächtnis behalten müssen, während Sie die Zahlen am Ende verarbeiten. FRACTALs Fähigkeit, „lange Geschichte" mit „aktuellem Fokus" auszugleichen, machte es bei dieser Aufgabe besser.

Zusammenfassung

FRACTAL ist eine neue Art von Computerhirn, die aufhört, eine Wahl zwischen „alles zu erinnern" und „das Jetzt zu erinnern" zu erzwingen. Durch die Verwendung eines mathematischen Werkzeugs namens fraktionale Kalkül schafft es ein Gedächtnis, das natürlich an der fernen Vergangenheit festhält und gleichzeitig hyperwach für den gegenwärtigen Moment bleibt. Es ist wie eine Bibliothek, in der die Bücher so organisiert sind, dass Sie sofort den neuesten Bestseller greifen können, ohne die Klassiker aus den Augen zu verlieren.

Technische Zusammenfassung: FRACTAL – State Space Model mit fraktionaler rekurrenter Architektur

1. Problemstellung

Die Sequenzmodellierung in kontinuierlicher Zeit steht vor einem fundamentalen Spannungsverhältnis: dem Bedarf, einen unbegrenzten historischen Kontext beizubehalten, während gleichzeitig hochauflösende, abrupte kurzfristige Variationen erkannt werden müssen. Bestehende State Space Models (SSMs), insbesondere jene, die auf dem Framework der High-Order Polynomial Projection Operators (HiPPO) basieren, sind durch ein „Trilemma" von Speichermaßen eingeschränkt:

Scaled Legendre (LegS): Weist der Historie eine einheitliche Gewichtung zu, gewährleistet Zeitskaleninvarianz, verdünnt jedoch progressiv den Einfluss der jüngsten Eingaben.
Translated Laguerre (LagT): Priorisiert die Aktualität durch exponentiellen Zerfall, erzwingt jedoch eine feste charakteristische Zeitskala und opfert dabei die Robustheit gegenüber zeitverzerrten Signalen und dem globalen Kontext.
Translated Legendre (LegT): Bietet eine hohe lokale Auflösung durch ein gleitendes Fenster, verwirft jedoch katastrophal den Kontext jenseits dieses festen Horizonts.

Keines der bestehenden Maße erfüllt gleichzeitig die vollständige Beibehaltung der Historie, die Sensitivität gegenüber Aktualität und die Skaleninvarianz. Diese Einschränkung behindert die Anwendung von SSMs in physikalischen und biologischen Domänen, die durch Multi-Scale-Dynamiken gekennzeichnet sind, wie etwa Finanzvolatilität, physiologisches $1/f$ -Rauschen und Netzwerkverkehr, die Potenzgesetz-Zerfallskerne aufweisen und keine exponentiellen oder einheitlichen Verteilungen.

2. Methodik: Das fraktionale HiPPO-Framework

Die Arbeit schlägt FRACTAL (Fractional Recurrent Architecture for Computational Temporal Analysis of Long sequences) vor, das fraktionale Kalküle in das HiPPO-Framework integriert, um das Speicher-Trilemma zu lösen.

2.1 Fraktionaler Ordnungsmaß

Die zentrale theoretische Innovation ist die Einführung eines fraktionalen Ordnungsmaßes $\mu(t)(x)$ , definiert durch einen einstellbaren Singularitätsindex $\alpha \in [0, 1)$ :
$\mu(t)(x) = \frac{1-\alpha}{t^{1-\alpha}} (t-x)^{-\alpha} \mathbb{I}_{[0,t]}(x)$
Dieses Maß interpoliert zwischen der Gleichverteilung (LegS, wobei $\alpha=0$ ) und einer konzentrierten Masse im gegenwärtigen Moment. Es induziert eine Potenzgesetz-Gewichtung $(t-\tau)^{-\alpha}$ , die einen schweren Schwanz für die langfristige Beibehaltung erzeugt, während gleichzeitig eine Singularität am aktuellen Zeitschritt erzwungen wird, um die lokale Sensitivität zu verstärken. Entscheidend ist, dass diese Potenzgesetz-Struktur die Skaleninvarianz unter zeitlicher Dilatation bewahrt, im Gegensatz zu exponentiellen Maßen.

2.2 Theoretische Herleitung

Orthogonale Basis: Die optimale Projektion für dieses Maß wird unter Verwendung von Jacobi-Polynomen $P_n^{(-\alpha, 0)}$ hergeleitet, die die in der Standard-HiPPO-LegS verwendeten Legendre-Polynome verallgemeinern.
State Space-Dynamik: Durch Anwendung einer dimensionslosen Transformation und partieller Integration auf die Projektionskoeffizienten leiten die Autoren ein Linear Time-Varying (LTV)-System her:
$\frac{d}{dt}x(t) = -\frac{1}{t} A(\alpha) x(t) + \frac{1}{t} B(\alpha) u(t)$
Der Faktor $1/t$ ist das mathematische Kennzeichen der Skaleninvarianz.
Systemmatrizen:
- Eingangsprojektion ( $B$ ): Eine geschlossene Lösungsform wird hergeleitet, bei der der Binomialkoeffizient langsamer zerfällt als bei LegS, was hochfrequente Eingabekomponenten effektiv verstärkt.
- Zustandsübergang ( $A$ ): Die Matrix $A(\alpha)$ ist untere Dreiecksmatrix. Ein zentrales theoretisches Ergebnis ist, dass ihre Diagonalelemente invariant gegenüber $\alpha$ sind ( $A_{nn} = n+1$ ), wodurch sichergestellt wird, dass die Eigenwerte bei $\{1, 2, \dots, N\}$ fixiert bleiben. Dies garantiert spektrale Stabilität unabhängig vom Profil der Speicherkonzentration.

2.3 Die FRACTAL-Architektur

Um ein effizientes paralleles Training zu ermöglichen, wird das LTV-System durch Ersetzen des Faktors $1/t$ durch einen lernbaren Zeitskalenparameter $\Delta$ zu einem Linear Time-Invariant (LTI)-System relaxiert.

Spektrale Initialisierung: Im Gegensatz zu früheren Arbeiten, die Matrixstrukturen approximieren, führt FRACTAL eine direkte numerische Eigenzerlegung von $A(\alpha)$ (die strikt diagonalisierbar ist) durch, um das diagonale Spektrum $\Lambda$ zu erhalten.
Physikalisch informierte Initialisierung: Der Eingangsprojektionsvektor $\tilde{B}$ wird unter Verwendung der analytischen geschlossenen Lösungsform initialisiert, die aus dem fraktionalen Maß abgeleitet wurde, und fungiert als Vorkonditionierer, um die anfängliche Dynamik mit der Potenzgesetz-Speicherstruktur abzugleichen.
Multi-Scale-Filterbank: Der Zustandsraum wird in Kanäle partitioniert, wobei jedem Kanal ein unterschiedlicher Singularitätsindex $\alpha_k$ $α_{k}$ zugewiesen wird. Dies erzeugt eine „Fraktionale Filterbank", bei der:
- Kanäle mit niedrigem $\alpha$ als Tiefpassfilter wirken (globale Kontextbeibehaltung).
- Kanäle mit hohem $\alpha$ als Hochpassfilter wirken (Verstärkung lokaler Transienten).
Berechnung: Das diagonalisierte System wird über parallele Prefix-Sum-Algorithmen (assoziativer Scan) gelöst, wobei die Komplexität von $O(N \log L)$ beibehalten wird.

3. Hauptbeiträge

Theoretisch: Die Einführung eines fraktionalen Potenzgesetz-Maßes in das HiPPO-Framework. Dies ist das erste Maß, das theoretisch die „unmögliche Dreieinigkeit" aus vollständiger Historiebeibehaltung, Aktualitätssensitivität und Skaleninvarianz erfüllt. Die Autoren liefern rigorose Herleitungen, die zeigen, dass Jacobi-Polynome die natürliche Basis bilden und dass die Eigenwerte der Zustandsübergangsmatrix invariant gegenüber dem Singularitätsindex sind.
Architektonisch: Die Umsetzung dieser Theorie in die FRACTAL-Architektur, die eine Mehrkanalkonfiguration mit heterogenen Speicherparametern (eine spektrale Filterbank) und eine analytische Initialisierungsstrategie aufweist, die die geschlossene Lösungsform für die Eingangsprojektion nutzt.
Empirisch: Umfassende Validierung am Long Range Arena (LRA)-Benchmark, die zeigt, dass das fraktionale Maß empirische Gewinne bei Aufgaben des Multi-Scale-Reasonings erzielt.

4. Experimentelle Ergebnisse

Am Long Range Arena (LRA)-Benchmark evaluiert, erreicht FRACTAL eine durchschnittliche Punktzahl von 87,11 % und übertrifft dabei das S5-Modell (87,04 %) und S4 (86,09 %) unter streng identischen Bedingungen mit einer einzigen GPU.

ListOps: FRACTAL erreicht 61,85 % und übertrifft S5 (61,10 %) sowie S4 (59,60 %). Diese Aufgabe erfordert das Parsen verschachtelter mathematischer Ausdrücke und validiert die Fähigkeit des Modells, gleichzeitig globale Klammerstrukturen (niedriges $\alpha$ ) und lokale Operandenwerte (hohes $\alpha$ ) zu verfolgen.
Path-X: Bei Sequenzen der Länge 16K erreicht FRACTAL 98,39 % und entspricht effektiv S5 (98,62 %), was bestätigt, dass die fraktionale Singularität die Gradientenpropagation über extreme Horizonte nicht beeinträchtigt.
Numerische Verifikation: Experimente bestätigen, dass sich die Speicherdichte mit steigendem $\alpha$ von einer Gleichverteilung zu einem schweren Schwanz verschiebt und dass die Diagonalelemente der Zustandsübergangsmatrix, wie von der Theorie vorhergesagt, invariant bleiben.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass FRACTAL die Lücke zwischen der optimalen Projektionstheorie von HiPPO und den Speichereigenschaften fraktionaler Kalküle schließt. Durch die Verallgemeinerung der maßtheoretischen Grundlage von SSMs bietet die Arbeit einen rigorosen Mechanismus, um Speicherkerne zwischen reiner Historie und reiner Aktualität zu justieren, ohne die Skaleninvarianz zu opfern.

Die Autoren positionieren FRACTAL als grundlegende Innovation innerhalb des Linear Time-Invariant (LTI)-SSM-Paradigmas. Sie unterscheiden ihre Arbeit explizit von „selektiven" (zeitvariablen) SSMs wie Mamba und argumentieren, dass der Vergleich einer fundamentalen, von Grund auf neu trainierten LTI-Innovation mit stark optimierten, vortrainierten selektiven Architekturen unterschiedliche Forschungsparadigmen vermischen würde. Folglich behauptet die Arbeit, dass das fraktionale Maß einen strukturellen Vorteil speziell im Bereich der Potenzgesetze bietet, was es besonders für Domänen geeignet macht, die durch Multi-Scale-Dynamiken und schwerschwänzige zeitliche Abhängigkeiten gekennzeichnet sind, wie etwa Finanzzeitreihen und die Analyse physiologischer Signale.