🤖 AI

FRACTAL: SSM with Fractional Recurrent Architecture for Computational Temporal Analysis of Long Sequences

Het artikel introduceert FRACTAL, een nieuw toestandsruimtemodel dat fractale maattheorie integreert in recursieve geheugenupdates om de afweging tussen het behouden van een onbegrensde geschiedenis en het detecteren van kortetermijnvariaties op te lossen, en dat superieure prestaties behaalt op benchmarks voor lange sequenties in vergelijking met bestaande modellen zoals S5.

Oorspronkelijke auteurs: Mengqi Li, Wensheng Lin, Jinshuai Yang, Lixin Li

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mengqi Li, Wensheng Lin, Jinshuai Yang, Lixin Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een lang verhaal te onthouden. Je staat voor een lastig probleem: als je probeert elk detail even goed te onthouden, worden de meest recente woorden overschaduwd door de duizenden woorden die ervoor kwamen. Maar als je je alleen concentreert op de laatste paar zinnen om de directe plotwending te vangen, vergeet je het begin van het verhaal volledig.

Lange tijd moesten computermodellen die probeerden te leren van lange sequenties (zoals tekst, aandelenkoersen of hartslagen) kiezen tussen deze twee slechte opties. Dit artikel introduceert een nieuw model genaamd FRACTAL dat dit probleem oplost met een wiskundige truc genaamd "fractionele calculus".

Hier is een eenvoudige uitleg van hoe het werkt, met gebruik van alledaagse analogieën:

1. Het Probleem: Het "Geheugentrilemma"

Stel je geheugen voor als een emmer water.

Oud Model A (Uniform): Het giet water in met een constant tempo. De emmer is vol, maar het water bovenaan (het nieuwste) wordt verdund door het water onderaan (het oude). Je herinnert je alles, maar de nieuwste details zijn vaag.
Oud Model B (Exponentieel): Het giet water in, maar de bodem van de emmer heeft een gat. Het oude water lekt snel weg, zodat het nieuwste water vers en helder blijft. Maar als het verhaal te lang is, is de bodem van de emmer leeg, en verlies je de context van het begin.
Oud Model C (Venster): Het houdt alleen de laatste paar koppen water vast. Je hebt perfecte helderheid over het recente verleden, maar je hebt geen enkel geheugen van wat daarvoor gebeurde.

Het artikel stelt dat real-world data (zoals financiële markten of biologische signalen) alle drie nodig heeft: je hebt de volledige geschiedenis nodig, je moet de nieuwste details duidelijk horen, en je moet om kunnen gaan met gebeurtenissen die op verschillende snelheden plaatsvinden.

2. De Oplossing: De "Fractionele" Magie

FRACTAL introduceert een nieuwe manier om de emmer te vullen met behulp van een instelbare singulariteit.

Stel je voor dat de emmer een speciale vorm heeft die verandert afhankelijk van een draaiknop die je kunt draaien (de singulariteitsindex, of $\alpha$ ).

De Vorm: In plaats van een rechte cilinder of een kegel, heeft de emmer een "zware staart". Het houdt het oude water (geschiedenis) zeer goed vast, maar de bovenkant van de emmer is gevormd als een trechter die het nieuwste water precies aan het oppervlak concentreert.
De Draaiknop:
- Als je de knop naar de ene kant draait, gedraagt de emmer zich als een standaardgeheugen (alles even goed onthouden).
- Als je hem naar de andere kant draait, gedraagt hij zich als een "recent geheugen" (focus op het nu).
- De Magie: FRACTAL kan overal ertussenin zitten. Het creëert een "power-law"-geheugen, wat betekent dat het het verre verleden net genoeg onthoudt om de context te behouden, maar het geeft een enorme boost aan het zeer recente verleden zodat je geen plotselinge veranderingen mist.

3. De Architectuur: De "Spectrale Filterbank"

Het artikel gebruikt niet zomaar één emmer; het gebruikt een heel orkest van emmers (een Multi-Scale Filter Bank genoemd).

Stel je een koor voor waarbij elke zanger een iets ander stemgeluid heeft.
Sommige zangers zijn afgestemd op het onthouden van langzame, langetermijntrends (zoals de algemene sfeer van een lied).
Andere zangers zijn afgestemd op het vangen van snelle, plotselinge noten (zoals een drumbeat of een plotselinge schreeuw).
FRACTAL wijst verschillende "draaiknoppen" toe aan verschillende delen van zijn brein. Sommige delen focussen op de lange geschiedenis, terwijl anderen inzoomen op het directe heden.
Het model mixt deze stemmen vervolgens om het hele plaatje te begrijpen.

4. Waarom Het Beter Is (De Resultaten)

De auteurs testten FRACTAL op een standaardset moeilijke puzzels genaamd de Long Range Arena. Deze puzzels vereisen dat de computer verbanden legt tussen dingen die zeer ver uit elkaar liggen in een sequentie.

De Score: FRACTAL scoorde 87,11%, en versloeg het vorige beste model (S5) dat 87,04% scoorde.
De Grote Overwinning: Op een specifieke taak genaamd ListOps (waarbij geneste wiskundeproblemen moeten worden opgelost), scoorde FRACTAL 61,85%, en versloeg het vorige beste resultaat van 61,10%. Deze taak is moeilijk omdat je de openingshaak van het allereerste begin van de zin moet onthouden terwijl je de cijfers aan het einde verwerkt. Het vermogen van FRACTAL om "lange geschiedenis" te balanceren met "recente focus" maakte het beter in deze taak.

Samenvatting

FRACTAL is een nieuw type computerbrein dat stopt met het dwingen tot een keuze tussen "alles onthouden" en "het nu onthouden". Door een wiskundig hulpmiddel genaamd fractionele calculus te gebruiken, creëert het een geheugen dat van nature het verre verleden vasthoudt terwijl het hyperbewust blijft van het huidige moment. Het is alsof je een bibliotheek hebt waar de boeken zo zijn georganiseerd dat je direct de nieuwste bestseller kunt grijpen zonder de klassiekers uit het oog te verliezen.

Technische Samenvatting: FRACTAL – State Space Model met Fractionele Recurrente Architectuur

1. Probleemstelling

Sequentiemodellering in continue tijd staat voor een fundamentele spanning: de noodzaak om een onbegrensde historische context te behouden terwijl gelijktijdig hoogresolutie, abrupte kortetermijnvariaties worden gedetecteerd. Bestaande State Space Models (SSM's), met name die die vertrouwen op het HiPPO-raamwerk (High-Order Polynomial Projection Operators), worden beperkt door een "trilemma" van geheugenmaten:

Geschaalde Legendre (LegS): Wijst uniforme gewichten toe aan de geschiedenis, wat tijdschaal-invariantie garandeert, maar de invloed van recente inputs progressief verdunt.
Getranslateerde Laguerre (LagT): Prioriteert recentheid via exponentiële afname, maar legt een vaste karakteristieke tijdschaal op, waardoor robuustheid tegen tijdsvervormde signalen en globale context wordt opgeofferd.
Getranslateerde Legendre (LegT): Biedt hoge lokale resolutie via een schuifend venster, maar gooit context catastrofelijk weg die buiten dat vaste horizon valt.

Geen enkele bestaande maat voldoet gelijktijdig aan volledige behoud van de geschiedenis, sensitiviteit voor recentheid en schaal-invariantie. Deze beperking hindert de toepassing van SSM's in fysieke en biologische domeinen die gekenmerkt worden door multi-schaal dynamiek, zoals financiële volatiliteit, fysiologische $1/f$ -ruis en netwerkverkeer, die machtswet-afnamekernen vertonen in plaats van exponentiële of uniforme verdelingen.

2. Methodologie: Het Fractionele HiPPO-Raamwerk

Het artikel stelt FRACTAL (Fractional Recurrent Architecture for Computational Temporal Analysis of Long sequences) voor, dat fractionele calculus integreert in het HiPPO-raamwerk om het geheugentrilemma op te lossen.

2.1 Fractionele Orde Maat

De kerntheoretische innovatie is de introductie van een fractionele orde maat $\mu(t)(x)$ gedefinieerd door een instelbare singulariteitsindex $\alpha \in [0, 1)$ :
$\mu(t)(x) = \frac{1-\alpha}{t^{1-\alpha}} (t-x)^{-\alpha} \mathbb{I}_{[0,t]}(x)$
Deze maat interpoleert tussen de uniforme verdeling (LegS, waar $\alpha=0$ ) en een geconcentreerde massa op het heden. Het induceert een machtswet-gewicht $(t-\tau)^{-\alpha}$ , wat een zware staart creëert voor langetermijnbehoud terwijl het een singulariteit op het huidige tijdstip afdwingt om lokale sensitiviteit te versterken. Cruciaal behoudt deze machtswet-structuur schaal-invariantie onder tijdsdilatatie, in tegenstelling tot exponentiële maten.

2.2 Theoretische Afleiding

Orthogonale Basis: De optimale projectie voor deze maat wordt afgeleid met behulp van Jacobi-polynomen $P_n^{(-\alpha, 0)}$ , die de Legendre-polynomen generaliseren die in standaard HiPPO-LegS worden gebruikt.
State Space Dynamica: Door een dimensieloze transformatie en integratie per delen toe te passen op de projectiecoëfficiënten, leiden de auteurs een Lineair Tijd-variërend (LTV) systeem af:
$\frac{d}{dt}x(t) = -\frac{1}{t} A(\alpha) x(t) + \frac{1}{t} B(\alpha) u(t)$
De factor $1/t$ is de mathematische signatuur van schaal-invariantie.
Systeemmatrices:
- Input Projectie ( $B$ ): Een gesloten-vorm oplossing wordt afgeleid waarbij de binomiaalcoëfficiënt trager afneemt dan bij LegS, wat effectief hoogfrequente inputcomponenten versterkt.
- State Overgang ( $A$ ): De matrix $A(\alpha)$ is onderling driehoekig. Een belangrijk theoretisch resultaat is dat zijn diagonaalelementen invariant zijn voor $\alpha$ ( $A_{nn} = n+1$ ), wat garandeert dat de eigenwaarden vast blijven bij $\{1, 2, \dots, N\}$ . Dit waarborgt spectrale stabiliteit ongeacht het geheugenconcentratieprofiel.

2.3 De FRACTAL Architectuur

Om efficiënt parallel trainen mogelijk te maken, wordt het LTV-systeem versoepeld tot een Lineair Tijd-invariant (LTI) systeem door de factor $1/t$ te vervangen door een leerbare tijdschaalparameter $\Delta$ .

Spectrale Initialisatie: In tegenstelling tot eerdere werken die matrixstructuren benaderen, voert FRACTAL een directe numerieke eigendecompositie uit van $A(\alpha)$ (die strikt diagonaliseerbaar is) om het diagonale spectrum $\Lambda$ te verkrijgen.
Fysisch Geïnformeerde Initialisatie: De input projectievector $\tilde{B}$ wordt geïnitieerd met de analytische gesloten-vorm oplossing afgeleid van de fractionele maat, dienend als een preconditioner om de initiële dynamiek af te stemmen op de machtswet-geheugenstructuur.
Multi-Schaal Filterbank: De state space wordt gepartitioneerd in kanalen, waarbij elk een unieke singulariteitsindex $\alpha_k$ $α_{k}$ toegewezen krijgt. Dit creëert een "Fractionele Filterbank" waarbij:
- Kanalen met lage $\alpha$ fungeren als laagdoorlaatfilters (behoud van globale context).
- Kanalen met hoge $\alpha$ fungeren als hoogdoorlaatfilters (versterking van lokale transiënten).
Berekening: Het gedigitaliseerde systeem wordt opgelost via parallelle prefix-sum (associatieve scan) algoritmen, met behoud van $O(N \log L)$ complexiteit.

3. Belangrijkste Bijdragen

Theoretisch: De introductie van een fractionele orde machtswet-maat in het HiPPO-raamwerk. Dit is de eerste maat die theoretisch voldoet aan de "onmogelijke triniteit" van volledige geschiedenisbehoud, recentheidssensitiviteit en schaal-invariantie. De auteurs leveren rigoureuze afleidingen die aantonen dat Jacobi-polynomen de natuurlijke basis vormen en dat de eigenwaarden van de state overgangsmatrix invariant zijn voor de singulariteitsindex.
Architecturaal: De concretisering van deze theorie in de FRACTAL-architectuur, met een multi-kanaal configuratie met heterogene geheugenparameters (een spectrale filterbank) en een analytische initialisatiestrategie die gebruikmaakt van de gesloten-vorm oplossing voor de input projectie.
Empirisch: Uitgebreide validatie op de Long Range Arena (LRA) benchmark, die aantoont dat de fractionele maat empirische winsten oplevert in multi-schaal redeneertaken.

4. Experimentele Resultaten

Geëvalueerd op de Long Range Arena (LRA) benchmark, behaalt FRACTAL een gemiddelde score van 87,11%, wat beter is dan het S5-model (87,04%) en S4 (86,09%) onder strikt identieke single-GPU-omstandigheden.

ListOps: FRACTAL behaalt 61,85%, wat beter is dan S5 (61,10%) en S4 (59,60%). Deze taak vereist het parseren van geneste wiskundige expressies, wat de capaciteit van het model valideert om gelijktijdig globale haakjesstructuren (lage $\alpha$ ) en lokale operandwaarden (hoge $\alpha$ ) te volgen.
Path-X: Op sequenties van lengte 16K behaalt FRACTAL 98,39%, wat effectief overeenkomt met S5 (98,62%), wat bevestigt dat de fractionele singulariteit de gradiëntvoortplanting over extreme horizons niet in gevaar brengt.
Numerieke Verificatie: Experimenten bevestigen dat de geheugendichtheid verschuift van uniform naar zwaarstaartig naarmate $\alpha$ toeneemt, en dat de diagonaalelementen van de state overgangsmatrix invariant blijven, zoals voorspeld door de theorie.

5. Betekenis en Claims

Het artikel stelt dat FRACTAL de kloof overbrugt tussen de optimale projectietheorie van HiPPO en de geheugeneigenschappen van fractionele calculus. Door de maat-theoretische basis van SSM's te generaliseren, biedt het werk een rigoureus mechanisme om geheugenkernen af te stemmen tussen pure geschiedenis en pure recentheid zonder schaal-invariantie op te offeren.

De auteurs positioneren FRACTAL als een fundamentele innovatie binnen het Lineair Tijd-invariant (LTI) SSM-paradigma. Ze onderscheiden hun werk expliciet van "Selectieve" (tijd-variërende) SSM's zoals Mamba, en betogen dat het vergelijken van een fundamentele, van scratch getrainde LTI-innovatie met zwaar geoptimaliseerde, vooraf getrainde selectieve architecturen verschillende onderzoeksparadigma's zou vermengen. Bijgevolg stelt het artikel dat de fractionele maat een structureel voordeel biedt specifiek in het machtswet-regime, waardoor het bijzonder geschikt is voor domeinen die gekenmerkt worden door multi-schaal dynamiek en zwaarstaartige tijdsafhankelijkheden, zoals financiële tijdreeksen en fysiologische signaalanalyse.