🤖 machine learning

RocketPFN: Accurate Time Series Classification via In-Context Learning

RocketPFN is een training-vrije tijdreeksclassificatie-pipeline die willekeurige convolutionele feature-extractie combineert met een vooraf getraind tabelair fundatiemodel (TabPFN), waarmee het de state-of-the-art nauwkeurigheid bereikt op UCR- en UEA-benchmarks terwijl het bestaande fundatiemodellen aanzienlijk overtreft zonder dat er training op doelgegevens vereist is.

Oorspronkelijke auteurs: Franco Martino O'Rourke, Ana Trisovic, Dimitris Bertsimas

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Franco Martino O'Rourke, Ana Trisovic, Dimitris Bertsimas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek hebt met tijdgebaseerde verhalen—zoals hartslagen, trends op de aandelenmarkt of aardbevingsvibraties. Jouw taak is om een nieuw verhaal te lezen en direct te raden wat voor soort gebeurtenis het is. Dit wordt Time Series Classification genoemd.

Jarenlang is de "gouden standaard" voor het doen van dit werk een supercomplexe, zware machine learning-groep geweest genaamd HC2. Denk aan HC2 als een squad van vier verschillende deskundige detectives, die elk een andere gespecialiseerde tool gebruiken (zoals vormdetectoren, woordenboek-opzoekmethoden of interval-analysatoren). Ze werken samen om de zaak op te lossen. Ze zijn ongelooflijk nauwkeurig, maar ze zijn traag en duur. Het duurt uren of zelfs dagen voordat ze een nieuwe dataset hebben "bestudeerd" voordat ze een gok kunnen wagen.

Toen kwam er een nieuwere, flitsendere benadering genaamd Foundation Models (zoals MOMENT of Mantis). Dit zijn als "super-leraren" die miljoenen boeken vooraf hebben gelezen. Het idee is dat ze de taal van de tijd al kennen, dus zouden ze nieuwe gevallen direct moeten kunnen oplossen zonder de specifieke dataset te hoeven bestuderen.

Ontmoet RocketPFN.

De auteurs van dit paper hebben een nieuwe pipeline gebouwd genaamd RocketPFN. Ze stelden een simpele vraag: Kunnen we een systeem bouwen dat even nauwkeurig is als de trage, dure detective-squad (HC2) en slimmer dan de vluchtige super-leraren (Foundation Models), maar doet dit zonder enige training te gebruiken?

Zo hebben ze het gedaan, met behulp van twee eenvoudige ingrediënten:

1. De "Random Noise" Scanner (Rocket)

Stel je voor dat je een lange, rommelige reeks data hebt. In plaats van te proberen de diepe betekenis van elk enkel getal te begrijpen, gebruikt RocketPFN een "random noise scanner".

De Analogie: Denk hierbij aan het werpen van duizenden willekeurige netten in een rivier om vissen te vangen. Je ontwerpt de netten niet om specifieke vissen te vangen; je gooit ze gewoon willekeurig uit.
De Magie: Hoewel de netten willekeurig zijn, vangen ze als je genoeg van ze gebruikt (10.000 stuks!) een verrassend goede mix van patronen. Sommige netten vangen de "pieken" (de hoogste punten), en andere vangen de "frequentie" (hoe vaak iets gebeurt).
Het Resultaat: Dit verandert een complexe tijd-verhaal in een eenvoudige lijst met getallen (features) die de vorm van het verhaal beschrijft, zonder dat er eerst iets geleerd hoeft te worden.

2. De "Instant Expert" (TabPFN)

Zodra de random scanner het tijd-verhaal heeft veranderd in een lijst met getallen, geven ze het door aan TabPFN.

De Analogie: Stel je een genie voor dat de antwoorden op miljoenen verschillende wiskundeproblemen heeft uit het hoofd geleerd. Wanneer je hen een nieuw probleem geeft, hoeven ze niet te studeren of een test af te leggen. Ze kijken gewoon naar het probleem en de voorbeelden die je hen op dat moment geeft, en zeggen direct: "Op basis van wat ik eerder heb gezien, lijkt dit op een 'Type A' probleem."
De Magie: Deze student (TabPFN) is getraind op synthetische data, niet op echte tijdreeks-data. Het maakt gebruik van "In-Context Learning", wat betekent dat het de regels ter plekke ontdekt door simpelweg naar jouw specifieke voorbeelden te kijken. Het heeft geen "training" op jouw data nodig.

Het Grote Experiment

De auteurs combineerden deze twee: Random Scanner + Instant Expert.

Dit is wat zij ontdekten:

De Zwaargewichten Verslaan: Op 92 standaard datasets behaalde RocketPFN precies dezelfde nauwkeurigheid als de trage, dure HC2 detective-squad (90% nauwkeurigheid).
- De Catch: HC2 heeft uren training nodig. RocketPFN heeft ongeveer 30 seconden nodig om te draaien. Het is alsof je een marathonloper die jaren heeft getraind verslaat door er simpelweg langs te sprinten, omdat je helemaal geen training nodig had.
De "Super-Learners" Verslaan: Ze testten ook de "Super-Learner" foundation models (MOMENT, Mantis). Ondanks het feit dat deze modellen vooraf zijn getraind op enorme hoeveelheden data (inclusief de zeer specifieke datasets waarop RocketPFN werd getest), presteerde RocketPFN nog steeds beter.
- De Twist: RocketPFN deed dit met minder features (eenvoudigere data) dan de super-learners. Het is alsof je een schaakspel wint van een grootmeester die 20 jaar heeft gestudeerd, met slechts 3 zetten in plaats van 20.
De "Gevlakte" Mislukking: Ze probeerden de ruwe tijd-data direct aan de Instant Expert te voeren zonder de Random Scanner. Dat mislukte jammerlijk (het was als het gokken van 50/50).
- De Les: De "Random Scanner" is essentieel. Het vertaalt het tijd-verhaal naar een formaat dat de Instant Expert daadwerkelijk kan begrijpen. Zonder de scanner is de expert blind.

De Kern van het Verhaal

De conclusie van het paper is dat je niet altijd een enorme, dure, vooraf getrainde "hersenen" nodig hebt om tijdreeks-data te begrijpen.

Soms is een eenvoudig, willekeurig filter gecombineerd met een slimme, vooraf getrainde classifier die on the fly leert, genoeg om de state-of-the-art te verslaan. Het suggereert dat de "magie" van complexe foundation models misschien overschat wordt voor deze specifieke taak, en dat een veel eenvoudigere, training-vrije benadering eigenlijk de nieuwe benchmark is om te verslaan.

Kortom: Je hebt geen supercomputer nodig om deze puzzels op te lossen. Soms zijn een willekeurig net en een vlijmscherpe geest alles wat je nodig hebt.

Technische Samenvatting: RocketPFN

Probleemstelling

Tijdreeksclassificatie (TSC) blijft een fundamentele uitdaging in wetenschappelijke en technische domeinen, variërend van epileptische insultdetectie tot industriële foutdiagnose. Hoewel het HIVE-COTE 2.0 (HC2) ensemble momenteel de state-of-the-art (SOTA) positie inneemt op de UCR- en UEA-archieven, brengt dit een enorme computationele kostenpost met zich mee, waarbij uren tot dagen aan training per dataset vereist is. Daarentegen investeren recente TSC-fundamentele modellen (bijv. MOMENT, Mantis) zwaar in pretraining om laagdimensionale temporele embeddings te leren, maar zij hebben nog niet de prestaties van HC2 of de efficiënte familie van random-kernels (Rocket) kunnen evenaren wanneer ze als zero-shot feature extractoren worden gebruikt.

De centrale vraag die wordt behandeld is of een training-vrije pipeline—die random convolutionele feature extractie combineert met in-context classificatie via een vooraf getraind tabelair fundamenteel model—de nauwkeurigheid kan evenaren van de meest complexe, intensieve ensembles zonder parameters aan te passen aan de doelgegevens.

Methodologie: RocketPFN

RocketPFN is een tweestaps, training-vrije pipeline ontworpen om de kloof tussen random feature extractie en krachtige in-context learning te overbruggen.

Random Convolutional Feature Extraction (Rocket):
- Input-tijdreeksen worden eerst z-genormaliseerd.
- In plaats van de standaard 10.000 kernels te gebruiken (die 20.000 features produceren), wat de inputcapaciteit van de downstream classifier overschrijdt, genereert de methode $G$ onafhankelijke groepen van $k=1.000$ random convolutionele kernels.
- Elke kernel produceert twee samenvattende statistieken: de globale maximumwaarde en de proportie positieve waarden (PPV).
- Dit resulteert in $G$ feature matrices, elk met $2.000$ features, wat aansluit bij de inputbeperkingen van TabPFN v2.5.
In-Context Classification (TabPFN v2.5):
- Elke feature matrix wordt doorgegeven aan TabPFN v2.5, een Prior-data Fitted Network dat is voorgetraind op miljoenen synthetische tabelaire datasets.
- TabPFN voert classificatie uit via in-context learning: het ontvangt de gelabelde trainingsset en ongegelabelde testpunten als context en voorspelt klasse-waarschijnlijkheden in één enkele forward pass zonder gradiëntupdates.
- De uiteindelijke voorspelling is een gemiddelde van de waarschijnlijkheidsschattingen over de $G$ groepen.

Ontwerp-ratio: De pipeline adresseert een dimensionaliteitsverschil (Rocket's 20.000 features vs. TabPFN's 2.000 feature-limiet) door meerdere kleinere groepen te ensembelen in plaats van features te schrappen. Dit behoudt de diversiteit van de random projecties terwijl het gebruik maakt van het vermogen van TabPFN om niet-lineaire beslissingsgrenzen te leren, in tegenstelling tot de ridge regressie die gewoonlijk bij Rocket wordt gebruikt.

Belangrijkste Bijdragen

Het artikel presenteert vier primaire bijdragen:

SOTA Nauwkeurigheid zonder Training: RocketPFN ( $G=10$ ) bereikt een gemiddelde nauwkeurigheid van 0,900 op 92 UCR-datasets, wat statistisch overeenkomt met HC2 (Wilcoxon $p=0,50$ ) en elke individuele classifier binnen het HC2-ensemble aanzienlijk overtreft. Het vereist geen parameteraanpassing op de doelgegevens.
Superioriteit van In-Context Learning: Het vervangen van de standaard ridge regressie classifier door TabPFN op dezelfde random convolutionele features levert een significante winst in nauwkeurigheid op (+0,018), wat aantoont dat in-context learning meer discriminerende informatie extraheert dan lineaire modellen in dit regime.
Noodzakelijkheid van Temporele Encoding: Het artikel demonstreert dat het direct toepassen van TabPFN op geflatteerde tijdreeksen faalt op triviaal oplosbare taken (bijv. ShapeletSim), waarbij een bijna willekeurige nauwkeurigheid wordt behaald. De stap van convolutionele feature extractie is essentieel om de temporele inductieve bias te herstellen.
Benchmark voor Fundamentele Modellen: RocketPFN presteert aanzienlijk beter dan zero-shot TSC-fundamentele modellen (MOMENT, Mantis, MantisV2) wanneer deze worden gekoppeld aan dezelfde downstream classifier. Dit geldt zelfs wanneer de fundamentele modellen zijn voorgetraind op corpora die de UCR-trainingssplits bevatten, en zelfs wanneer RocketPFN beperkt is tot minder features (200) dan de embedding-dimensies van de fundamentele modellen.

Experimentele Resultaten

UCR Archive (92 datasets): RocketPFN ( $G=10$ ) evenaart de gemiddelde nauwkeurigheid van HC2 (0,900). Het overtreft de componenten van HC2 (Arsenal, DrCIF, TDE, STC) en andere SOTA-methoden zoals InceptionTime en TS-CHIEF aanzienlijk ( $p < 0,005$ ). Zelfs met een gereduceerd budget ( $G=1$ , 1.000 kernels), presteert RocketPFN aanzienlijk beter dan alle HC2-componenten.
UEA Archive (20 datasets): RocketPFN ( $G=10$ ) bereikt een gemiddelde nauwkeurigheid van 0,747, wat statistisch niet te onderscheiden is van HC2 (0,747, $p=0,37$ ), hoewel de kleine datasetgrootte de statistische kracht beperkt.
Vergelijking met Fundamentele Modellen: Op 103 UCR-datasets presteert RocketPFN ( $G=1, k=100$ ) aanzienlijk beter dan MOMENT, Mantis en MantisV2 (allemaal gekoppeld aan TabPFN) met $p < 0,001$ . Dit resultaat houdt stand, zelfs wanneer de fundamentele modellen grotere embedding-dimensies hebben (256–1.024) vergeleken met de 200 features van RocketPFN.
Efficiëntie: De pipeline is training-vrij. Op een GPU is de mediane inferentietijd 30 seconden per fold voor $G=10$ en 3,7 seconden voor $G=1$ .

Betekenis en Claims

De auteurs stellen RocketPFN voor als een referentiepunt voor het evalueren van zero-shot TSC-fundamentele modellen. Het artikel betoogt dat de hoge pretraining-kosten en het complexe ontwerp dat nodig is om laagdimensionale temporele embeddings te leren, gerechtvaardigd moeten worden door concrete condities waarin die embeddings deze training-vrije baseline overtreffen.

De resultaten suggereren dat de lat voor zero-shot temporele representatie-leren hoger ligt dan huidige fundamentele modellen doen vermoeden. Het artikel stelt dat tabelaire pre-fitted netwerken (zoals TabPFN) als een algemene ruggengraat kunnen dienen voor classificatieproblemen buiten gestructureerde tabelaire data, mits geschikte feature extractors (zoals random convoluties) de kloof tussen de bronmodaliteit en de tabelaire interface overbruggen.

Beperkingen: De aanpak is momenteel beperkt door de ondersteuning van TabPFN v2.5 voor maximaal 10 klassen, wat 25 UCR en 7 UEA datasets uitsluit. Daarnaast worden de UEA-benchmarkresultaten als inconclusief beschouwd vanwege het kleine aantal datasets (20), hoewel de gemiddelde nauwkeurigheid competitief blijft. Tijdvergelijkingen zijn structureel (inferentie-only versus training-intensief) in plaats van een gecontroleerde hardware-benchmark.