🤖 machine learning

RocketPFN: Accurate Time Series Classification via In-Context Learning

RocketPFN ist eine trainingsfreie Zeitreihenklassifizierungspipeline, die zufällige konvolutionale Merkmalsextraktion mit einem vortrainierten tabellarischen Foundation-Modell (TabPFN) kombiniert und dabei eine erstklassige Genauigkeit auf UCR- und UEA-Benchmarks erreicht, während sie bestehende Foundation-Modelle ohne die Notwendigkeit eines Trainings mit Ziel-Daten signifikant übertrifft.

Ursprüngliche Autoren: Franco Martino O'Rourke, Ana Trisovic, Dimitris Bertsimas

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Franco Martino O'Rourke, Ana Trisovic, Dimitris Bertsimas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige Bibliothek mit zeitbasierten Geschichten – wie Herzschlägen, Börsentrends oder Erdbebenvibrationen. Ihre Aufgabe ist es, eine neue Geschichte zu lesen und sofort zu erraten, um welche Art von Ereignis es sich handelt. Dies nennt man Zeitreihenklassifizierung (Time Series Classification).

Jahrelang war der „Goldstandard“ für diese Aufgabe ein hochkomplexes, schwergewichtiges Machine-Learning-Team namens HC2. Stellen Sie sich HC2 als eine Truppe aus vier verschiedenen Experten-Detektiven vor, die jeweils ein anderes spezialisiertes Werkzeug benutzen (wie Formerkennung, Wörterbuch-Abfragen oder Intervall-Analysen). Sie arbeiten zusammen, um den Fall zu lösen. Sie sind unglaublich genau, aber langsam und teuer. Es dauert Stunden oder sogar Tage, bis sie eine neue Datensatz „studieren“ können, bevor sie eine Vermutung anstellen können.

Dann gibt es einen neueren, auffälligeren Ansatz namens Foundation Models (wie MOMENT oder Mantis). Diese sind wie „Super-Lerner“, die bereits Millionen von Büchern gelesen haben. Die Idee ist, dass sie die Sprache der Zeit bereits kennen und daher in der Lage sein sollten, neue Fälle sofort zu lösen, ohne den spezifischen Datensatz erst studieren zu müssen.

Hier kommt RocketPFN ins Spiel.

Die Autoren dieser Arbeit haben eine neue Pipeline namens RocketPFN entwickelt. Sie stellten eine einfache Frage: Können wir ein System bauen, das so genau ist wie die langsame, teure Detektiv-Truppe (HC2) und klüger als die kurzlebigen Super-Lerner, aber schafft es, dies ganz ohne jegliches Training zu tun?

So haben sie es gemacht, unter Verwendung von zwei einfachen Zutaten:

1. Der „Zufallsrauschen“-Scanner (Rocket)

Stellen Sie sich vor, Sie haben eine lange, unordentliche Datenkette. Anstatt zu versuchen, die tiefe Bedeutung jeder einzelnen Zahl zu verstehen, nutzt RocketPFN einen „Zufallsrauschen-Scanner“.

Die Analogie: Denken Sie an das Werfen von tausenden zufälligen Netzen in einen Fluss, um Fische zu fangen. Sie entwerfen die Netze nicht, um bestimmte Fische zu fangen; Sie werfen sie einfach nur zufällig aus.
Die Magie: Obwohl die Netze zufällig sind, fangen sie – wenn man genug von ihnen wirft (10.000 Stück!) – eine überraschend gute Mischung an Mustern. Einige Netze fangen die „Spitzen“ (die höchsten Punkte) ein, und andere die „Frequenz“ (wie oft etwas passiert).
Das Ergebnis: Dies verwandelt eine komplexe Zeitgeschichte in eine einfache Liste von Zahlen (Merkmalen), die die Gestalt der Geschichte beschreibt, ohne dass etwas gelernt werden muss.

2. Der „Sofort-Experte“ (TabPFN)

Sobald der Zufalls-Scanner die Zeitgeschichte in eine Liste von Zahlen verwandelt hat, leitet er sie an TabPFN weiter.

Die Analogie: Stellen Sie sich einen genialen Studenten vor, der die Antworten auf Millionen verschiedener Matheaufgaben auswendig gelernt hat. Wenn Sie ihm eine neue Aufgabe geben, muss er nicht erst lernen oder eine Prüfung ablegen. Er sieht sich einfach das Problem und die Beispiele an, die Sie ihm gerade geben, und sagt sofort: „Basierend auf dem, was ich zuvor gesehen habe, sieht das wie ein ‚Typ-A‘-Problem aus.“
Die Magie: Dieser Student (TabPFN) wurde auf synthetischen Daten trainiert, nicht auf echten Zeitreihendaten. Er nutzt „In-Context Learning“, was bedeutet, dass er die Regeln im Vorbeigehen durch das bloße Betrachten Ihrer spezifischen Beispiele versteht. Er muss nicht auf Ihren Daten „trainieren“.

Das große Experiment

Die Autoren kombinierten diese beiden: Zufalls-Scanner + Sofort-Experte.

Hier ist, was sie herausfanden:

Die Schwergewichte schlagen: Auf 92 Standard-Datensätzen erreichte RocketPFN die exakt gleiche Genauigkeit wie die langsame, teure HC2-Detektiv-Truppe (90 % Genauigkeit).
- Der Haken: HC2 benötigt Stunden für das Training. RocketPFN benötigt etwa 30 Sekunden, um zu laufen. Es ist, als würde man einen Marathonläufer, der Jahre trainiert hat, einfach im Sprint überholen, weil man selbst gar nicht erst trainieren musste.
Die „Super-Lerner“ schlagen: Sie testeten auch die „Super-Lerner“-Foundation-Modelle (MOMENT, Mantis). Obwohl diese Modelle auf massiven Mengen an Daten vortrainiert wurden (einschließlich genau der Datensätze, an denen RocketPFN getestet wurde), war RocketPFN immer noch besser.
- Der Clou: RocketPFN erreichte dies mit weniger Merkmalen (einfacheren Daten) als die Super-Lerner. Es ist, als würde man ein Schachspiel gegen einen Großmeister gewinnen, der 20 Jahre lang studiert hat, indem man nur 3 Züge statt 20 verwendet.
Das „Flachgelegte“ Scheitern: Sie versuchten, die rohen Zeitdaten direkt in den Sofort-Experten einzuspeisen, ohne den Zufalls-Scanner zu nutzen. Das Ergebnis war ein klägliches Scheitern (wie eine Rate-Chance von 50/50).
- Die Lektion: Der „Zufalls-Scanner“ ist essenziell. Er übersetzt die zeitbasierte Geschichte in ein Format, das der Sofort-Experte tatsächlich verstehen kann. Ohne ihn ist der Experte blind.

Das Fazit

Die Autoren kommen zu dem Schluss, dass man nicht immer ein massives, teures, vortrainiertes „Gehirn“ braucht, um Zeitreihendaten zu verstehen.

Manchmal reicht ein einfacher, zufälliger Filter in Kombination mit einem klugen, vortrainierten Klassifizierer, der im Flug lernt, aus, um den Stand der Technik zu übertreffen. Es deutet darauf an, dass die „Magie“ komplexer Foundation-Modelle für diese spezifische Aufgabe vielleicht überbewertet wird und dass ein viel einfacherer, trainingsfreier Ansatz tatsächlich der neue Maßstab ist, an dem man sich messen lassen muss.

Kurz gesagt: Man braucht keinen Supercomputer, um diese Rätsel zu lösen. Manchmal sind ein zufälliges Netz und ein schlagfertiger Genie alles, was man braucht.

Technisches Resümee: RocketPFN

Problemstellung

Die Klassifizierung von Zeitreihen (Time Series Classification, TSC) bleibt eine grundlegende Herausforderung in wissenschaftlichen und technischen Domänen, die von der Erkennung von Krampfanfällen bis hin zur industriellen Fehlerdiagnose reicht. Während das HIVE-COTE 2.0 (HC2) Ensemble derzeit die State-of-the-Art-Position (SOTA) in den UCR- und UEA-Archiven einnimmt, verursacht es enorme Rechenkosten, die pro Datensatz Stunden oder Tage an Training erfordern. Im Gegensatz dazu investieren jüngste TSC-Foundation-Modelle (z. B. MOMENT, Mantis) massiv in das Pretraining, um niedrigdimensionale temporale Embeddings zu lernen, haben es jedoch bisher nicht geschafft, HC2 oder die effiziente Familie der Random-Kernel (Rocket) zu übertreffen, wenn sie als Zero-Shot-Merkmalsextraktoren eingesetzt werden.

Die zentrale Frage, die hier adressiert wird, lautet, ob eine trainingsfreie Pipeline – die die Kombination aus zufälliger konvolutionaler Merkmalsextraktion mit In-Context-Klassifizierung mittels eines vortrainierten Tabular-Foundation-Modells umfasst – die Genauigkeit der komplexesten, trainingsintensiven Ensembles erreichen kann, ohne Parameter an die Ziel-Daten anzupassen.

Methodik: RocketPFN

RocketPFN ist eine zweistufige, trainingsfreie Pipeline, die die Lücke zwischen zufälliger Merkmalsextraktion und leistungsstarkem In-Context-Lernen schließt.

Zufällige konvolutionale Merkmalsextraktion (Rocket):
- Zeitreihen werden zunächst z-normalisiert.
- Anstatt die standardmäßigen 10.000 Kernel zu verwenden (was 20.000 Merkmale erzeugt, was die Kapazität des nachgeschalteten Klassifikators überschreitet), generiert die Methode $G$ unabhängige Gruppen von jeweils $k=1.000$ zufälligen konvolutionalen Kerneln.
- Jeder Kernel erzeugt zwei statistische Kennzahlen: das globale Maximum und den Anteil positiver Werte (Proportion of Positive Values, PPV).
- Dies resultiert in $G$ Merkmalsmatrizen, die jeweils $2.000$ Merkmale enthalten, was den Eingabebeschränkungen von TabPFN v2.5 entspricht.
In-Context-Klassifizierung (TabPFN v2.5):
- Jede Merkmalsmatrix wird an TabPFN v2.5 übergeben, ein Prior-data Fitted Network, das auf Millionen von synthetischen tabellarischen Datensätzen vortrainiert wurde.
- TabPFN führt die Klassifizierung mittels In-Context-Lernen durch: Es erhält den gelabelten Trainingssatz und die ungelabelten Testpunkte als Kontext und sagt Klassenwahrscheinlichkeiten in einem einzigen Vorwärtspass voraus, ohne Gradienten-Updates durchzuführen.
- Die endgültige Vorhersage ist der Durchschnitt der Wahrscheinlichkeitsschätzungen über die $G$ Gruppen hinweg.

Design-Rationale: Die Pipeline adresset eine Dimensionalitäts-Diskrepanz (Rocket's 20.000 Merkmale vs. TabPFN's 2.000 Merkmalslimit) durch das Ensembling mehrerer kleinerer Gruppen, anstatt Merkmale zu kürzen. Dies bewahrt die Diversität der Zufalls-Projektionen und nutzt gleichzeitig die Fähigkeit von TabPFN, nicht-lineare Entscheidungsgrenzen zu lernen, im Gegensatz zur Ridge-Regression, die üblicherweise mit Rocket verwendet wird.

Zentrale Beiträge

Das Paper präsentiert vier primäre Beiträge:

SOTA-Genauigkeit ohne Training: RocketPFN ( $G=10$ ) erreicht eine mittlere Genauigkeit von 0,900 auf 92 UCR-Datensätzen, was statistisch mit HC2 (Wilcoxon $p=0,50$ ) gleichauf liegt und jedes einzelne Modell innerhalb des HC2-Ensembles signifikant übertrifft. Es erfordert keine Parameteranpassung an den Ziel-Daten.
Überlegenheit des In-Context-Lernens: Der Ersatz der Standard-Ridge-Regression durch TabPFN auf denselben zufälligen konvolutionalen Merkmalen liefert einen signifikanten Genauigkeitsgewinn (+0,018), was zeigt, dass In-Context-Lernen in diesem Regime diskriminativere Informationen extrahiert als lineare Modelle.
Notwendigkeit der temporalen Kodierung: Das Paper zeigt, dass die direkte Anwendung von TabPFN auf flachgedrückte (flattened) Zeitreihen bei trivial lösbaren Aufgaben (z. B. ShapeletSim) scheitert und eine nahezu zufällige Genauigkeit erreicht. Der Schritt der konvolutionalen Merkmalsextraktion ist essenziell, um den temporalen Inductive Bias wiederherzustellen.
Benchmark für Foundation-Modelle: RocketPFN übertrifft Zero-Shot-TSC-Foundation-Modelle (MOMENT, Mantis, MantisV2) signifikant, wenn diese mit demselben Downstream-Klassifikator kombiniert werden. Dies gilt selbst dann, wenn die Foundation-Modelle auf Korpora vortrainiert wurden, die die UCR-Trainings-Splits enthalten, und selbst wenn RocketPFN auf weniger Merkmale (200) beschränkt ist als die Embedding-Dimensionen der Foundation-Modelle.

Experimentelle Ergebnisse

UCR-Archiv (92 Datensätze): RocketPFN ( $G=10$ ) erreicht eine mittlere Genauigkeit (0,900), die mit HC2 gleichauf liegt. Es übertrifft die Komponenten von HC2 (Arsenal, DrCIF, TDE, STC) sowie andere SOTA-Methoden wie InceptionTime und TS-CHIEF signifikant ( $p < 0,005$ ). Selbst mit einem reduzierten Budget ( $G=1$ , 1.000 Kernel) übertrifft RocketPFN alle HC2-Komponenten signifikant.
UEA-Archiv (20 Datensätze): RocketPFN ( $G=10$ ) erreicht eine mittlere Genauigkeit von 0,747, was statistisch ununterscheidbar von HC2 (0,747, $p=0,37$ ) ist, wobei die geringe Datensatzgröße die statistische Aussagekraft einschränkt.
Vergleich mit Foundation-Modellen: Auf 103 UCR-Datensätzen übertrifft RocketPFN ( $G=1, k=100$ ) MOMENT, Mantis und MantisV2 (alle gepaart mit TabPFN) signifikant mit $p < 0,001$ . Dieses Ergebnis bleibt bestehen, obwohl die Foundation-Modelle größere Embedding-Dimensionen (256–1.024) als die 200 Merkmale von RocketPFN besitzen.
Effizienz: Die Pipeline ist trainingsfrei. Auf einer GPU beträgt die mediane Inferenzzeit 30 Sekunden pro Fold für $G=10$ und 3,7 Sekunden für $G=1$ .

Bedeutung und Ansprüche

Die Autoren schlagen vor, RocketPFN als Referenzpunkt für die Evaluierung von Zero-Shot-TSC-Foundation-Modellen zu nutzen. Das Paper argumentiert, dass die hohen Pretraining-Kosten und die Design-Komplexität, die erforderlich sind, um niedrigdimensionale temporale Embeddings zu lernen, durch konkrete Bedingungen gerechtfertigt sein müssen, unter denen diese Embeddings diesen trainingsfreien Baseline-Ansatz übertreffen.

Die Ergebnisse legen nahe, dass die Messlatte für das Zero-Shot-temporale Repräsentationslernen höher liegt, als aktuelle Foundation-Modelle suggerieren. Das Paper postuliert, dass Tabular-Pre-fitted-Netzwerke (wie TabPFN) als allgemeines Rückgrat für Klassifizierungsprobleme jenseits strukturierter tabellarischer Daten dienen können, sofern geeignete Merkmalsextraktoren (wie Zufallskonvolutionen) die Lücke zwischen der Quellmodalität und der tabellarischen Schnittstelle schließen.

Limitierungen: Der Ansatz ist derzeit durch die Unterstützung von bis zu 10 Klassen in TabPFN v2.5 begrenzt, was 25 UCR- und 7 UEA-Datensätze ausschließt. Zudem werden die Ergebnisse des UEA-Benchmarks aufgrund der geringen Anzahl an Datensätzen (20) als nicht schlüssig betrachtet, wenngleich die mittlere Genauigkeit wettbewerbsfähig bleibt. Die Zeitvergleiche sind struktureller Natur (Inferenz-only vs. trainingsintensiv) und kein kontrollierter Hardware-Benchmark.