Training-Free Time Series Classification via In-Context Reasoning with LLM Agents

1. Problemstellung

Zeitreihenklassifizierung (TSC) ist eine grundlegende Aufgabe in Bereichen wie Gesundheitswesen, Finanzen und industrieller Überwachung. Bestehende Lösungen stoßen jedoch auf erhebliche Einschränkungen:

• Datenknappheit & Kosten: Überwachte Deep-Learning-Modelle erfordern große Mengen an gelabelten Daten sowie teures, datensatzspezifisches Training oder Fine-Tuning.
• Inflexibilität: Traditionelle Modelle (z. B. CNNs, Transformer) und sogar neuere LLM-basierte Ansätze verlassen sich oft auf Pretraining oder Fine-Tuning, was ihren Einsatz in „Plug-and-Play"-Szenarien mit knappen gelabelten Daten erschwert.
• Suboptimale Zero-Shot-Leistung: Obwohl reasoning-orientierte Large Language Models (LLMs) vielversprechend sind, um zeitliche Muster (Trends, Saisonalität) zu verstehen, liefern ihre reine Zero-Shot-Nutzung oder feste Prompts suboptimale Ergebnisse.

Die Kernfrage: Können wir multivariate Zeitreihenklassifizierung effektiv durchführen, ohne jegliches Modelltraining, Pretraining oder Fine-Tuning, indem wir die In-Context-Learning-Fähigkeiten moderner Reasoning-LLMs nutzen?

2. Methodik: Das FETA-Framework

Die Autoren schlagen FETA (training-Free timE series classificaTion with LLM Agents) vor, ein Multi-Agenten-Framework, das Modellfitting durch exemplarbasiertes In-Context-Reasoning ersetzt. Die Pipeline besteht aus vier spezialisierten Agenten, die in einem modularen Workflow arbeiten:

A. Channel Decomposer (Auswahl & Vorverarbeitung)

Multivariate Zeitreihen enthalten oft redundante oder irrelevante Kanäle sowie variierende Sequenzlängen, was die Effizienz des LLM-Reasonings beeinträchtigt.

• Funktion: Zerlegt den multivariaten Input in univariate Kanäle und schneidet irrelevante Kanäle heraus.
• Mechanismus:
  1. Normalisierung: Wendet Längennormalisierung und pro-Sample-z-Normalisierung an, um Vergleichbarkeit sicherzustellen.
  2. Bewertung: Berechnet einen training-freien Relevanz-Score für jeden Kanal basierend auf zwei Metriken:
     • Prototype-Margin-Score ($B_c$): Misst die Trennung zwischen Klassen im Vergleich zur Kompaktheit innerhalb einer Klasse (ähnlich dem Fisher-Ratio).
     • Approximate 1NN Leave-One-Out-Genauigkeit ($C_c$): Bewertet die eigenständige Klassifizierungsfähigkeit mittels nächster Nachbarn.
  3. Auswahl: Führt diese Scores zusammen, um Kanäle zu rangieren und wählt die top-$M$ informativsten Kanäle für die nachgelagerte Verarbeitung aus.

B. Example Retriever (In-Context-Exemplar-Auswahl)

Um das Reasoning des LLM zu fundieren, sucht das System relevante gelabelte Beispiele für die Abfrage.

• Funktion: Ruft strukturell ähnliche gelabelte Sequenzen aus dem Trainingsset für jeden ausgewählten Kanal ab.
• Mechanismus: Verwendet Dynamic Time Warping (DTW), um die $K_r$ nächsten Nachbarn zu finden. DTW wird gegenüber der euklidischen Distanz gewählt, da es zeitliche Verzerrungen, variable Geschwindigkeiten und Phasenverschiebungen robust handhabt.
• Ausgabe: Eine Menge von Exemplaren $\{(X_i, y_i, d_i)\}$, die die Sequenz, das Label und die auf der Ausrichtung basierende Distanz enthalten.

C. Channel Reasoner (Pattern-basiertes In-Context-Reasoning)

Dies ist die zentrale Reasoning-Engine, in der das LLM operiert.

• Funktion: Führt einen In-Context-Vergleich der Abfrage mit den abgerufenen Exemplaren durch, um eine kanalbezogene Vorhersage und ein Konfidenzniveau zu generieren.
• Mechanismus:
  • Jeder ausgewählte Kanal erhält einen unabhängigen Agenten.
  • Der Agent erhält die Abfragesequenz und die abgerufenen Exemplare (mit DTW-Distanzen).
  • Das reasoning-LLM analysiert zeitliche Muster (Trends, Schwankungen, Wendepunkte), um zwischen widersprüchlichen Exemplar-Labels zu entscheiden.
  • Ausgabe: Eine vorhergesagte Klasse ($\hat{y}_c$) und ein selbstbewertetes Konfidenzniveau ($w_c \in [0, 1]$).
  • Hauptvorteil: Dieser Schritt geht über einfaches Mehrheitsvoting hinaus, indem er die Fähigkeit des LLM nutzt, komplexe zeitliche Nuancen zu interpretieren.

D. Decision Aggregator (Konfidenz-gewichtete Fusion)

Die letzte Stufe synthetisiert Entscheidungen aller Kanal-Agenten.

• Funktion: Fasst kanalbezogene Vorhersagen zu einer einzigen globalen Entscheidung zusammen.
• Mechanismus:
  • Konsens-Modus: Wenn alle Agenten übereinstimmen, wird das Konfidenzniveau basierend auf der Anzahl der übereinstimmenden Agenten erhöht.
  • Gewichteter Modus: Wenn Agenten nicht übereinstimmen, wird eine konfidenz-gewichtete Fusion angewendet. Gültige Vorhersagen tragen ihre Konfidenzwerte zur vorhergesagten Klasse bei, während eine kleine Glättungsgewichtung zu anderen Klassen hinzugefügt wird.
  • Ergebnis: Die Klasse mit dem höchsten aggregierten Score wird ausgewählt. Dieser Ansatz ist robuster als naives Mehrheitsvoting, insbesondere wenn Kanäle widersprüchliche Evidenz liefern.

3. Hauptbeiträge

1. Erstes training-freies Multi-Agenten-Framework: Einführung des ersten Frameworks für multivariate TSC, das LLM In-Context-Reasoning ohne jegliche Parameter-Updates, Pretraining oder Fine-Tuning nutzt.
2. Modulares Pipeline-Design: Vorschlag einer neuartigen Architektur, die Kanalzerlegung, DTW-basierte Exemplar-Abrufung, LLM-Reasoning und konfidenz-gewichtete Aggregation integriert. Dies gewährleistet Effizienz (durch das Beschneiden von Kanälen) und Interpretierbarkeit (durch Exemplar-Fundierung).
3. Empirische Validierung: Demonstration, dass dieser Ansatz State-of-the-Art (SOTA)-Leistungen auf herausfordernden Benchmarks erreicht und sowohl klassische Methoden als auch trainierte Deep-Learning-Modelle übertrifft.

4. Experimentelle Ergebnisse

• Datensätze: Evaluierung auf neun repräsentativen und herausfordernden Datensätzen aus dem UEA Time Series Classification Archive.
• Benchmarks: Vergleich mit distanzbasierten Methoden (DTW), pattern-basierten Methoden (WEASEL+MUSE), Deep-Learning-Modellen (MLSTM-FCNs, TST), Repräsentationslernmethoden (TS-TCC, TS2Vec) und anderen Multi-Agenten-Ansätzen (MERIT).
• Leistung:
  • FETA (Qwen3) erreichte die höchste durchschnittliche Genauigkeit von 47,3 % und übertraf das beste trainierte Baseline-Modell (MERIT mit 44,4 %) sowie klassische Methoden.
  • FETA (DeepSeek R1) erreichte 46,6 % und belegte den zweiten Platz insgesamt.
  • Selbst FETA (LLaMA 3.1), das ein kleineres nicht-reasoning-Modell verwendet, erreichte 38,9 %, was der Transformer-basierten TST-Baseline entspricht und eine direkte Zero-Shot-DeepSeek-R1-Baseline (32,5 %) signifikant übertrifft.
• Ablationsstudien: Bestätigten, dass alle Komponenten kritisch sind. Die Entfernung des Channel Decomposers verursachte den größten Leistungsabfall (–14,6 % im Durchschnitt) und unterstreicht die Bedeutung der Input-Optimierung. Die Entfernung des Reasoners oder Aggregators verschlechterte die Leistung ebenfalls signifikant und bewies die Notwendigkeit von LLM-Reasoning und konfidenz-gewichteter Fusion gegenüber einfachen Heuristiken.

5. Bedeutung und Auswirkung

• Paradigmenwechsel: FETA demonstriert, dass LLMs als wettbewerbsfähige, Plug-and-Play-Lösung für Zeitreihenaufgaben dienen können, ohne die Rechenkosten und Datenanforderungen traditioneller Trainingspipelines.
• Interpretierbarkeit: Im Gegensatz zu „Black-Box"-Deep-Learning-Modellen liefert FETA interpretierbare Entscheidungen, die auf spezifisch abgerufenen Exemplaren und expliziten Konfidenzwerten basieren.
• Effizienz: Durch das Beschneiden irrelevanter Kanäle und die Kontrolle der Input-Länge macht das Framework LLM-Reasoning für hochdimensionale Zeitreihendaten machbar.
• Zukünftige Richtung: Diese Arbeit eröffnet einen neuen Weg zur Integration von Reasoning-LLMs mit strukturierten zeitlichen Daten unter Zero-Training-Bedingungen und legt nahe, dass „Lernen" in Zeitreihen durch Abruf und Reasoning statt durch Parameteroptimierung erreicht werden kann.

Einschränkungen: Derzeit für strukturierte numerische Signale konzipiert; zukünftige Arbeiten müssen hybride Datenmodalitäten (z. B. Text, Bilder, Metadaten) und die Umweltauswirkungen von Large-Scale-LLM-Inferenz adressieren.