Retrieval-Augmented Generation with Covariate Time Series

Die Arbeit stellt RAG4CTS vor, ein trainingsfreies, regimebewusstes Retrieval-Augmented-Generation-Framework für Kovariaten-Zeitreihen, das durch eine physikinformierte Wissensbasis und einen agentengesteuerten Kontext-Optimierungsansatz die Vorhersagegenauigkeit bei der Predictive Maintenance von PRSOV-Ventilen signifikant verbessert und erfolgreich in Apache IoTDB bei China Southern Airlines eingesetzt wird.

Das Wesentliche

🛫 Das Problem: Der vergessliche Flugzeug-Mechaniker

Stellen Sie sich vor, Sie sind ein Flugzeugmechaniker bei einer großen Fluggesellschaft (China Southern Airlines). Ihre Aufgabe ist es, ein sehr wichtiges Ventil im Triebwerk zu überwachen, das wir PRSOV nennen. Dieses Ventil regelt den Luftdruck. Wenn es kaputt geht, kann das Flugzeug nicht starten oder muss mitten in der Luft stoppen – das kostet viel Geld und ist gefährlich.

Das Problem ist jedoch:

1. Wenig Daten: Ein solches Ventil passiert nur einmal pro Flug einen bestimmten kritischen Moment. Es gibt also kaum alte Aufzeichnungen, um daraus zu lernen.
2. Kurze Momente: Der kritische Moment dauert nur 10 Sekunden und besteht aus nur 18 Datenpunkten. Das ist wie ein Blitz, der zu schnell ist, um ihn mit bloßem Auge zu sehen.
3. Komplexe Abhängigkeiten: Der Druck im Ventil hängt nicht von sich selbst ab, sondern davon, wie schnell sich die Turbine dreht und wie viel Druck von vorne kommt. Ein einfacher Computer sieht nur die Zahlen, versteht aber nicht die Physik dahinter.

Frühere KI-Modelle waren wie Schüler, die nur aus einem dicken Lehrbuch gelernt haben. Wenn sie auf eine neue, seltene Situation treffen, raten sie oft falsch, weil sie keine Erfahrung damit haben.

💡 Die Lösung: RAG4CTS – Der "Weise Alte" mit einem Notizbuch

Die Forscher von der Tsinghua-Universität haben eine neue Methode entwickelt, die sie RAG4CTS nennen. Man kann sich das wie einen erfahrenen alten Mechaniker vorstellen, der ein riesiges, perfekt organisiertes Notizbuch hat.

Hier ist, wie es funktioniert, mit einfachen Vergleichen:

1. Das Notizbuch statt der Datenbank (Hierarchische Wissensbasis)

Statt die Daten in einen "Küchenschrank" zu werfen, wo sie in kleine, unverständliche Stücke zerschnitten werden (wie bei normalen KI-Modellen), speichern sie die Daten in diesem System ganzheitlich.

• Die Analogie: Stellen Sie sich vor, Sie haben nicht nur lose Zettel, sondern ein Buch, das genau so aufgebaut ist wie das Flugzeug selbst: Erst die Flugzeugklasse (Boeing 777), dann das spezifische Flugzeug (Kennzeichen), dann das spezifische Ventil.
• Der Vorteil: Wenn das System nach einem ähnlichen Moment sucht, findet es die ganze Geschichte, nicht nur ein zerschnittenes Fragment. Es behält die volle Präzision bei.

2. Der intelligente Sucher (Zweistufige Suche)

Wenn ein neues Problem auftritt (z. B. ein seltsames Geräusch beim Start), sucht das System nicht einfach nach Zahlen, die ähnlich aussehen. Es sucht nach Ursachen.

• Die Analogie: Stellen Sie sich vor, Sie suchen nach einem ähnlichen Wettertag. Ein normaler Sucher würde sagen: "Heute war es auch 20 Grad." Aber unser System fragt: "War es heute auch 20 Grad und hat der Wind aus derselben Richtung geweht wie damals?"
• Wie es geht: Das System gewichtet zwei Dinge:
  • Zeit: Was ist gerade passiert? (Die letzten Sekunden sind wichtiger als die von vor einer Stunde).
  • Physik: Welche Faktoren haben den Druck wirklich beeinflusst? (Die Turbinendrehzahl ist wichtiger als andere Sensoren).
• Es findet also nicht nur "ähnliche" Kurven, sondern Kurven, die durch denselben physikalischen Druck entstanden sind.

3. Der selbstbewusste Assistent (Agenten-gesteuerte Ergänzung)

Das System holt sich nun die besten 5 ähnlichen Fälle aus dem Notizbuch. Aber wie viele davon braucht es wirklich?

• Das Problem: Zu viele Beispiele verwirren den KI-Modell (zu viel Rauschen), zu wenige helfen nicht.
• Die Lösung: Das System nutzt den besten gefundenen Fall als "Agenten" (einen Testläufer). Es probiert aus: "Wenn ich nur diesen einen Fall danebenlege, wird die Vorhersage besser? Wenn ich zwei nehme? Drei?"
• Es sucht sich automatisch die perfekte Anzahl an Beispielen, die gerade für dieses spezifische Problem nötig ist. Es ist wie ein Koch, der probiert, ob er noch eine Prise Salz braucht, bevor er das Gericht serviert.

🚀 Das Ergebnis in der Praxis

Dieses System wurde bereits bei China Southern Airlines im echten Betrieb getestet.

• Das Ergebnis: Innerhalb von zwei Monaten hat das System einen echten Defekt an einem Ventil vorhergesagt, bevor er passiert ist.
• Die Genauigkeit: Es gab keine falschen Alarme. Das ist in der Luftfahrt extrem wichtig, denn ein falscher Alarm bedeutet, dass ein Flugzeug am Boden bleibt und die Airline Tausende von Dollar verliert.
• Der Vergleich: Herkömmliche KI-Modelle (die nur aus Daten lernen, ohne dieses "Notizbuch") waren viel ungenauer und hätten den Defekt wahrscheinlich übersehen oder falsche Alarme ausgelöst.

Zusammenfassung in einem Satz

Die Forscher haben eine KI entwickelt, die wie ein erfahrener Mechaniker mit einem perfekten Gedächtnis funktioniert: Sie vergleicht aktuelle Probleme nicht nur mit ähnlichen Zahlen, sondern mit physikalisch identischen Situationen aus der Vergangenheit, um Fehler vorherzusagen, bevor sie passieren – und das alles, ohne dass sie erst mühsam neu trainiert werden muss.

Technische Zusammenfassung

1. Problemstellung und Motivation

Das Paper adressiert die Herausforderungen bei der Anwendung von Time-Series Foundation Models (TSFMs) in hochkritischen industriellen Szenarien, am Beispiel der vorausschauenden Wartung (Predictive Maintenance) des Druckregel- und Absperrventils (PRSOV) in zivilen Flugzeugen.

Die bestehenden TSFMs und herkömmlichen RAG-Ansätze (Retrieval-Augmented Generation) scheitern in diesem Kontext an drei spezifischen Eigenschaften der Daten:

1. Datenknappheit (Data Scarcity): Kritische Betriebszustände (Regimes) sind selten. Ein PRSOV-Regelvorgang findet beispielsweise nur einmal pro Flugzyklus statt, was zu extrem wenigen Trainingsdaten führt.
2. Kurze transiente Sequenzen: Die relevanten Datenfenster sind sehr kurz (z. B. nur 18 Datenpunkte in 10 Sekunden). Herkömmliche Embedding-Methoden, die auf Padding und statische Vektoren angewiesen sind, gehen hierbei feine Signale verloren oder fügen Rauschen hinzu.
3. Kovariaten-gekoppelte Dynamik: Die Zielvariable (Manifold Pressure, MP) wird nicht autonom bestimmt, sondern passiv durch externe Kovariaten (Triebwerksdrehzahl $N2$ und Zwischendruck $IP$) gesteuert. Ein reines Target-only-Retrieval ignoriert diese physikalische Kausalität und führt zu falschen Referenzen.

Herkömmliche RAG-Methoden (wie TimeRAF oder TS-RAG) nutzen lernbare Adapter und statische Vektoreinbettungen, die in solchen datenarmen, kurzen und physikalisch gekoppelten Szenarien nicht generalisieren können.

2. Methodik: RAG4CTS

Die Autoren schlagen RAG4CTS vor, ein regime-bewusstes, training-freies RAG-Framework für kovariatenbasierte Zeitreihen. Das System besteht aus drei Kernkomponenten:

A. Hierarchische, nativ zeitreihenbasierte Wissensdatenbank (Hierarchical Knowledge Base)

• Statt Zeitreihen in statische Vektoren zu komprimieren, speichert die Datenbank die rohen, verlustfreien historischen Daten in einer baumstrukturierten Hierarchie (z. B. Flugzeugtyp -> Flugzeugkennung -> Ventil -> Regime).
• Dies erhält die volle numerische Präzision der kurzen transienten Signale und vermeidet Artefakte durch Padding oder Slicing.

B. Zwei-Stufen-Abfrage-Mechanismus mit bi-gewichteter Retrieval-Strategie

Der Retrieval-Prozess erfolgt direkt im Rohdatenraum und nutzt bekannte zukünftige Kovariaten, um historische Segmente physikalisch konsistent auszurichten:

1. Bi-Gewichtung (Bi-Weighting):
   • Punkt-Gewichtung ($W_{point}$): Gewichtet aktuelle Systemzustände und bekannte zukünftige Steuereingaben (Kovariaten) höher als vergessene Vergangenheit. Zukünftige Zielwerte werden maskiert (da sie unbekannt sind).
   • Kovariaten-Gewichtung ($W_{cov}$): Nutzt Mutual Information (MI), um die nicht-lineare kausale Stärke der Kovariaten ($N2, IP$) auf das Ziel ($MP$) zu quantifizieren. Stärker gekoppelte Sensoren erhalten höhere Gewichte.
2. Zwei-Stufen-Filterung:
   • Stufe 1 (Form-Alignment): Identifiziert Kandidaten mit ähnlichen evolutionären Trends mittels gewichteter Kosinussimilarität.
   • Stufe 2 (Zustands-Präzision): Verfeinert die Auswahl mittels gewichteter Matrix Profile-Distanz, um die absolute numerische Übereinstimmung zu gewährleisten.

C. Agenten-gesteuerte Kontext-Augmentierung (Agentic Context Augmentation)

• Anstatt eine feste Anzahl von Kontextbeispielen zu nutzen, verwendet das System einen selbstüberwachten Agenten-Ansatz.
• Das am besten passende historische Segment (Top-1) dient als „Agent", dessen bekannte Zukunft als Ground Truth zur Kalibrierung dient.
• Der Agent führt eine gierige Suche durch, um die optimale Anzahl ($k^*$) an zusätzlichen Kontextfragmenten zu bestimmen, die den Vorhersagefehler minimieren, bevor Rauschen die Leistung verschlechtert. Dies geschieht dynamisch pro Anfrage.

3. Hauptbeiträge

1. Erster Ansatz für TSFM-RAG mit Kovariaten: Das Paper ist die erste Studie, die RAG speziell für kovariatenbasierte Zeitreihen in Foundation Models entwickelt.
2. Verlustfreie Speicherung: Einführung einer baumstrukturierten Wissensdatenbank, die physikalische Integrität und Rohdaten erhält.
3. Physik-bewusstes Retrieval: Entwicklung eines Zwei-Stufen-Mechanismus, der Kovariaten-Logik und zeitliche Gewichtung integriert, um physikalisch konsistente Referenzen zu finden.
4. Dynamische Kontextoptimierung: Ersetzung statischer Hyperparameter durch eine agentenbasierte, selbstkalibrierende Strategie zur Bestimmung der optimalen Kontextlänge.
5. Industrielle Implementierung: Vollständige Integration in Apache IoTDB bei China Southern Airlines (CSA).

4. Ergebnisse und Evaluation

Die Evaluation erfolgte auf dem realen CSA-PRSOV-Datensatz (Boeing 777 und Airbus A320) mit extrem kurzen Sequenzen (18 Punkte) und Datenknappheit.

• Vorhersagegenauigkeit: RAG4CTS übertrifft State-of-the-Art-Basen (einschließlich Deep-Learning-Modelle wie PatchTST, TimeMixer und Zero-Shot TSFMs wie Chronos-2) signifikant.
  • Beispiel MSE (Mean Squared Error) auf B777L: RAG4CTS erreicht 0,058, während Chronos-2 (Zero-Shot) bei 2,563 und TimeMixer bei 0,467 liegt.
• Kovariaten-Einfluss: Die Nutzung aller physikalischen Kovariaten ($N2, IP$) führt zu den besten Ergebnissen. Modelle ohne Kovariaten oder mit nur einem zeigen deutlich schlechtere Performance.
• Ablationsstudien:
  • Die Kombination aus Kosinus-Similarität und Matrix Profile ist der effektivste Retrieval-Metric.
  • Die bi-gewichtete Strategie ($W_{point} \odot W_{cov}$) ist überlegen gegenüber uniformer Gewichtung.
  • Die dynamische Bestimmung von $k$ (Kontextlänge) durch den Agenten führt zu besseren Ergebnissen als feste Werte.
• Industrieller Einsatz: Seit dem Einsatz im November 2025 bei China Southern Airlines konnte das System eine echte PRSOV-Fehlfunktion innerhalb von zwei Monaten identifizieren, ohne falsche Alarme (False Positives) auszulösen. Dies ermöglichte eine proaktive Wartung und verhinderte potenzielle Flugausfälle (AOG).

5. Bedeutung und Fazit

Das Paper demonstriert, dass Retrieval-Augmented Generation für Zeitreihen in industriellen Umgebungen erfolgreich sein kann, wenn man sich von statischen Embeddings und lernbaren Adaptern löst und stattdessen physikalische Prinzipien (Kovariaten-Kopplung, Regime-Struktur) direkt in die Datenarchitektur und den Retrieval-Mechanismus integriert.

Die Lösung adressiert das fundamentale Problem der Datenknappheit und der kurzen Transienten, indem sie das Vorhersageproblem von einem „kurzen Sequenz"-Problem in ein „langen Kontext"-Problem umwandelt, das durch physikalisch konsistente historische Referenzen gelöst wird. Die erfolgreiche Implementierung in Apache IoTDB unterstreicht die praktische Skalierbarkeit und Zuverlässigkeit des Ansatzes für kritische Infrastrukturen.