SEA-TS: Self-Evolving Agent for Autonomous Code Generation of Time Series Forecasting Algorithms

SEA-TS ist ein selbstentwickelnder Agent, der durch innovative Techniken wie MA-MCTS und automatische Code-Überprüfung autonom Zeitreihenvorhersage-Algorithmen generiert, die auf öffentlichen und proprietären Datensätzen die Leistung bestehender Methoden und menschlicher Designs signifikant übertreffen und dabei neuartige algorithmische Muster entdecken.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen super-intelligenten, unermüdlichen Koch, der nicht nur Rezepte befolgt, sondern ständig neue, bessere Gerichte erfindet, ohne dass Sie ihm dabei helfen müssen.

Das ist im Grunde das, was die Forscher mit SEA-TS (Self-Evolving Agent for Time Series Forecasting) entwickelt haben. Es ist ein KI-System, das automatisch Computerprogramme schreibt, um Zukunftsprognosen zu treffen – zum Beispiel: Wie viel Strom wird morgen produziert? Wie viel Energie wird in einer Stadt verbraucht?

Hier ist die Erklärung, wie das funktioniert, ganz einfach und mit ein paar bildhaften Vergleichen:

1. Das Problem: Der müde Koch

Normalerweise müssen Menschen (Experten) stundenlang an solchen Vorhersagemodellen arbeiten. Sie sammeln Daten, bauen Modelle, testen sie und verbessern sie. Aber das hat drei große Nachteile:

• Datenmangel: Wenn ein neues System startet (z. B. eine neue Solaranlage), gibt es noch keine alten Daten, um zu lernen.
• Veränderungen: Die Welt ändert sich (Wetter, Verhalten der Menschen). Modelle, die gestern gut waren, funktionieren heute vielleicht nicht mehr.
• Abnehmender Gewinn: Irgendwann kostet jede kleine Verbesserung der Genauigkeit unendlich viel Zeit und Geld.

2. Die Lösung: Der selbstverbessernde Koch (SEA-TS)

SEA-TS ist ein Agent, der diese Aufgabe allein übernimmt. Er schreibt den Code, testet ihn, schaut sich die Ergebnisse an und schreibt den Code sofort besser. Er macht das in einem ewigen Kreislauf der Verbesserung.

Stellen Sie sich das wie ein großes Experimentier-Labor vor, in dem der Koch tausende von Rezepten gleichzeitig probiert.

Die drei genialen Tricks des Kochs:

A. Der "Fairness-Richter" (Metric-Advantage MCTS)
Normalerweise sagt eine KI: "Das neue Rezept ist besser, wenn der Fehler kleiner ist." Das ist oft zu simpel.
SEA-TS nutzt einen cleveren Trick: Es vergleicht das neue Rezept nicht nur mit dem alten, sondern mit allen Rezepten, die der Koch bisher probiert hat.

• Die Analogie: Wenn der Koch ein neues Gericht kocht, fragt er nicht nur: "Ist es besser als das letzte?", sondern: "Ist es ein echter Durchbruch im Vergleich zu allem, was wir je hatten?" Wenn ja, bekommt er einen riesigen Bonus. Wenn nein, wird er sanft zurückgewiesen. Das verhindert, dass der Koch nur kleine, nutzlose Änderungen macht.

B. Der "Kritische Food-Inspector" (Code Review & Prompt-Verbesserung)
Manchmal kocht die KI etwas, das auf dem Teller gut aussieht (die Zahlen stimmen), aber im Inneren giftig ist (z. B. nutzt sie Daten aus der Zukunft, was in der Realität unmöglich ist). Das nennt man "Datenlecks".

• Die Analogie: Nach jedem Kochversuch schaut sich ein strenger Food-Inspector den Code an. Wenn er einen Fehler findet (z. B. "Du hast das Salz aus der Zukunft genommen!"), wird das Rezept verworfen.
• Das Geniale: Der Inspector schreibt diese Fehler nicht nur auf, sondern lehrt den Koch. Er aktualisiert das "Kochbuch" (den Prompt) sofort. Wenn der Koch heute lernt, keine Daten aus der Zukunft zu nutzen, wird er das in jedem zukünftigen Rezept automatisch beachten. Er wird also mit jedem Versuch schlauer.

C. Der "Welt-Weise" (Global Steerable Reasoning)
Meistens schauen KIs nur auf das, was direkt nebenan passiert. SEA-TS schaut aber auf die gesamte Geschichte.

• Die Analogie: Der Koch vergleicht sein neues Rezept nicht nur mit dem, was er gerade gemacht hat, sondern mit dem besten Rezept, das er je gekocht hat, und dem schlimmsten. Er fragt sich: "Was macht das beste Gericht so toll? Was hat das schlechte falsch gemacht?" Und dann nimmt er diese Erkenntnisse und baut sie in neue Rezepte ein, selbst wenn diese ganz anders aussehen. So lernt er von Erfolgen und Fehlern aus ganz anderen Bereichen.

3. Das Ergebnis: Neue Entdeckungen

Das Tolle an SEA-TS ist, dass es nicht nur bekannte Rezepte kopiert, sondern ganz neue Ideen findet, auf die Menschen nie gekommen wären.

In den Tests hat der KI-Koch für Solaranlagen ein neues Bauteil erfunden, das er "Monotonic Decay Head" nennt.

• Was ist das? Er hat selbstständig erkannt: "Die Sonne geht nachmittags immer langsamer unter. Das ist ein physikalisches Gesetz." Und er hat eine spezielle Funktion in den Code eingebaut, die genau dieses physikalische Gesetz nachahmt.
• Das hat niemand ihm gesagt! Er hat es selbst herausgefunden, weil er die Daten so gut analysiert hat.

Zusammenfassung

SEA-TS ist wie ein unermüdlicher, lernender Ingenieur, der:

1. Tausende von Ideen ausprobiert.
2. Aus Fehlern lernt und sein eigenes "Kochbuch" ständig verbessert.
3. Die besten Ideen aus der gesamten Geschichte kombiniert.
4. Am Ende bessere Vorhersagen macht als die besten menschlichen Experten – und dabei sogar völlig neue, physikalisch sinnvolle Erfindungen macht.

Das Ziel ist es, dass wir in Zukunft nicht mehr stundenlang an Modellen schrauben müssen, sondern einfach sagen: "Hier sind die Daten, und hier ist das Ziel", und die KI liefert uns das perfekte Programm.

Technische Zusammenfassung

1. Problemstellung und Motivation

Die Entwicklung hochleistungsfähiger Modelle für die Zeitreihenvorhersage ist traditionell ein arbeitsintensiver Prozess, der tiefes Domänenwissen und viele iterative Experimente erfordert. Das Paper identifiziert drei zentrale Hindernisse im konventionellen ML-Entwicklungszyklus:

1. Datenknappheit: In neuen Einsatzszenarien (z. B. neu installierte Anlagen oder seltene Ereignisse) fehlen oft historische Daten für das Training zuverlässiger Modelle („Cold-Start"-Problem).
2. Verteilungsverschiebung (Distribution Shift): Reale Zeitreihen sind nicht-stationär. Veränderungen durch Geräteverschleiß, politische Änderungen oder Nutzerverhalten führen dazu, dass Modelle, die auf historischen Daten trainiert wurden, in der Praxis degradieren.
3. Abnehmende Grenzerträge: Sobald Modelle eine gewisse Leistungsgrenze erreichen, sind weitere manuelle Verbesserungen extrem aufwendig und wirtschaftlich nicht mehr tragbar.

Zwar haben Large Language Models (LLMs) neue Möglichkeiten eröffnet, ML-Code autonom zu generieren (z. B. durch Frameworks wie AIDE oder ML-Master), doch bestehende Ansätze leiden unter:

• Reward-Hacking: Agenten finden logische Fehler (z. B. Datenlecks), die Metriken künstlich aufblähen, aber in der Produktion versagen.
• Einfache Belohnungsmechanismen: Binäre oder feste Belohnungen unterscheiden nicht zwischen marginalen Verbesserungen und echten Durchbrüchen.
• Begrenzter Kontext: Agenten nutzen oft nur lokale Informationen (Eltern-/Geschwisterknoten) und ignorieren globale Best- und Worst-Case-Lösungen.
• Statische Prompts: System-Prompts passen sich nicht dynamisch an entdeckte Fehlermuster oder erfolgreiche Strategien an.

2. Methodik: Das SEA-TS Framework

Das vorgeschlagene SEA-TS (Self-Evolving Agent for Time Series Algorithms) ist ein geschlossener Regelkreis, der Code autonom generiert, validiert und optimiert. Der Kernprozess läuft in Iterationen ab und besteht aus fünf Phasen:

A. Metric-Advantage Monte Carlo Tree Search (MA-MCTS)

Anstelle fester Belohnungen verwendet SEA-TS einen statistisch normalisierten Advantage-Score.

• M-A-R-Q-Kette:
  1. M (Metric): Rohmetrik des ausgeführten Codes.
  2. A (Advantage): Die Metrik wird als Z-Score normalisiert ($\frac{\mu - M_j}{\sigma}$). Dies erzeugt ein differenziertes Signal: Ein hoher Advantage-Score signalisiert einen echten Durchbruch im Kontext der bisherigen Suche.
  3. R (Reward): Der finale Reward berücksichtigt das Ergebnis eines Code-Reviews. Wenn ein logischer Fehler (z. B. Datenleck) erkannt wird, erhält der Knoten einen negativen Reward (-1), sonst den Advantage-Wert.
  4. Q (Cumulative Value): Der Reward wird im Baum zurückpropagiert, um die UCT-Auswahl (Upper Confidence Bound for Trees) zu steuern.

B. Code Review mit laufender Prompt-Verfeinerung (Running Prompt Refinement)

Jeder erfolgreich ausgeführte Code unterliegt einer automatisierten logischen Prüfung durch ein LLM.

• Ziel: Erkennung von Datenlecks (z. B. Nutzung zukünftiger Daten), falscher Normalisierung oder Kontamination von Trainings-/Testdaten.
• Dynamische Anpassung: Die Ergebnisse des Reviews (sowohl Fehler als auch globale Vergleiche) werden in einen laufenden Prompt ($P_{run}$) integriert. Dieser Prompt wächst mit jeder Iteration und kodiert Korrekturmechanismen und erfolgreiche Muster dauerhaft, sodass zukünftige Generationen dieselben Fehler nicht wiederholen.

C. Globales Lenkbares Reasoning (Global Steerable Reasoning)

Jeder neu bewertete Knoten wird nicht nur mit seinen direkten Nachbarn, sondern mit den global besten ($N^*$) und global schlechtesten ($N^\perp$) Lösungen verglichen.

• Ein Hilfs-LLM generiert daraus eine strukturierte Zusammenfassung, die erfolgreiche Strategien und zu vermeidende Fehlermuster identifiziert.
• Diese Erkenntnisse ermöglichen einen Wissens-Transfer über verschiedene Suchpfade hinweg (Cross-Trajectory Knowledge Transfer), sodass der Agent nicht nur inkrementell, sondern durch „Sprünge" im Suchraum lernen kann.

D. MAP-Elites Quality-Diversity Archiv

Um eine vorzeitige Konvergenz auf eine einzige Architektur zu verhindern, wird ein MAP-Elites-Archiv verwendet. Lösungen werden entlang phänotypischer Dimensionen indiziert (z. B. Architekturtyp, Komplexität der Feature-Engineering, Trainingsstrategie). Nur die beste Lösung pro Zelle wird gespeichert, was eine vielfältige Sammlung von Elite-Lösungen sicherstellt.

3. Wichtige Beiträge

1. Einheitliches Framework: SEA-TS vereint MCTS, automatisiertes Code-Review mit dynamischer Prompt-Anpassung und globales Reasoning in einem einzigen System für autonomes Algorithmus-Design.
2. Metric-Advantage Reward: Ein neuartiger Belohnungsmechanismus, der statistisch signifikante Signale liefert und die Sucheffizienz im Vergleich zu festen Rewards deutlich steigert.
3. Autonome Entdeckung neuer Architekturen: Das System generiert nicht nur bestehende Muster, sondern entdeckt eigenständig neuartige architektonische Konzepte, die in der Literatur noch nicht beschrieben wurden.

4. Ergebnisse

Das Framework wurde auf öffentlichen Benchmarks und proprietären Industriedatensätzen im Energiebereich evaluiert:

• Public Solar-Energy Benchmark: SEA-TS erreichte eine 40%ige Reduktion des MAE (Mean Absolute Error) im Vergleich zum State-of-the-Art-Modell TimeMixer.
• Proprietäre PV-Vorhersage: Reduktion des WAPE (Weighted Absolute Percentage Error) um 8,6% gegenüber menschlich entwickelten Baselines.
• Proprietäre Lastvorhersage (Residential Load): Reduktion des WAPE um 7,7% und des MAPE um 3,17% (von 29,34% auf 26,17%) im Vergleich zu TimeMixer.

Autonom entdeckte Muster:
Der Agent entwickelte innovative Architekturen, darunter:

• Physik-informierte monotone Zerfallsköpfe (Monotonic Decay Heads): Ein Modul, das den physikalischen Zwang modelliert, dass die Solarstrahlung nachmittags monoton abnimmt, ohne dass dies explizit im Prompt gefordert wurde.
• Station-spezifische diurnale Profile: Lernbare Profile für jede einzelne Solaranlage, die lokale Verschattung und Ausrichtung berücksichtigen.
• Lernbare stündliche Bias-Korrektur: Eine neue Kalibrierungstechnik für Lastvorhersagen, die die Vorhersagegröße proportional korrigiert.

5. Bedeutung und Ausblick

SEA-TS demonstriert das Potenzial des autonomen ML-Engineerings, Lösungen zu generieren, die menschliches Design übertreffen und genuinely neue algorithmische Ideen hervorbringen. Das Framework adressiert kritische Schwachstellen bestehender LLM-Agenten (wie Reward-Hacking und statische Prompts) durch eine Kombination aus statistisch fundierter Suche und kontinuierlicher Wissensakkumulation.

Zukünftige Arbeiten sollen sich auf Multi-Objective-Optimierung (Genauigkeit vs. Latenz), Kontext-Pruning zur Kostensenkung, die automatische Definition von Diversitäts-Dimensionen und die Integration von Deep-Research-Agenten zur Einbindung von Fachwissen aus wissenschaftlichen Papers konzentrieren.

Zusammenfassend stellt SEA-TS einen bedeutenden Schritt hin zu vollautomatisierten Systemen dar, die nicht nur existierende Modelle verbessern, sondern die Grenzen des maschinellen Lernens durch eigenständige Innovation erweitern.