🤖 machine learning

When Do Corrective Features Help? An Agent for Corrective Feature Discovery on Black-Box Forecasters

Das Paper stellt CRAFTER vor, einen quellenunabhängigen Agenten, der eingefrorene Black-Box-Forecaster verbessert, indem er automatisch interpretierbare Korrekturmerkmale aus Rohdaten und von LLMs generierten Hypothesen entdeckt, um einen leichtgewichtigen Post-hoc-Korrektor anzusteuern, wodurch die Vorhersagefehler über verschiedene Datensätze und Backbones hinweg signifikant reduziert werden.

Ursprüngliche Autoren: Fangxin Wang, Ziyi Zhang, Diyi Zhuang, Langzhou He, Shiyu Wang, Baichuan Mo, Philip S. Yu

Veröffentlicht 2026-08-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Fangxin Wang, Ziyi Zhang, Diyi Zhuang, Langzhou He, Shiyu Wang, Baichuan Mo, Philip S. Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Kapitän eines massiven, hochtechnologischen Raumschiffs, das bereits darauf programmiert wurde, durch die Sterne zu navigieren. Dieses Schiff ist ein „vortrainierter Prognostiker“, ein superintelligenter KI-gesteuerter Vorhersager, der Millionen von Jahren an Wettermustern, Verkehrsflüssen und Verkaufstrends studiert hat, um vorherzusagen, was als Nächstes passiert. Das Problem ist: Der Kapitän des Schiffes ist in der Zeit eingefroren; Sie können weder seinen Code umschreiben noch sein Gehirn neu trainieren, da dies zu groß und zu teuer wäre. Dennoch macht das Schiff Fehler. Manchmal übersieht es einen plötzlichen Sturm, vergisst einen Feiertagsansturm oder ist durch einen neuen Typ von Verkehrsstau verwirrt. Dies sind keine zufälligen Glitches; es sind spezifische, sich wiederholende Fehler.

Um dies zu beheben, versuchen Wissenschaftler normalerweise, ein ganz neues Schiff zu bauen, aber das ist so, als würde man einen gesamten Motor neu konstruieren, nur um ein quietschendes Rad zu reparieren. Stattdessen stellt dieses Paper eine einfachere Frage: Können wir einen kleinen, klugen „Co-Piloten“ bauen, der neben dem eingefrorenen Kapitän sitzt, beobachtet, wo der Kapitän Fehler macht, und ihm den richtigen Rat zuflüstert? Dieses Feld wird Corrective Feature Discovery genannt. Betrachten Sie „Features“ als Hinweise oder Anhaltspunkte. Das Ziel ist nicht, dem Kapitän neue Dinge beizubringen, sondern die spezifischen Hinweise zu finden, die der Kapitän ignoriert, damit der Co-Pilot eingreifen und den Kurs korrigieren kann. Es geht darum, die Fehler des Schiffes in eine Karte für eine bessere Reise zu verwandeln.

Hier kommt CRAFTER (Corrective Residual Agent with Feature-based Temporal Exploration and Reasoning) ins Spiel, ein digitaler Detektiv, der genau dieses Rätsel lösen soll. Stellen Sie sich die Vorhersage des eingefrorenen Schiffes als eine Vermutung vor, und den Unterschied zwischen dieser Vermutung und der Realität als ein „Residuum“ – ein übrig gebliebenes Signal, das sagt: „Hey, hier fehlt etwas!“ CRAFTERs Aufgabe ist es, dieses überbleibende Signal zu nutzen, um die fehlenden Hinweise zu finden. Es verwendet zwei sehr unterschiedliche Detektive für diese Arbeit. Der erste ist eine Kompositionale Suche, ein unermüdlicher Roboter, der Millionen von winzigen, mathematischen Kombinationen bestehender Daten versucht (wie das Mischen von „Temperatur“ und „Tageszeit“ auf jede erdenkliche Weise), um zu sehen, ob irgendwelche davon den Fehler erklären können. Der zweite ist ein Large Language Model (LLM), ein kreatives Genie, das nicht nur Zahlen mischt, sondern auch Namen für neue Konzepte erfindet. Es könnte sich die Daten ansehen und sagen: „Ich wette, der Fehler tritt aufgrund der ‚Durchdringung erneuerbarer Energien‘ auf – ein Konzept, für das der Roboter keinen Namen hätte.“

Was CRAFTER wirklich besonders macht, ist sein „Source-Blind Gate“. Stellen Sie sich einen strengen Richter vor, dem es egal ist, wer den Hinweis auf den Tisch gebracht hat. Ob der Hinweis nun vom Roboter aus der Mathematik oder von der Vorstellungskraft des Genies kam, der Richter stellt nur eine Frage: „Behebt dieser Hinweis tatsächlich den Fehler auf unserer Teststrecke?“ Wenn die Antwort „Ja“ lautet, wird der Hinweis akzeptiert; wenn nicht, wird er verworfen. Dies stellt sicher, dass das System nur die besten Ideen behält, unabhängig davon, woher sie kamen. Das Paper zeigt, dass dieser Ansatz unglaublich gut funktioniert. Über sechs verschiedene reale Datensätze hinweg (wie Strompreise und Lebensmittelverkäufe) und sechs verschiedene eingefrorene KI-Schiffe hinweg gelang es CRAFTER, die Fehler der schwächsten Schiffe um bis zu 27 % zu senken. Es hat die Verbesserung, die man durch einen einfachen Korrektor erzielt, etwa verdoppelt, und das, ohne jemals den ursprünglichen Code des eingefrorenen Schiffes anzupassen.

Die Autoren entdeckten auch eine entscheidende Regel darüber, wann dieser Zauber funktioniert: Es hängt davon ab, wie viel „Raum“ für Verbesserungen besteht. Wenn das eingefrorene Schiff bereits perfekt ist (gesättigt), wird kein noch so neuer Hinweis helfen. Aber wenn das Schiff mit großen, strukturierten Fehlern kämpft, glänzt CRAFTER. Interessanterweise zeigt das Paper, dass der kreative LLM-Detektiv der wahre Star ist. Während die mathematische Suche des Roboters gut darin ist, die Grundlagen zu prüfen, ist es die Fähigkeit des LLMs, komplexe, reale Konzepte (wie „Promotion-Interaktionen“ oder „erneuerbare Energien“) zu benennen, die die größten Lücken schließt. Das Paper stellt zudem fest, dass dieses System robust ist; es funktioniert sogar, wenn man das LLM durch ein anderes austauscht, und es funktioniert sogar, wenn man zuerst versucht, das eingefrorene Schiff feinabzustimmen (obwohl das Schiff immer noch Fehler macht, die CRAFter beheben kann).

Kurz gesagt: Das Paper beweist, dass man nicht den Motor neu bauen muss, um das Auto zu reparieren; man braucht nur einen klugen Co-Piloten, der genau weiß, welche Hinweise dem Fahrer fehlen. Durch das Ausgraben der „übrig gebliebenen“ Fehler und die Nutzung einer Mischung aus mathematischer Strenge und kreativer Benennung bietet CRAFTER eine kostengünstige, effektive Methode, um eingefrorene KI-Modelle intelligenter, genauer und bereit für die reale Welt zu machen.

Technisches Resümee: CRAFTER – Korrektiver Residual-Agent mit Merkmalsbasierter Temporaler Exploration und Reasoning

Problemstellung

Groß angelegte Prognosen werden zunehmend durch vortrainierte Foundation-Modelle bedient, die in einem „eingefrorenen“ Zustand (Zero-Shot) eingesetzt werden, um tausende von Zeitreihen ohne pro Serie erforderliches Fine-Tuning zu handhaben. Während dies effizient ist, scheitern diese eingefrorenen Backbones auf strukturierten, wiederkehrenden Arten – etwa durch das Übersehen von Werbeaktionen, verzögerten Regimewechseln oder der Unterschätzung von Ereignisspitzen. Diese Fehler sind geschäftskritisch und erfordern Interpretierbarkeit, um darauf reagieren zu können.

Die zentrale Herausforderung ist die korrektive Merkmalsentdeckung (Corrective Feature Discovery): das Identifizieren interpretierbarer Merkmale des Residuals (des Fehlersignals) eines spezifischen, eingefrorenen Prognosemodells, um einen leichtgewichtigen Post-hoc-Korrektor voranzutreiben. Im Gegensatz zum traditionellen automatisierten Feature-Engineering, welches den datengenerierenden Prozess modelliert, um einen neuen Prädiktor zu trainieren, modelliert diese Aufgabe den Modell-Fehler-Prozess. Das Ziel besteht nicht darin, allgemeine Regelmäßigkeiten zu finden, sondern Merkmale zu entdecken, die die spezifischen Schwachstellen eines eingesetzten Modells erklären. Diese Entdeckung ist schwierig, weil:

Semantische Notwendigkeit: Die wertvollsten korrektiven Merkmale erfordern oft domänenspezifische Benennungen (z. B. „Erneuerbare-Energien-Durchdringung“) anstatt einer einfachen statistischen Enumeration roher Kanäle.
Regime-Abhängigkeit: Der Wert eines Merkmals hängt stark von der spezifischen Kombination aus Backbone und Datensatz ab; ein Merkmal, das einem Modell hilft, kann für ein anderes inert oder gar schädlich sein.

Methodik: CRAFTER

Die Autoren schlagen CRAFTER (Corrective Residual Agent with Feature-based Temporal Exploration and Reasoning) vor, ein Framework, das den Backbone eingefroren lässt und dessen Residual mittels zweier distinkter Generatoren ausschöpft, die durch ein quellenblinder Akzeptanz-Gate vereinigt werden.

1. Architekturübersicht

CRAFTER operiert in $R$ Runden. In jeder Runde passt es einen leichtgewichtigen Korrektor an, diagnostiziert verbleibende Fehler auf einem gehaltenen Validierungsblock, erschließt neue Kandidatenmerkmale und filtert diese durch ein Gate. Das Endergebnis ist ein validierungsselektierter Korrektor (Identität, additiv oder multiplikativ) oder die ursprüngliche Prognose, falls keine Verbesserung gefunden wird.

2. Duale Generatoren

CRAFTER verwendet zwei heterogene Generatoren, um Merkmals-Spezifikationen vorzuschlagen:

Exploration (Kompositionale Suche): Eine Monte-Carlo-Baumsuche (MCTS), die Rohkanäle unter Verwendung eines festen Vokabulars an Transformationen (z. B. log, safe_div) und Operatoren (z. B. +, *) kombiniert. Sie behandelt Kanäle als „Mechanismus-Familien“ (z. B. Volatilität, Trend), um die Suche effizient zu leiten.
Reasoning (LLM-Proposer): Ein Large Language Model, das Merkmale basierend auf den eigenen Belegen des Durchlaufs (akzeptierte/abgelehnte Merkmale, entdeckte Mechanismus-Familien) vorschlägt. Es generiert drei Arten von Kandidaten:
- LLM-combo: Benannte Kombinationen bestehender Kanäle.
- LLM-flag: Binäre Flags basierend auf Schwellenwerten.
- LLM-code: Kurzer ausführbarer Code für komplexe Logik.
- Base Proposer: Kann neue benannte Basis-Spalten erfinden, die den Kanal-Pool für nachfolgende Suchrunden erweitern.

3. Quellenblinder Akzeptanz-Gate

Ein einziger, auf der Validierung basierender Gate bewertet alle Kandidaten unabhängig von ihrem Ursprung (Suche vs. LLM). Ein Kandidat wird nur akzeptiert, wenn:

Er einen Teil des Validierungs-Residuals erklärt, den der aktuelle Korrektor nicht berücksichtigen kann (Spearman-Korrelation $\rho$ übersteigt einen Schwellenwert $\tau$ ).
Er nicht kollinear mit bereits akzeptierten Merkmalen ist.
Er die Budgets pro Familie und pro Runde einhält.

Dieses Design stellt sicher, dass die Pipeline agnostisch gegenüber der Merkmalsquelle ist, was einen fairen Vergleich zwischen Generatoren und externen Systemen ermöglicht.

4. Validierungs-selektierter Korrektor

Die überlebenden Merkmale speisen eine kleine Menge von Korrektoren: eine Identitätsabbildung (NONE), einen additiven Gradient Boosted Decision Tree (GBDT) und einen multiplikativen GBDT. Das System wählt die Konfiguration mit dem besten wMAPE der Validierung aus. Die Option „NONE“ dient als Sicherheitsmaßnahme, um sicherzustellen, dass die Korrektur die Leistung auf dem Validierungsset niemals verschlechtert.

5. Kopplung (CRAFTER†)

Das Framework unterstützt einen gekoppelten Modus (CRAFTER†), bei dem das LLM und die Suche ineinander zurückkoppeln. Akzeptierte, vom LLM generierte Basis-Spalten werden in der nächsten Runde durchsuchbar, und die nächsten Vorschläge des LLM werden durch die Historie der akzeptierten/abgelehnten Suche konditioniert.

Zentrale Beiträge

Quellenblinder Framework (C1): Die Arbeit formuliert die Merkmalsentdeckung für eingefrorene Forecaster als Residual-Korrektur. Durch die Verwendung eines einzigen Validierungs-Gates für heterogene Quellen dient CRAFTER sowohl als einsetzbares Korrektur-Layer als auch als Instrument zur Evaluierung. Es erlaubt jedem externen Feature-Engineering-System, durch die identische Pipeline zu laufen, wodurch die Veränderung der Prognose allein dem Merkmal-Generator zugeschrieben wird.
Charakterisierung des Nutzens (C2): Die Autoren kartieren die Bedingungen, unter denen korrektive Merkmale helfen. Sie stellen fest, dass die Gewinne proportional zum „Residual-Headroom“ (ausnutzbare Struktur im Fehler) sind. Korrekturen sind am effektivsten bei schwachen Backbones mit informativen Kovariaten (wo LLM-benannte Merkmale entscheidend sind) und werden neutral, wenn ein starker Backbone die Serie bereits gesättigt hat.

Experimentelle Ergebnisse

Die Autoren evaluierten CRAFTER auf sechs öffentlichen Datensätzen (EPF, ROSSMANN, ROHLIK, BIZITOBS, FAVORITA, M5) und sechs Familien eingefrorener Backbones (Timer, Chronos, Moirai, Toto, Chronos-2, Moirai-2.0).

Performance: CRAFTER übertraf konsistent drei dedizierte Feature-Engineering-Baselines (TSFRESH, CAAFE, LLM-FE) über alle Feature-Budgets hinweg. Es steigerte den Lift gegenüber reinen Korrektur-Methoden etwa um das Doppelte und reduzierte den Fehler der schwächsten Backbones um bis zu 27 %.
Robustheit:
- Feature-Budget: CRAFTER war auch bei niedrigen Feature-Budgets ( $K=5$ ) besser als die Baselines, was beweist, dass die Gewinne aus der Qualität der Merkmale und nicht aus deren Quantität resultieren.
- Fine-Tuning: CRAFTER lieferte auch bei Anwendung auf top-auf Fine-Tuning-Backbones zusätzlichen Lift, was zeigt, dass es kein Ersatz für Adaptation, sondern eine komplementäre Schicht ist.
- LLM-Backend: Die Ergebnisse blieben über verschiedene LLM-Backends (GPT-5.2 und DeepSeek-3.4-pro) stabil, obwohl die spezifischen Merkmals-Sets variierten.
Merkmals-Provenienz: Die Analyse zeigte, dass LLM-generierte semantische Merkmale (Kombinationen und Flags) den Großteil der selektierten Merkmale ausmachten, während die atomare Suche als Kontrolle für den enumerierbaren Raum diente.
Temporaler Transfer: Auf einem Zeit-Split entdeckte Merkmale transferierten effektiv auf nachfolgende Splits, was auf die Entdeckung persistenter Residual-Strukturen statt auf fensterspezifischem Rauschen hindeutet.

Bedeutung und Ansprüche

Das Paper behauptet, dass CRAFTER ein neues Paradigma für den Einsatz von Frozen Forecastern etabliert. Anstatt teure Foundation-Modelle neu zu trainieren oder zu finetunen, können Praktiker eine leichtgewichtige, interpretierbare Korrekturschicht einsetzen, die die spezifischen Fehlermodi des eingefrorenen Modells ausschöpft.

Die Autoren betonen, dass der Wert korrektiver Merkmale nicht universell, sondern kontextabhängig ist. Die Methode beansprucht nicht, alle Prognosefehler zu beheben; vielmehr bietet sie eine systematische Möglichkeit zu identifizieren, wann ein Frozen Model über „Headroom“ für Verbesserungen verfügt. Die Signifikanz liegt in:

Kosteneffizienz: Ein Modell zu korrigieren ist günstiger als es neu zu trainieren.
Interpretierbarkeit: Die entdeckten Merkmale (z. B. „renewable_penetration“) benennen explizit die Mechanismen, die der Backbone übersehen hat, was die geschäftliche Entscheidungsfindung unterstützt.
Faire Evaluierung: Die quellblinde Pipeline ermöglicht eine rigorose Attribution der Leistungssteigerungen an spezifische Feature-Engineering-Strategien, indem sie den Wert des Generators vom Wert des Korrektors trennt.

Das Paper schließt damit, dass, während Feature-Budgets die Gewinne in gesättigten Regimen verstärken, sie dort keine Struktur künstlich erzeugen können, wo das Residual bereits Rauschen ist. Die optimale Strategie ist der Einsatz der korrektiven Merkmalsentdeckung, wenn die Validierungs-Residualien weiterhin strukturiert sind, insbesondere in Regime mit schwachen Backbones oder semantischen Kovariaten.