🤖 machine learning

When Do Corrective Features Help? An Agent for Corrective Feature Discovery on Black-Box Forecasters

Het artikel introduceert CRAFTER, een bron-agnostische agent die bevroren black-box voorspellers verbetert door automatisch interpreteerbare corrigerende kenmerken te ontdekken uit ruwe inputs en door LLM-gegenereerde hypothesen om een lichtgewicht post-hoc corrector aan te sturen, wat de voorspellingsfouten over diverse datasets en backbones aanzienlijk vermindert.

Oorspronkelijke auteurs: Fangxin Wang, Ziyi Zhang, Diyi Zhuang, Langzhou He, Shiyu Wang, Baichuan Mo, Philip S. Yu

Gepubliceerd 2026-08-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fangxin Wang, Ziyi Zhang, Diyi Zhuang, Langzhou He, Shiyu Wang, Baichuan Mo, Philip S. Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de kapitein bent van een enorm, hoogtechnologisch ruimteschip dat al geprogrammeerd is om door de sterren te navigeren. Dit schip is een "pre-trained voorspeller", een superintelligent AI die miljoens jaren aan weerpatronen, verkeersstromen en verkooptrends heeft bestudeerd om te voorspellen wat er hierna gebeurt. Het probleem is dat de kapitein van het schip bevroren is in de tijd; je kunt de code niet herschrijven of het brein niet opnieuw trainen omdat het te groot en te duur is om te veranderen. Toch maakt het schip fouten. Soms mist het een plotselinge storm, vergeet het een feestdagendrukte, of raakt het in de war door een nieuw type verkeersopstopping. Dit zijn geen willekeurige glitches; het zijn specifieke, herhalende fouten.

Om dit op te lossen, proberen wetenschappers meestal een heel nieuw schip te bouwen, maar dat is alsof je een hele motor probeert te herbouwen om alleen een piepend wiel te repareren. In plaats daarvan stelt dit artikel een simpelere vraag: Kunnen we een kleine, slimme "co-piloot" bouwen die naast de bevroren kapitein zit, ziet waar de kapitein het fout heeft, en het juiste advies fluistert? Dit vakgebied wordt corrective feature discovery genoemd. Denk aan "features" als aanwijzingen of hints. Het doel is niet om de kapitein nieuwe dingen te leren, maar om de specifieke aanwijzingen te vinden die de kapitein negeert, zodat de co-piloot kan ingrijpen om de koers te corrigeren. Het gaat erom de fouten van het schip om te zetten in een kaart voor een betere reis.

Maak kennis met CRAFTER (Corrective Residual Agent with Feature-based Temporal Exploration and Reasoning), een digitale detective die ontworpen is om precies dit puzzelstukje op te lossen. Stel je de voorspelling van het bevroren schip voor als een gok, en het verschil tussen die gok en de werkelijkheid als een "residual" — een overgebleven signaal dat zegt: "Hé, er mist hier iets!" De taak van CRAFTER is om dit overgebleven signaal te ontleden om de ontbrekende aanwijzingen te vinden. Het gebruikt hiervoor twee zeer verschillende detectives. De eerste is een Compositional Search, een onvermoeibare robot die miljoenen kleine, wiskundige combinaties van bestaande data probeert (zoals "temperatuur" en "tijdstip van de dag" op elke mogelijke manier te mengen) om te zien of een van deze combinaties de fout verklaart. De tweede is een Large Language Model (LLM), een creatief genie dat niet alleen getallen mengt, maar ook namen verzint voor nieuwe concepten. Het kan naar de data kijken en zeggen: "Ik wed dat de fout optreedt vanwege 'penetratie van hernieuwbare energie' — een concept waar de robot niet de naam voor zou bedenken."

Wat CRAFTER echt bijzonder maakt, is zijn "Source-Blind Gate". Stel je een strenge rechter voor die er niet toe doet wie de aanwijzing aan tafel heeft gelegd. Of de aanwijzing nu kwam van de wiskunde van de robot of de verbeelding van het genie, de rechter stelt slechts één vraag: "Lost deze aanwijzing de fout op ons testcircuit daadwerkelijk op?" Als het antwoord ja is, wordt de aanwijzing geaccepteerd; zo niet, dan wordt deze weggegooid. Dit zorgt ervoor dat het systeem alleen de beste ideeën behoudt, ongeacht waar ze vandaan kwamen. Het onderzoek toont aan dat deze aanpak ongelooflijk goed werkt. Over zes verschillende real-world datasets (zo zoals elektriciteitsprijzen en supermarktverkopen) en zes verschillende bevroren AI-schepen heen, slaagde CRAFTER erin de fouten van de zwakste schepen met wel 27% te verminderen. Het verdubbelde ongeveer de verbetering die je krijgt door simpelweg een eenvoudige corrector te gebruiken, en dat deed het zonder ooit de originele code van het bevroren schip aan te raken.

De auteurs ontdekten ook een cruciale regel over wanneer deze magie werkt: het hangt af van hoeveel "ruimte" er is voor verbetering. Als het bevroren schip al perfect is (verzadigd), zal geen enkele nieuwe aanwijzing helpen. Maar als het schip worstelt met grote, gestructureerde fouten, blinkt CRAFTER uit. Interessant genoeg laat het paper zien dat de creatieve LLM-detective de echte ster is. Hoewel de wiskundige zoektocht van de robot goed is in het controleren van de basis, is het het vermogen van de LLM om complexe, real-world concepten te benoemen (zoals "promotie-interacties" of "hernieuwbare energie") dat de grootste hiaten dicht. Het paper merkt ook op dat dit systeem robuust is; het werkt zelfs als je de LLM vervangt door een andere, en het werkt zelfs als je eerst probeert het bevroren schip te finetunen (hoewel het schip nog steeds fouten maakt die CRAFTER kan oplossen).

Kortom, het paper bewijst dat je niet de motor hoeft te herbouwen om de auto te repareren; je hebt alleen een slimme co-piloot nodig die precies weet welke aanwijzingen de bestuurder mist. Door de "overgebleven" fouten te analyseren en een mix van wiskundige strengheid en creatieve benaming te gebruiken, biedt CRAFTER een goedkope, effectieve manier om bevroren AI-modellen slimmer, nauwkeuriger en klaar voor de echte wereld te maken.

Technische Samenvatting: CRAFTER – Corrective Residual Agent with Feature-based Temporal Exploration and Reasoning

Probleemstelling

Grootschalige forecasting wordt steeds vaker bediend door vooraf getrainde foundation models die in een "bevroren" staat (zero-shot) worden ingezet om duizenden tijdreeksen te verwerken zonder per reeks te finetunen. Hoewel efficiënt, falen deze bevroren backbones op gestructureerde, terugkerende manieren—zoals het missen van promoties, vertraagde regimeverschuivingen of het onderschatten van pieken door gebeurtenissen. Deze fouten zijn bedrijfskritisch en vereisen interpreteerbaarheid om actie op te kunnen ondernemen.

De kernuitdaging is correctieve feature discovery: het identificeren van interpreteerbare features van het residue (het foutsignaal) van een specifieke bevroren forecaster om een lichtgewicht post-hoc corrector aan te sturen. In tegenstelling tot traditionele automatische feature engineering, die het datagenererende proces modelleert om een nieuwe voorspeller te trainen, modelleert deze taak het model-falfalen-proces. Het doel is niet om algemene regelmatigheden te vinden, maar om features te ontdekken die de specifieke blinde vlekken van een ingezet model verklaren. Deze ontdekking is moeilijk omdat:

Semantische Noodzaak: De meest waardevolle correctieve features vereisen vaak domeinspecifieke benamingen (bijv. "hernieuwbare penetratie") in plaats van eenvoudige statistische enumeratie van ruwe kanalen.
Regime-afhankelijkheid: De waarde van een feature is sterk afhankelijk van de specifieke combinatie van backbone en dataset; een feature die één model helpt, kan voor een ander model inert of zelfs schadelijk zijn.

Methodologie: CRAFTER

De auteurs stellen CRAFTER voor (Corrective Residual Agent with Feature-based Temporal Exploration and Reasoning), een framework dat de backbone bevroren houdt en het residue ervan mijnt met twee verschillende generatoren, verenigd door een bron-onafhankelijke acceptatiepoort.

1. Architectuuroverzicht

CRAFTER opereert in $R$ rondes. In elke ronde past het een lichtgewicht corrector aan, diagnosticeert resterende fouten op een uitgesloten validatieblok, mijnt nieuwe kandidaat-features en filtert deze door een poort. De uiteindelijke output is een validatie-geselecteerde corrector (identiteit, additief of multiplicatief) of de oorspronkelijke voorspelling als er geen verbetering wordt gevonden.

2. Duale Generatoren

CRAFTER gebruikt twee heterogene generatoren om feature-specificaties voor te stellen:

Exploratie (Compositionele Zoektocht): Een Monte-Carlo Tree Search (MCTS) die ruwe inputkanalen samenstelt met behulp van een vaste vocabulaire van transformaties (bijv. log, safe_div) en operatoren (bijv. +, *). Het behandelt kanalen als "mechanisme-families" (bijv. volatiliteit, trend) om de zoektocht efficiënt te sturen.
Redenering (LLM Proposer): Een Large Language Model dat features voorstelt op basis van de eigen bewijsvoering van de run (geaccepteerde/afgewezen features, ontdekte mechanisme-families). Het genereert drie soorten kandidaten:
- LLM-combo: Benoemde combinaties van bestaande kanalen.
- LLM-flag: Binaire flags gebaseerd op drempelwaarden.
- LLM-code: Korte uitvoerbare code voor complexe logica.
- Base Proposer: Kan nieuwe benoemde basiskolommen verzinnen die de kanaalpool toevoegen voor daaropvolgende zoekrondes.

3. Bron-onafhankelijke Acceptatiepoort

Een enkele, op validatie gebaseerde poort evalueert alle kandidaten, ongeacht hun oorsprong (zoektocht versus LLM). Een kandidaat wordt alleen geaccepteerd als:

Het een deel van het validatieresid verklaart dat de huidige corrector niet kan verklaren (Spearman correlatie $\rho$ overschrijdt een drempelwaarde $\tau$ ).
Het niet collinear is met reeds geaccepteerde features.
Het voldoet aan de budgetrestricties per familie en per ronde.

Dit ontwerp zorgt ervoor dat de pipeline agnostisch is aan de bron van de feature, waardoor een eerlijke vergelijking tussen generatoren en externe systemen mogelijk is.

4. Validatie-geselecteerde Corrector

De overlevende features voeden een kleine set correctoren: een identiteitskaart (NONE), een additieve Gradient Boosted Decision Tree (GBDT), en een multiplicatieve GBDT. Het systeem selecteert de configuratie met de beste validatie wMAPE. De "NONE"-optie dient als veiligheidsmaatregel, om te garanderen dat de correctie de prestaties op de validatieset nooit verslechtert.

5. Koppeling (CRAFTER†)

Het framework ondersteunt een gekoppelde modus (CRAFTER†) waarbij de LLM en de zoektocht in elkaar terugkoppelen. Geaccepteerde door de LLM gegenereerde basiskolommen worden in de volgende ronde doorzoekbaar, en de volgende voorstellen van de LLM worden geconditioneerd op de geaccepteerde/afgewezen geschiedenis van de zoektocht.

Belangrijkste Bijdragen

Bron-onafhankelijk Framework (C1): Het paper formuleert feature discovery voor bevroren forecasters als residuele correctie. Door een enkele validatiepoort te gebruiken voor heterogene bronnen, dient CRAFTER zowel als een inzetbare correctielaag als een instrument voor evaluatie. Het stelt elk extern feature-engineering systeem in staat om door exact dezelfde pipeline te draaien, waarbij de verandering in voorspelling uitsluitend wordt toegeschreven aan de bron van de feature.
Karakterisering van Nut (C2): De auteurs brengen de condities in kaart waaronder correctieve features helpen. Ze vinden dat de winsten proportioneel zijn aan de "residuele headroom" (exploiteerbare structuur in de fout). Correcties zijn het meest effectief bij zwakke backbones met informatieve covariaten (waar LLM-benoemde features cruciaal zijn) en worden neutraal wanneer een sterke backbone de serie al heeft verzadigd.

Experimentele Resultaten

De auteurs evalueerden CRAFTER op zes publieke datasets (EPF, ROSSMANN, ROHLIK, BIZITOBS, FAVORITA, M5) en zes bevroren backbone-families (Timer, Chronos, Moirai, Toto, Chronos-2, Moirai-2.0).

Prestaties: CRAFTER presteerde consequent beter dan drie toegewijde feature-engineering baselines (TSFRESH, CAAFE, LLM-FE) over alle feature-budgetten heen. Het verdubbelde ruwweg de lift geboden door corrector-alleen methoden en verminderde de fout van de zwakste backbones met wel 27%.
Robuustheid:
- Feature Budget: CRAFTER presteerde beter dan baselines, zelfs bij lage feature-budgetten ( $K=5$ ), wat bewijst dat de winsten voortkomen uit de kwaliteit van de features, niet uit de kwantiteit.
- Fine-Tuning: CRAFTER bood extra lift, zelfs wanneer het werd toegepast bovenop gefinetunede backbones, wat aantoont dat het geen vervanging is voor adaptatie, maar een complementaire laag.
- LLM Backend: De resultaten bleven standhouden over verschillende LLM-backends (GPT-5.2 en DeepSeek-3.4-pro), hoewel de specifieke feature-sets varieerden.
Feature Herkomst: Analyse toonde aan dat door de LLM gegenereerde semantische features (combinaties en flags) de meerderheid van de geselecteerde features vormden, terwijl de atomaire zoektocht diende als een controle voor de enumereerbare ruimte.
Temporele Transfer: Features die ontdekt zijn op één tijd-split, transferden effectief naar opeenvolgende splits, wat wijst op de ontdekking van persistente residuele structuur in plaats van window-specifieke ruis.

Betekenis en Claims

Het paper beweert dat CRAFTER een nieuw paradigma vestigt voor het inzetten van frozen forecasters. In plaats van dure foundation models opnieuw te trainen of te finetunen, kunnen beoefenaars een lichtgewicht, interpreteerbare correctielaag inzetten die de specifieke faalmodi van het bevroren model onderzoekt.

De auteurs benadrukken dat de waarde van correctieve features niet universeel maar context-afhankelijk is. De methode claimt niet alle forecasting-fouten te herstellen; in plaats daarvan biedt het een systematische manier om te identificeren wanneer een bevroren model "headroom" heeft voor verbetering. De betekenis ligt in:

Kostenefficiëntie: Het corrigeren van een ingezet model is goedkoper dan het opnieuw trainen ervan.
Interpreteerbaarheid: De ontdekte features (bijv. "hernieuwbare_penetratie") benoemen expliciet de mechanismen die de backbone heeft gemist, wat helpt bij zakelijke besluitvorming.
Eerlijke Evaluatie: De bron-onafhankelijke pipeline maakt een rigoureuze attributie van prestatiewinsten aan specifieke feature engineering strategieën mogelijk, waarbij de waarde van de generator gescheiden wordt van de waarde van de corrector.

Het paper concludeert dat hoewel feature-budgetten de winsten versterken in onverzadigde regimes, ze geen structuur kunnen creëren waar het residue al ruis is. De optimale strategie is om correctieve feature discovery in te zetten wanneer validatie-residuen nog steeds gestructureerd zijn, met name in zwakke-backbone of semantische-covariaat regimes.