🤖 machine learning

Agentic-imodels: Evolving agentic interpretability tools via autoresearch

Dit artikel introduceert Agentic-imodels, een autoresearchkader dat regressiemodellen ontwikkelt die compatibel zijn met scikit-learn en geoptimaliseerd zijn voor zowel voorspellende nauwkeurigheid als interpretatievriendelijkheid voor agenten, en aantoont dat modellen die zijn ontworpen om door LLM's te worden "gesimuleerd" de prestaties van downstream agentic data science aanzienlijk verbeteren.

Oorspronkelijke auteurs: Chandan Singh, Yan Shuo Tan, Weijia Xu, Zelalem Gero, Weiwei Yang, Michel Galley, Jianfeng Gao

Gepubliceerd 2026-05-06

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chandan Singh, Yan Shuo Tan, Weijia Xu, Zelalem Gero, Weiwei Yang, Michel Galley, Jianfeng Gao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een team hebt van superintelligente robotassistenten (AI-agenten) wiens taak het is om data te analyseren, patronen te vinden en voorspellingen te doen. Op dit moment zijn deze robots uitstekend in het bewerken van cijfers, maar zijn ze vreselijk in het lezen van de "bonnetjes" of uitleg die door de tools die ze gebruiken worden achtergelaten.

Denk er als volgt over: je vraagt een menselijke datawetenschapper om een complex wiskundig probleem uit te leggen. Die tekent misschien een prachtige, kleurrijke grafiek of schrijft een lang, poëtisch stuk tekst. Een mens kan dat lezen en zeggen: "Ah, ik snap het!" Maar als je diezelfde kleurrijke grafiek of gedicht aan een robot geeft, raakt de robot in de war. Het kan de "kunst" niet "lezen"; het heeft een duidelijke, stap-voor-stap instructiehandleiding nodig, geschreven in eenvoudige code.

Het Probleem
Op dit moment zijn de meeste datawetenschapstools ontworpen om "mensleesbaar" te zijn. Ze produceren output zoals fancy grafieken of complexe tekst die mensen leuk vinden, maar waar robots moeite mee hebben om te parseren. Dit creëert een knelpunt: naarmate robots meer datawerk overnemen, blijven ze struikelen over tools die ze niet begrijpen, wat leidt tot fouten of onbetrouwbare resultaten.

De Oplossing: AGENTIC-IMODELS
De onderzoekers hebben een nieuw systeem ontwikkeld dat AGENTIC-IMODELS heet. In plaats van een mens te vragen om een tool te ontwerpen, vroegen ze een "codeerrobot" om een tool specifiek te ontwerpen voor andere robots om te begrijpen.

Hier is hoe ze dat deden, met behulp van een eenvoudige analogie:

1. De "Auto-Onderzoek"-lus

Stel je een robotkok voor die probeert een nieuw recept te bedenken.

Het Doel: De kok wil een gerecht dat heerlijk smaakt (hoge voorspellende prestaties), maar dat ook makkelijk in één zin te beschrijven is, zodat een andere robot het precies hetzelfde kan koken (hoge agent-interpreteerbaarheid).
Het Proces: De kok (een coderende AI) schrijft een recept, serveert het aan een proever (de LLM-evaluator) en vraagt: "Kun je de ingrediënten en kookstappen raden door alleen mijn beschrijving te lezen?"
De Feedback: Als de proever het fout heeft, past de kok het recept aan. Misschien vereenvoudigen ze de beschrijving of veranderen ze de ingrediënten. Ze herhalen dit duizenden keren, en worden steeds beter in het maken van recepten die zowel heerlijk zijn als makkelijk te verklaren.

2. De "Simuleerbaarheid"-test

Hoe weten ze of een robot de tool begrijpt? Ze gebruiken een test die simuleerbaarheid heet.

Ze geven de robot een beschrijving van een model (zoals een lijst met getallen en regels).
Vervolgens stellen ze de robot vragen zoals: "Als ik dit getal verander, wat gebeurt er dan met het resultaat?" of "Welke factor is het belangrijkst?"
Als de robot het correct kan beantwoorden door alleen de beschrijving te lezen (zonder de verborgen wiskunde te zien), dan slaagt de tool de test.

3. De Resultaten

De onderzoekers lieten hun codeerrobot deze lus een tijdje draaien. Het ontdekte nieuwe soorten wiskundige modellen die eerder niet bestonden.

Beter dan de oude spullen: Deze nieuwe modellen waren net zo goed in het voorspellen van de toekomst als de "black box"-modellen (die nauwkeurig zijn maar onmogelijk te verklaren) en veel beter in het begrijpen door robots dan de oude "mensvriendelijke" modellen.
De Pareto-grens: Stel je een grafiek voor waar de linkerbovenhoek de "droomzone" is (hoge nauwkeurigheid + hoog begrip). De oude tools zaten vast in het midden of onderaan. De nieuwe modellen die door AGENTIC-IMODELS zijn gemaakt, hebben de grens verlegd en die droomzone gevuld.

4. De Realiteitstest

Om te bewijzen dat dit werkte, gaven ze deze nieuwe modellen aan vier verschillende AI-agenten (zoals GitHub Copilot, Claude en Codex) en vroegen ze hen om echte dataproblemen op te lossen.

De Uitkomst: Toen de agenten deze nieuwe, robotvriendelijke modellen gebruikten, steeg hun prestatie aanzienlijk. Sommige agenten verbeterden hun scores met wel 73%.
Waarom? Het was niet alleen omdat de agenten gezegd kregen om een specifiek pakket te gebruiken; het was omdat de modellen zelf geschreven waren in een taal die de agenten daadwerkelijk konden "denken" doorheen.

Samenvatting

Kortom, het artikel introduceert een systeem waarbij een AI data-tools ontwerpt die specifiek bedoeld zijn voor andere AI's om te gebruiken. Door de tools te dwingen "simuleerbaar" te zijn (makkelijk te lezen en te voorspellen door een robot), creëerden ze een nieuwe generatie datamodellen die zowel zeer nauwkeurig zijn als perfect begrijpelijk voor machines, waardoor het hele proces van geautomatiseerde datawetenschap veel betrouwbaarder wordt.

Technische Samenvatting: AGENTIC-IMODELS

Probleemstelling

Het vakgebied van Agentic Data Science (ADS) maakt snelle vooruitgang, waarbij systemen steeds vaker tussentijdse analytische taken – zoals modelselectie, interpretatie van coëfficiënten en het trekken van conclusies – delegeren aan autonome agenten. Er bestaat echter een kritieke misalignering: huidige ADS-systemen vertrouwen op interpretabiliteitstools en modellen die zijn ontworpen voor menselijke consumptie. Deze tools produceren vaak outputs met visualisaties, complexe beïnvloedbare componenten of ongestructureerde tekst die moeilijk betrouwbaar te parsen zijn door agenten. Dit mismatch leidt tot onbetrouwbare analyses, verduisterde analytische keuzes en potentiële falen in de levenscyclus van data science. Hoewel de literatuur over mensgerichte interpretable machine learning (bijvoorbeeld beslisbomen, gegeneraliseerde additieve modellen) rijk is, is deze niet aangepast om te optimaliseren voor agent-interpretabiliteit, gedefinieerd als het vermogen van een LLM om het gedrag van een model nauwkeurig te simuleren uitsluitend door diens stringrepresentatie te lezen.

Methodologie

De auteurs stellen AGENTIC-IMODELS voor, een agentic autoresearch-loop die is ontworpen om datawetenschapstools te laten evolueren die specifiek zijn geoptimaliseerd voor agent-interpretabiliteit. Het systeem werkt via de volgende componenten:

1. De Autoresearch-loop

Het kernmechanisme is een codeeragent (bijvoorbeeld Claude Code of Codex) die iteratief een Python-klasse (interpretable_regressor.py) aanpast om gelijktijdig twee doelen te maximaliseren:

Voorspellende Prestaties: Gemeten door de gemiddelde rang van de Root Mean Squared Error (RMSE) over een suite van 65 tabulaire regressiedatasets.
Agent-interpretabiliteit: Gemeten door een nieuwe Agent Interpretability Score, gedefinieerd als het slagingspercentage van door LLM's beoordeelde tests.

De loop verloopt in stappen: de agent stelt een modelwijziging voor, het model wordt gefit op trainingsdata, de __str__-output wordt gegenereerd, en een LLM-evaluator probeert kwantitatieve vragen over het gedrag van het model te beantwoorden op basis uitsluitend van die string. Als de antwoorden van de agent overeenkomen met de waarheid (afgeleid van de gefitte functie), wordt de test geslaagd.

2. Agent-interpretabiliteitsmetriek

De metriek vervangt menselijke experimenten door geautomatiseerde, op LLM's gebaseerde tests. De suite bestaat uit 200 tests verdeeld over zes categorieën:

Feature-attributie: Het identificeren van belangrijke features, het rangschikken ervan en het detecteren van irrelevante features.
Puntsimulatie: Het voorspellen van outputs voor specifieke inputs.
Sensitiviteitsanalyse: Het bepalen van de richting van verandering en de eenheidsgevoeligheid.
Contrfactueel redeneren: Het oplossen van inverse problemen (het vinden van inputs voor doel-outputs).
Structureel begrip: Het beoordelen van modelcompactheid en beslissingsregio's.
Simulatie van complexe functies: Het simuleren van niet-lineariteiten, interacties en stuksgewijze functies.

Om "reward hacking" te voorkomen (waarbij modellen simpelweg testantwoorden memoriseren), is de suite opgesplitst in een ontwikkelset (gebruikt tijdens optimalisatie) en een vastgehouden set (gebruikt voor evaluatie).

3. Experimentele opzet

De auteurs voerden de loop uit met behulp van Claude Code (Opus-4.6/4.7) en Codex (GPT-5.3) over verschillende niveaus van redeneerinspanning. Ze evalueerden de geëvolueerde modellen tegen 16 baselines uit vijf families: Lineaire, Boom-, Additieve, Op regels gebaseerde en Black-box-modellen. De evaluatie omvatte vastgehouden datasets en vastgehouden interpretabiliteitstests om generalisatie te waarborgen.

Belangrijkste bijdragen

Herformulering van Interpretabiliteit: Het paper verschuift het paradigma van het ontwerpen van modellen die interpreteerbaar zijn door mensen, naar het ontwerpen van modellen die interpreteerbaar zijn door agenten. Het stelt dat de "stringrepresentatie" van een model de primaire interface is voor agentenredenering.
AGENTIC-IMODELS Framework: Een volledig autonome autoresearch-loop die nieuwe modelklassen ontdekt door te optimaliseren voor een nieuwe, geautomatiseerde interpretabiliteitsmetriek.
Nieuwe modelklassen: Het systeem ontdekte een bibliotheek van scikit-learn-compatibele regressoren die Pareto-verbeteringen realiseren ten opzichte van bestaande baselines, waardoor de grens van voorspellende prestaties en agent-interpretabiliteit wordt verlegd.
Doorlopende impact: De geëvolueerde modellen werden geïntegreerd als een Python-pakket en getest in end-to-end ADS-workflows, waarbij significante prestatiewinsten werden aangetoond.

Resultaten

Pareto-verbeteringen: De geëvolueerde AGENTIC-IMODELS bezetten een regio in de ruimte van prestaties-interpretabiliteit die voorheen onbezet was door baselines. Zo bereikten modellen zoals HingeEBM een genormaliseerde voorspellingsrang van 0,19 (dicht bij de beste black-box TabPFN) terwijl ze een agent-interpretabiliteitsscore van 0,71 behielden (beduidend hoger dan TabPFN's 0,17).
Generalisatie: De modellen generaliseerden naar vastgehouden datasets en vastgehouden interpretabiliteitstests. Hoewel sommige modellen reward hacking vertoonden op de ontwikkelset, toonde het merendeel een sterke correlatie tussen de ontwikkel- en de vastgehouden interpretabiliteitsscores ( $r=0,65$ ).
End-to-end ADS-prestaties: Het toerusten van vier verschillende ADS-agenten (Copilot CLI, Claude Code, Codex) met de geëvolueerde AGENTIC-IMODELS-bibliotheek verbeterde hun prestaties op de BLADE-benchmark met 8% tot 73% op de metrieken voor correctheid, volledigheid en duidelijkheid. De verbeteringen waren het meest uitgesproken voor agenten met zwakkere basismodellen.
Kwalitatieve patronen: De geëvolueerde modellen gebruikten vaak "beperkte weergavecomplexiteit" (bijvoorbeeld harde caps op boomdiepte of feature-budgets) en "weergaveoptimalisatie" (het ontkoppelen van de voorspellende engine van de stringrepresentatie, zoals het gebruik van een verborgen EBM om residualen te corrigeren terwijl een vereenvoudigde lineaire vergelijking wordt weergegeven).

Betekenis en claims

De auteurs claimen dat AGENTIC-IMODELS een cruciale stap vertegenwoordigt om ervoor te zorgen dat inzichten uit data correct worden begrepen en in actie worden omgezet door AI-agenten. Naarmate ADS-systemen capabeler worden, moeten de tools die ze gebruiken zijn ontworpen voor de agenten zelf en niet voor menselijke waarnemers.

Het paper positioneert dit werk als het eerste dat structurele eigenschappen die menselijke interpretabiliteit ondersteunen (sparsiteit, additiviteit, modulariteit) systematisch aanpast tot eigenschappen die geschikt zijn voor LLM's. De auteurs merken op dat hoewel de huidige metriek vertrouwen op LLM-evaluators (die vooroordelen kunnen hebben), de sterke correlatie tussen de metriek en de doorlopende ADS-prestaties suggereert dat deze een bruikbaar signaal vastlegt. Ze concluderen dat naarmate LLM's beter worden in het parsen van gestructureerde modellen, frameworks zoals AGENTIC-IMODELS geavanceerdere, potentieel supermenselijke interpretatie van complexe data mogelijk maken, waardoor het vakgebied zich verplaatst naar een toekomst waarin agenten het overgrote deel van het data science-werk uitvoeren.