🤖 AI

VESTA: Visual Exploration with Statistical Tool Agents

Het artikel introduceert VESTA, een framework dat statistische modellering verbetert door vision-language modellen uit te rusten met een dynamisch groeiende toolkit van datatransformaties en diagnostische visualisaties, wat aanzienlijk beter presteert dan bestaande agent-gebaseerde systemen op complexe taken zoals die in de nieuwe DAWN-benchmark.

Oorspronkelijke auteurs: William Rudman, Abhishek Divekar, Kanishk Jain, Sebastian Joseph, Stella S. R. Offner, Matthew Lease, Kyle Mahowald, Greg Durrett, Junyi Jessy Li

Gepubliceerd 2026-06-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: William Rudman, Abhishek Divekar, Kanishk Jain, Sebastian Joseph, Stella S. R. Offner, Matthew Lease, Kyle Mahowald, Greg Durrett, Junyi Jessy Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van vingerafdrukken zijn je aanwijzingen getallen en grafieken. Jouw taak is om de "regel" of "formule" te achterhalen die deze getallen heeft gecreëerd. In de wereld van de wetenschap wordt dit het fitten van een model aan data genoemd.

Al een tijdje worden computers steeds beter in het doen hiervan, maar ze lopen vaak vast. Ze kunnen een regel raden, naar de grafiek kijken, zeggen "dat ziet er wel oké uit," en dan doorgaan, zelfs als de regel eigenlijk fout is. Ze missen het vermogen om echt naar de data te kijken en te vragen: "Wacht eens even, waarom ziet dit deel er zo vreemd uit?"

Dit artikel introduceert VESTA, een nieuw soort AI-detective die niet alleen raadt, maar zijn eigen vergrootglazen bouwt.

Het Probleem: De "One-Size-Fits-All" Detective

Eerdere AI-systemen probeerden dit op te lossen door een slimme computer (een Large Language Model) te vragen code te schrijven, naar het resultaat te kijken, en vervolgens nieuwe code te schrijven op basis van een tekstuele beschrijving van wat er misging.

Denk hierbij aan een student die een wiskundetoets maakt en alleen de geschreven opmerkingen van de docent mag lezen. Als de docent zegt: "Je grafiek ziet aan de rechterkant een beetje vreemd uit," moet de student raden hoe hij het moet oplossen zonder de mogelijkheid te hebben om in te zoomen, een specifiek deel van de curve te markeren, of een speciale test uit te voeren om te zien of de curve daadwerkelijk een rechte lijn of een golf is.

De Oplossing: VESTA's "Gereedschapsgordel"

VESTA (Visual Exploration with Statistical Tool Agents) verandert het spel. In plaats van alleen tekst te lezen, krijgt VESTA een dynamische gereedschapsgordel.

Zo werkt het, met behulp van een creatieve analogie:

Stel je voor dat VESTA een chef-kok is die probeert een geheim recept te recreëren op basis van een foto van een voltooide gerecht.

De Eerste Gok: VESTA kijkt naar de foto en raadt: "Misschien is het een chocoladecake." Het schrijft het recept en bakt een testcake.
De Proeverij (De Kritiek): De AI proeft de cake. Het realiseert zich: "Hm, deze is te droog, en de textuur is niet goed."
De Oude Manier: Een oude AI zou gewoon zeggen: "Oké, ik zal de volgende keer meer melk toevoegen."
De VESTA-Manier: VESTA realiseert zich dat het een betere manier nodig heeft om de cake te controleren. Dus het bouwt een nieuw hulpmiddel.
- Het kan een "Vochtmeters"-tool bouwen om de textuur wetenschappelijk te controleren.
- Het kan een "Kruimel-analyser"-tool bouwen om te zien of de cake te compact is.
- Het kan een "Smaakprofiel"-tool bouwen om te controleren of het daadwerkelijk chocolade is of gewoon cacaopoeder.

Cruciaal is dat VESTA deze tools bewaart. Als het een "Vochtmeters"-tool bouwt voor de eerste cake, houdt het die in zijn gordel. Als het later een ander recept probeert, kan het diezelfde meter weer gebruiken. Het gooit de tool niet zoma van pas; het verzamelt een groeiende bibliotheek van op maat gemaakte diagnostische instrumenten.

De "DAWN" Benchmark

Om te testen of deze nieuwe detective wel goed genoeg was, bouwden de onderzoekers een test genaamd DAWN (Dataset for Automated Workflows and Numerical Modeling).

Beschouw DAWN als een reeks steeds moeilijkere puzzels:

Makkelijke Puzzels: Simpele vormen, zoals een rechte lijn of een eenvoudige golf.
Moeilijke Puzzels: Complexe vormen, zoals een golf die tegelijkertijd luider en sneller wordt, of een mix van twee verschillende patronen.
Astro Puzzels: Echte astronomische uitdagingen uit de praktijk. Bijvoorbeeld het bepalen van de "Initial Mass Function" (hoeveel grote sterren versus kleine sterren er worden geboren) of het analyseren van "chirp"-signalen van botsende zwarte gaten. Dit zijn de "eindbaas"-niveaus van datapuzzels.

Wat Ze Vonden

De onderzoekers draaiden VESTA tegenover andere AI-systemen (zoals BoxLM en PyVision) op deze puzzels.

De "Geen Tools" vs. "Dynamische Tools" Test:
- Wanneer VESTA geen tools had, was het oké bij de makkelijke puzzels, maar worstelde het met de moeilijke.
- Wanneer VESTA de mogelijkheid kreeg om eigen tools te creëren ter plekke, werd het aanzienlijk beter. Het kon naar een vreemde curve kijken, een specifieke tool bouwen om die curve te meten, en die meting vervolgens gebruiken om het recept aan te passen.
- Het Resultaat: VESTA met dynamische tools versloeg de andere AI-systemen, vooral bij de moeilijke en astronomische puzzels.
De Vergelijking met de "Expert":
- De onderzoekers gaven VESTA ook een set tools die geschreven waren door menselijke statistici (de "Expert Toolkit").
- De Verrassing: VESTA kopieerde de menselijke tools niet alleen; het bouwde vaak tools die slimmer waren. Het zou drie verschillende menselijke tools combineren tot één super-tool die drie dingen tegelijk kon controleren.
- Echter, de door mensen geschreven tools waren nog steeds iets beter over het algemeen. Dit sugggeert dat hoewel VESTA geweldig is in het uitvinden van tools, menselijke experts nog steeds een paar trucjes kennen die de AI nog niet heeft ontdekt (zoals het perfect interpreteren van een zeer complexe, meervoudige grafiek).

Het "Visuele" Voordeel

Het artikel benadrukt dat de superkracht van VESTA visie is.

Oude AI's lazen tekstuele beschrijvingen van grafieken.
VESTA kijkt naar de grafieken.
Wanneer VESTA een tool bouwt, creëert het vaak een afbeelding met meerdere panelen (zoals een dashboard met 6 verschillende grafieken). Het kijkt vervolgens naar dat dashboard om te beslissen wat de volgende stap is.

De auteurs vonden dat VESTA tools creëert die veel geavanceerder zijn dan die van andere AI-systemen. Bijvoorbeeld, in de astronomische puzzels realiseerde VESTA zich dat het naar de "staarten" van de data (de extreme waarden) moest kijken en bouwde specifieke tools om in te zoomen op die staarten, iets wat de andere AI's misten.

De Beperkingen

Het artikel is eerlijk over waar VESTA nog steeds moeite mee heeft:

De "Blinde Vlek": Soms bouwt VESTA een zeer complexe grafiek met meerdere panelen, maar raakt de AI die ernaar kijkt (de "critic") in de war door de complexiteit. Het is alsoer een supercomplex dashboard te bouwen, maar dan een bestuurder te hebben die niet alle meters tegelijk kan aflezen.
Snelheid: Omdat VESTA blijft proberen, tools bouwt en opnieuw test, duurt het langer om een probleem op te lossen dan een systeem dat slechts één keer een gok doet.
Synthetische Data: De tests werden uitgevoerd op computergegenereerde data waarbij het "juiste antwoord" bekend was. Het artikel merkt op dat we nog niet weten hoe goed dit werkt op echte, rommelige data waarbij het juiste antwoord niet bekend is.

Samenvatting

VESTA is een AI die leert complexe datapuzzels op te lossen door zijn eigen vergrootglazen te bouwen. In plaats van alleen te gokken en te controleren, verzint het nieuwe manieren om de data te meten en te visualiseren, bewaart deze uitvindingen en gebruikt ze om dichter bij de waarheid te komen. Het bewees dat het geven van het vermogen aan een AI om eigen diagnostische tools te creëren, het veel beter maakt in het begrijpen van complexe patronen, vooral in velden zoals astronomie waar de data lastig is.

Technische Samenvatting: VESTA (Visual Exploration with Statistical Tool Agents)

Probleemstelling

Het fitten van kwantitatieve modellen op data is een fundamentele stap in wetenschappelijke workflows, maar blijft een van de minst geautomatiseerde processen. Hoewel recente agent-gebaseerde systemen gebruikmaken van Large Language Models (LLM's) en Vision-Language Models (VLM's) om iteratief statistische modellen voor te stellen en te verfijnen, worstelen zij met complexe modelleringsstaken. Bestaande benaderingen vertrouwen vaak enkel op iteratieve kritiek, waarbij het vermogen ontbreekt om data actief te verkennen via hypothesegestuurde visualisaties en robuuste statistische toetsen. Bovendien ontbreken huidige benchmarks vaak de complexiteit en domeinspecificiteit die nodig zijn om agents te evalueren op real-world wetenschappelijke fenomenen, zoals astronomische taken met initiële massafuncties (IMF's) of gravitationele golf-chirp-signalen.

Methodologie: Het VESTA-framework

De auteurs introduceren VESTA (Visual Exploration with Statistical Tool Agents), een framework dat ontworpen is om VLM's uit te rusten met een dynamisch groeiende toolkit om modelverfijning te begeleiden. VESTA opereert binnen het PyMC probabilistische programmeerframework en maakt gebruik van Markov Chain Monte Carlo (MCMC) voor model-fitting.

Kernworkflow

De VESTA-workflow (Algoritme 1) volgt een iteratieve lus van vier stappen:

Propose (Voorstellen): Startend met een initiële visualisatie van de data, stelt de agent $p$ diverse kandidaat statistische modellen voor. Deze worden vertaald naar uitvoerbare PyMC-code om trouw te blijven aan de gespecificeerde parameters.
Generate Tools (Tools Genereren): Dit is de centrale bijdrage van VESTA. In elke iteratie beslist de agent of hij een bestaand diagnostisch instrument selecteert uit een register, of dynamisch een nieuwe Python-gebaseerde diagnostische tool programmeert. Deze tools accepteren data en de huidige modelparameters, en geven visuele of statistische diagnostiek terug (bijv. residu-plots, QQ-plots, staart-transformaties). Nieuw gecreëerde tools worden in het register opgeslagen voor hergebruik binnen de huidige run.
Critique (Bekritiseren): De output van de geselecteerde of nieuw gecreëerde tool, gecombineerd met de geschiedenis van de model-fits, wordt door een VLM-criticus geanalyseerd. De criticus analyseert het visuele bewijs om te identificeren waar het huidige model faalt (bijv. slechte staart-fit, gemiste periodiciteit) en stelt $p$ herziene modellen voor. De lus kan vroegtijdig worden beëindigd als de criticus de fit als bevredigend beschouwt.
Summarize (Samenvatten): Aan het einde van elke iteratie worden de visuele beschrijvingen, modelparameters, metrieken en tool-outputs gecomprimeerd in een gestructureerde samenvatting. Deze samenvatting wordt geïnjecteerd in de volgende iteratie, waardoor het systeem in staat is te redeneren over het volledige verfijningspad zonder dat de context exponentieel groeit.

Belangrijkste Onderscheidende Kenmerken

In tegenstelling tot voorgaande systemen die vertrouwen op statische toolsets of single-use codegeneratie, zijn de tools van VESTA persistent en compositioneel. De agent kan een toolkit accumuleren van gespecialiseerde diagnostische functies die meerdere hypothesen tegelijk testen, waarbij vaak meerdere expert-niveau functies worden samengevoegd tot één enkele, geavanceerde visualisatie.

De DAWN Benchmark

Om VESTA te evalueren, introduceren de auteurs DAWN (Dataset for Automated Workflows and Numerical Modeling), een benchmark gericht op distributie-fitting en tijdreeksmodellering met variërende moeilijkheidsgraden:

Easy (Gemakkelijk): Unimodale distributies en eenvoudige lineaire/seizoensgebonden tijdreeksen.
Hard (Moeilijk): Mengsels van onderscheidende distributies en complexe niet-lineaire dynamiek (bijv. ARIMA, S-curves, ECG-signalen).
Astro (Astronomie): Real-world astronomische taken, inclusclusief het fitten van stellaire initiële massafuncties (Salpeter, Kroupa, Chabrier en freeform varianten) en het modelleren van gravitationele golf-chirp-signalen met frequentie-sweeps en amplitude-decay.

Evaluatiemetrieken zijn onder meer Jensen-Shannon Divergentie voor distributie-fitting en Expected Log Predictive Density onder Leave-One-Out (ELPD-LOO) voor tijdreeksen.

Belangrijkste Bijdragen

Dynamische Toolcreatie: VESTA introduceert een mechanisme waarmee agents autonoom diagnostische tools kunnen genereren, bewaren en hergebruiken die zijn afgestemd op specifieke modelleringsuitdagingen.
Visuele Exploratie: Door gebruik te maken van VLM's om complexe, multi-panel visualisaties gegenereerd door deze tools te interpreteren, maakt VESTA hypothesegestuurde verfijning mogelijk die verder gaat dan tekstuele kritiek.
DAWN Benchmark: Een uitgebreide benchmark die synthetische en real-world astronomische taken dekt, ontworpen om agents te testen op complexe, domeinspecifieke modelleringsproblemen.
Tool Compositie Analyse: Het paper demonstreert dat dynamisch gegenereerde tools vaak meerdere expert-niveau functies samenvoegen, waardoor ze meer diagnostische categorieën per functie dekken dan bestaande visuele tool-creatiesystemen.

Resultaten

De auteurs hebben VESTA geëvalueerd tegen twee baselines: BoxLM (een iteratief PyMC model-voorstel systeem) en PyVision (een multi-turn VLM framework voor code-executie). Experimenten werden uitgevoerd over drie toolkit-configuraties: geen tools, statische expert-geschreven tools, en dynamische model-geschreven tools.

Prestatiewinst: VESTA met dynamische toolcreatie presteerde consequent beter dan beide baselines, met de meest significante winsten in de Hard en Astro splits.
Vergelijking met Experts: Hoewel VESTA uitgerust met expert-geschreven tools de sterkste algehele prestaties behaalde (het vaststellen van een bovengrens), benaderde VESTA met dynamische toolgeneratie deze bovengrens zonder toegang tot enige expert-tools. Het slaagde erin expert-tools te herstellen met een hogere snelheid dan PyVision en creëerde geavanceerde tools die vaak meerdere expert-functies samenvoegden om meerdere hypothesen tegelijk te testen.
Tool Hergebruik: Binnen enkelvoudige probleeminstanties werden ongeveer 79,5% van de dynamisch gegenereerde tools opnieuw aangeroepen in opeenvolgende stappen, wat de waarde van tool-persistentie aantoont.
Beperkingen: Het paper merkt op dat hoewel dynamische tools effectief zijn, ze de expert-geschreven tools nog niet volledig overtreffen, waarschijnlijk vanwege de huidige beperkingen van VLM's in het redeneren over complexe multi-panel diagrammen.

Betekenis en Claims

Het paper claimt dat VESTA een belangrijke stap voorwaarts is in het automatiseren van wetenschappelijke modellering door het gat te dichten in de capaciteit van agents voor iteratieve, op bewijs gebaseerde modelverfijning. Door agents in staat te stellen data actief te verkennen via een dynamisch groeiende toolkit, maakt VESTA de ontdekking van complexe statistische structuren mogelijk die statische of single-use tool benaderingen missen.

De auteurs positioneren VESTA als een framework dat niet alleen expertkennis herstelt, maar ook nieuwe, geavanceerde diagnostische tools genereert die in staat zijn om complexe domeinspecifieke fenomenen zoals gravitationele golf-chirps en stellaire massaverdelingen te behandelen. Het werk suggereert dat het vermogen om tools te creëren en te bewaren een cruciale capaciteit is voor agents die opereren in complexe wetenschappelijke domeinen, waarbij men beweegt van eenvoudige codegeneratie naar echte statistische exploratie.