🤖 AI

Imaging-101: Benchmarking LLM Coding Agents on Scientific Computational Imaging

Dit artikel introduceert Imaging-101, een benchmark van 57 door experts geverifieerde computationele beeldvormingstaken over zes wetenschappelijke domeinen, ontworpen om LLM-coderingsagenten te evalueren, wat onthult dat huidige frontier-modellen moeite hebben met domeinspecifieke uitdagingen zoals algoritme-selectie en het afhandelen van fysieke conventies, waardoor de noodzaak voor gespecialiseerde, met vaardigheden versterkte agenten wordt benadrukt om betrouwbare wetenschappelijke ontdekking mogelijk te maken.

Oorspronkelijke auteurs: Siyi Chen, Jiahe Ying, Yixuan Jia, Yuxuan Gu, Enze Ye, Weimin Bai, Zhijun Zeng, Shaochi Ren, Binhong Gao, Yubing Li, Tianhan Zhang, He Sun

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Siyi Chen, Jiahe Ying, Yixuan Jia, Yuxuan Gu, Enze Ye, Weimin Bai, Zhijun Zeng, Shaochi Ren, Binhong Gao, Yubing Li, Tianhan Zhang, He Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een magische doos hebt die een wazige, ruisachtige foto van een geheim object kan veranderen in een kristalhelder beeld. In de echte wereld van de wetenschap is dit geen magie; het wordt computationele beeldvorming genoemd. Wetenschappers gebruiken het om dingen te zien die ze niet direct kunnen aanraken, zoals de binnenkant van een zwart gat, de structuur van een virus, of wat er diep onder de grond gebeurt. Maar het bouwen van het "recept" om die wazige bende in een helder beeld te veranderen, is ongelooflijk moeilijk. Het vereist een PhD-niveau begrip van natuurkunde, wiskunde en programmeren, plus veel geduld om kleine foutjes te herstellen die het hele beeld verruïneren.

Maak kennis met Imaging-101, een nieuwe "rijexamen" voor Kunstmatige Intelligentie. De onderzoekers creëerden een uitdaging met 57 verschillende puzzels (taken) afkomstig uit echte wetenschappelijke artikelen over zes gebieden: astronomie, biologie, chemie, aardwetenschappen, geneeskunde en natuurkunde. Ze vroegen de AI niet alleen om code te schrijven; ze vroegen de AI om een complete, werkende machine te bouwen die deze puzzels van begin tot eind kan oplossen.

De Drie-Delige Test

Om te zien of de AI echt slim was of gewoon geluk had, gaven de onderzoekers het drie verschillende manieren om de test af te leggen:

Het Plan: Eerst moest de AI een blauwdruk schrijven. Kon de AI de juiste wiskunde en stappen bepalen voordat er ook maar één regel code werd geschreven?
De Lego-blokjes: Vervolgens moest de AI specifieizeke onderdelen van de machine bouwen (zoals de "preprocessing" of "solver" blokken) en strikte kleine unit-tests voor elk onderdeel doorstaan.
De Volledige Rit: Ten slotte moest de AI de hele machine bij elkaar zetten, deze laten draaien en een beeld produceren dat nauwkeurig genoeg is om een strenge kwaliteitscontrole te doorstaan.

De Resultaten: AI is goed in praten, slecht in natuurkunde

De onderzoekers testten zeven van de slimste AI-modellen die beschikbaar zijn. Dit is wat ze vonden:

Het "Plan" was oké: De AI's waren verrassend goed in het schrijven van de blauwdruk. Ongeveer 52,6% van de tijd kregen de topmodellen (GPT-5.4 en Kimi-k2.5) het algemene idee goed. Ze konden de juiste soort wiskunde benoemen om te gebruiken.
De "Lego-blokjes" waren wankel: Wanneer het tijd kwam om de onderdelen daadwerkelijk te bouwen, werd het een rommeltje. Het succespercentage voor het correct bouwen van alle onderdelen tegelijkertijd daalde naar tussen de 1,8% en 22,8%.
De "Volledige Rit" was het moeilijkst: Slechts 29,8% van de tijd slaagde de beste AI (Claude-4.6-Opus) erin om een machine te bouwen die daadwerkelijk werkte en een goed beeld produceerde. De anderen deden het nog slechter, waarbij sommigen slechts 7% van de tijd slaagden.

De "Onzichtbare" Vallen

Het meest interessante deel van de studie is waarom de AI's faalden. Ze faalden niet omdat ze geen code konden schrijven; ze faalden omdat ze de "geheime regels" van de natuurkunde misten die wetenschappers door jarenlange ervaring leren.

Het papier noemt dit "numerieke conventie-drift" (numerical-convention drift). Stel je voor dat je een taart bakt. De AI weet dat het recept zegt "voeg bloem toe", maar vergeet dat je in deze specifieke keuken de bloem in grammen moet meten, niet in koppen, en dat je het eerst moet zeven. De taart van de AI ziet eruit als een taart en ruikt als een taart, maar het is de verkeerde grootte en textuur.

In de studie maakten de AI's deze specifieke fouten:

Verkeerde Eenheden: In een taak over lichtverstrooiing vergat de AI de "intensiteit" (hoe helder het licht is) om te zetten naar "amplitude" (hoe sterk de golf is). Het was alsofd je de snelheid van een auto probeerde te meten in "helderheid" in plaats van "mijlen per uur".
Verkeerde Solvers: De AI zou een generiek wiskundig hulpmiddel kiezen (zoals een standaard hamer) wanneer de taak een gespecialiseerd gereedschap vereiste (zoals een laser scalpel). De AI zou zeggen: "Ik gebruik deze veelvoorkomende methode," ook al vereiste het artikel dat men volgde specifiek een zeldzame, complexe methode.
Ontbrekende Normalisatie: Bij MRI-scans vergat de AI aan te passen voor het feit dat sommige delen van het lichaam dichter bij de sensor liggen dan andere. Dit zorgde ervoor dat het uiteindelijke beeld eruitzag alsof het een vreemde schaduw had, ook al liep de code zonder fouten.

De "Black Box" Verrassing

De onderzoekers testten ook een "black-box" agent (Claude Code) die toegang heeft tot een echte computerterminal, software kan installeren en bestanden kan bekijken. Deze agent deed het veel beter en slaagde in 56,1% van de gevallen. Dit suggereert dat het geven van meer vrijheid aan AI om te verkennen en eigen fouten te herstellen helpt, maar zelfs met dat voordeel is het nog steeds niet perfect.

Wat dit betekent

Het paper maakt duidelijk dat hoewel AI beter wordt in het schrijven van code, het nog steeds worstelt met de diepe, impliciete kennis van wetenschappelijke beeldvorming. Het is alsof een student de regels van honkbal kan opzeggen, maar niet weet hoe hij daadwerkelijk een curvebal moet vangen.

De onderzoekers vonden dat de AI's vaak falen omdat ze vertrouwen op wat "statistisch gebruikelijk" is in hun trainingsdata, in plaats van wat fysiek correct is voor de specifieke situatie waarvoor ze staan. Ze suggereren dat we, om dit op te lossen, AI-assistenten moeten bouken die worden geleverd met een "gereedschapskist" van vooraf geverifieerde, domeinspecifieke vaardigheden, in plaats van te verwachten dat ze elke natuurkunderegel vanaf nul zelf ontdekken.

Kortom, de AI kan het verhaal schrijven over hoe de puzzel opgelost moet worden, maar het heeft nog steeds een menselijke expert nodig om de wiskunde te controleren en te zorgen dat de natuurkunde ook daadwerkelijk klopt. De droom van een volledig geautomatiseerde machine voor wetenschappelijke ontdekkingen is nog steeds een werk in uitvoering.

Technische Samenvatting: Imaging-101

Probleemstelling

Computationele beeldvorming, het proces van het herstellen van verborgen signalen uit indirecte, ruisgevoelige en incomplete metingen, is fundamenteel voor kwantitatieve ontdekkingen in uiteenlopende wetenschappelijke disciplines variërend van astronomie tot geneeskunde. Het construeren van een correct reconstructie-pipeline is echter arbeidsintensief en vereist diepgaande domeinexpertise om data-opschoning, fysische voorwaartse modellering, algoritmekeuze en iteratief debuggen aan te pakken. Hoewel Large Language Models (LLMs) bekwaamheid hebben getoond in algemene codering en delen van de wetenschappelijke workflow, blijft het een open vraag of frontier-modellen betrouwbaar end-to-end computationele beeldvormingstaken kunnen oplossen. Deze taken vereisen de gezamenlijke redenering over fysische meetprocessen, wiskundige formuleringen en numerieke solvers, en het vertalen daarvan naar uitvoerbare code die voldoet aan strikte numerieke verificatie. Bestaande benchmarks falen vaak in het blootleggen van de specifieke foutmodi die inherent zijn aan wetenschappelijke inverse problemen, zoals subtiele fouten in fysische conventies of ongepaste solver-selectie.

Methodologie

Om dit gat te dichten, introduceren de auteurs Imaging-101, een benchmark bestaande uit 57 door experts geverifieerde computationele beeldvormingstaken verspreid over zes wetenschappelijke domeinen: astronomie, biologie, chemie & materiaalkunde, aardwetenschappen, geneeskunde en natuurkunde.

Constructie van de Benchmark

De benchmark wordt geconstrueerd via een expert-in-the-loop pipeline die ontworpen is om wetenschappelijke authenticiteit en reproduceerbaarheid te garanderen:

Brongronding: Elke taak is afgeleid van een peer-reviewed artikel en de bijbehorende open-source referentie-implementatie.
Standaardisatie: Taken worden gecanoniseerd in een gestandaardiseerde vierfasen-pipeline:
- Preprocessing: Het converteren van ruwe metingen naar een vorm die compatibel is met het voorwaartse model.
- Forward Physics Modeling: Het implementeren van de voorwaartse operator $A$ (en vaak ook de adjunct $A^*$ ).
- Inverse Solver: Het kiezen en uitvoeren van een inversie-algoritme om de latente grootheid te herstellen.
- Visualisatie: Het renderen van het gereconstrueerde signaal.
Verificatie: Domeinexperts (op PhD-niveau) valideren de reproductie van referentieruns tegen de originele publicaties. De pipeline maakt gebruik van AI-assistentie (Claude Code) voor refactoring en de synthese van unit-tests, maar experts behouden de uiteindelijke autoriteit over de correctheid.
Evaluatiemetrieken: Taken worden beoordeeld met gekalibreerde numerieke toleranties. End-to-end succes wordt gemeten met Normalized Cross-Correlation (NCC) en Normalized Root Mean Square Error (NRMSE), die robuust zijn tegen globale amplitude-schaling, in tegen talen als PSIM of SSIM.

Evaluatietracks

Imaging-101 hanteert drie complementaire evaluatietracks om verschillende agent-capaciteiten te onderzoeken:

Planning: Agents genereren een gestructureerd plan (algoritmebeschrijving en moduleontwerp) op basis van de probleemstelling. Correctheid wordt door domeinexperts beoordeeld tegenover referentieplannen.
Function-Level: Agents implementeren specifieke functies binnen de pipeline. Correctheid wordt bepaald door het passeren van een suite van pytest unit-tests met strikte numerieke toleranties (deterministisch versus stochastisch).
End-to-End: Agents genereren de volledige pipeline-code, voeren deze uit en produceren een reconstructie. Succes wordt gedefinieerd door het behalen van beeldkwaliteit-drempelwaarden (NCC/NRMSE) ten opzichte van de referentie.

Belangrijkste Bijdragen

Imaging-101 Benchmark: Een collectie van 57 taken gegrond in peer-reviewed literatuur, die planning, function-level en end-to-end evaluatie ondersteunt over zes wetenschappelijke domeinen.
Expert-gesuperviseerde Constructie-pipeline: Een methodologie die onderzoekspapers canoniseert naar een gestandaardiseerde vierfasen-lay-out, wat schaalbare, reproduceerbare en uitvoerbaar-verifieerbare benchmark-taken mogelijk maakt.
Empirische Karakterisering van Foutmodi: Het werk levert bewijs voor specifieke capaciteitsgebreken in huidige LLM's wanneer ze worden toegepast op wetenschappelijke computationele beeldvorming, waarbij ze worden onderscheiden van fouten gevonden in algemene codering-benchmarks.

Resultaten

De auteurs evalueerden zeven frontier LLM's (waaronder Claude-4.6-Opus, GPT-5.4 en DeepSeek-V3) op de 57 taken.

Kwantitatieve Prestaties

Planning: GPT-5.4 en Kimi-k2.5 behaalden de hoogste algemene pass rates (~52,6%), gevolgd door Claude-4.6-Opus (50,9%). Preprocessing was de moeilijkste planning-dimensie (gemiddelde pass rate van 67,9%), terwijl inverse solver-selectie de makkelijkste was (88,5%).
Function-Level: De prestaties daalden aanzienlijk tijdens de implementatiefase. De algemene module-pass rate (waarbij alle functies in een module moeten slagen) varieerde tussen de 1,8% en 22,8% over de modellen. Inverse solvers waren het moeilijkst om correct te implementeren (gemiddelde module pass rate van 30,6%).
End-to-End: Het best presterende model, Claude-4.6-Opus, behaalde een succesrate van 29,8%. GPT-5.4 volgde met 19,3%. Een black-box agent (Claude Code) behaalde 56,1%, wat suggereert dat rijkere executie-mogelijkheden (bijv. onbeperkte pakketinstallatie, shell-feedback) de prestaties aanzienlijk verbeteren.

Analyse van Foutmodi

De evaluatie onthulde systematische foutmodi die verschillen van algemene coderingsfouten:

Wetenschappelijke Redeneerfouten: De dominante fouten waren niet oppervlakkige syntaxisfouten, maar fouten in het wetenschappelijk redeneren.
- Misalignement tussen Meting en Fysica: Agents lieten vaak cruciale preprocessing-stappen weg, zoals het converteren van sensorintensiteit ( $1/r^4$ ) naar golfveld-amplitude ( $1/r$ ) bij non-line-of-sight imaging.
- Ongepaste Solver-selectie: Modellen vervingen frequent gespecialiseerde, aan de fysica gekoppelde solvers (bijv. qNewton-PIE voor Fourier ptychography) door generieke optimizers (bijv. Adam), waarbij ze algemene heuristieken aanvoerden die de specifieke structuur van het inverse probleem negeerden.
Numerieke Conventie-drift: De meest voorkomende code-bug (42,1% van de fouten) betrof het gebruik van een onjuist teken, schaal, asvolgorde of normalisatieconventie (bijv. het weglaten van MVUE coil-normalisatie in MRI). Deze fouten produceerden structureel geldige code die visuele controles passeerde, maar faalde bij strikte numerieke pariteitstests.
Niet-voltooien door Agents: 28,2% van de fouten trad op omdat agents hun reflectie-budget uitputten zonder code te produceren, vaak bij het werken met gespecialiseerde bibliotheken (bijv. ehtim, deepwave), wat wijst op een bottleneck in de API-bekendheid in plaats van wiskundig redeneren.

Betekenis

Het artikel betoogt dat hoewel LLM's veelbelovend zijn in wetenschappelijke workflows, ze momenteel de betrouwbaarheid missen die vereist is voor autonome computationele beeldvorming. De bevindingen benadrukken dat de "donkere materie" van deze pipelines — impliciete domeinkennis over eenhedenconventies, normalisatiefactoren en de koppeling tussen meting en model — niet expliciet wordt vastgelegd in geschreven specificaties en systematisch wordt gemist door huidige modellen.

De auteurs concluderen dat het overbruggen van deze kloof vereist dat men verder gaat dan algemene coderingsagents richting vaardigheid-versterkte, domeinspecifieke agents. Zij stellen dat het codificeren van impliciete kennis in herbruikbare, geverifieerde modules (skill libraries) een praktische weg is naar betrouwbare wetenschappelijke assistentie. Imaging-101 dient als een fundamentele benchmark om de voortgang in deze richting te volgen, waarbij wordt benadrukt dat echte betrouwbaarheid in wetenschappelijke computing meer vereist dan alleen codegeneratie; het vereist een getrouwe naleving van fysische wetten en numerieke precisie.