💻 computer science

Designing Any Imaging System from Natural Language: Agent-Constrained Composition over a Finite Primitive Basis

Dit paper introduceert spec.md en een autonoom agentensysteem dat natuurlijke taalbeschrijvingen omzet in gevalideerde beeldvormingsmodellen, waarmee de expertisebarrière voor het ontwerpen van nieuwe beeldvormingssystemen wordt doorbroken en de kwaliteit van experts wordt benaderd.

Oorspronkelijke auteurs: Chengshuai Yang

Gepubliceerd 2026-03-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Chengshuai Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat het ontwerpen van een geavanceerde camera of medische scanner (zoals een CT-scan of MRI) net zo moeilijk is als het bouwen van een ruimtevaartuig. Normaal gesproken moet je daarvoor een team van dure experts nodig hebben die wekenlang zitten te rekenen, te programmeren en te experimenteren om de juiste instellingen te vinden. Als je een nieuwe, unieke camera wilt bouwen, moet je vaak opnieuw uitvinden hoe de wielen werken.

Deze paper introduceert een revolutionaire manier om dat proces te automatiseren. Het is alsof je een robot-architect hebt die in één zinnetje begrijpt wat je wilt, en dan direct de blauwdruk voor de perfecte camera tekent.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "LEGO-basis" van alle camera's (De Finite Primitive Basis)

Stel je voor dat er slechts 11 soorten LEGO-blokjes bestaan die je kunt gebruiken om elke camera ter wereld te bouwen. Of het nu een camera is die röntgenstralen gebruikt, geluidsgolven, of gewoon licht: alles is opgebouwd uit deze 11 basisblokken (zoals 'projectie', 'verstrooiing', 'detectie').

In het verleden moesten experts zelf uitvinden welke blokken ze nodig hadden. Dit systeem heeft een bibliotheek van die 11 blokken gemaakt. Het zegt: "Elke camera die je kunt bedenken, is gewoon een specifieke ketting van deze 11 blokken."

2. De drie robot-assistenten

In plaats van één mens die alles doet, gebruiken ze drie gespecialiseerde AI-agenten die samenwerken als een goed georganiseerd bouwteam:

De Planner (Plan Agent): Jij zegt tegen hem: "Ik wil een camera die een 3D-foto maakt van een fruitje, maar dan in kleur en met video." De Planner kijkt in de LEGO-bibliotheek, pakt de juiste 11 blokken, en schrijft een spec.md (een strakke, gestructureerde bouwplaat) in plaats van complexe code.
De Keurmeester (Judge Agent): Deze robot kijkt naar de bouwplaat van de Planner. Hij heeft drie strenge poorten (de "Triad Gates") waar hij doorheen moet:
1. Is het überhaupt mogelijk? (Krijgen we genoeg informatie?)
2. Hebben we genoeg kracht? (Is de sensor niet te zwak?)
3. Past de theorie bij de werkelijkheid? (Zijn de instellingen realistisch?)
  Als het plan niet haalbaar is, zegt hij: "Nee, probeer het opnieuw" en stuurt het terug naar de Planner.
De Uitvoerder (Execute Agent): Als de Keurmeester groen licht geeft, pakt de Uitvoerder de bouwplaat, bouwt het virtuele model, en zegt: "Dit werkt, en de foto zal ongeveer zo scherp zijn."

3. De "Fouten-rekenmachine" (Het Error Theorem)

Het slimme aan dit systeem is dat het niet alleen zegt "het werkt", maar ook precies waarom het zou kunnen mislukken. Ze hebben een formule bedacht die de totale fout in 5 stukjes verdeelt:

Is het probleem dat we de verkeerde LEGO-blokjes hebben gekozen?
Is het probleem dat de instructies niet duidelijk waren?
Is het probleem dat de hardware niet precies goed is afgesteld?

Dit is als een auto-diagnosesysteem. Als je auto niet start, zegt het systeem niet alleen "het werkt niet", maar: "Het is de accu (fout 1), niet de motor." Zo kunnen de experts precies weten wat ze moeten verbeteren.

4. Wat hebben ze bewezen?

Ze hebben dit systeem getest op 173 verschillende soorten camera's (van medische scanners tot microscopen).

Snelheid: Wat een mens in weken doet, doet de robot in minuten.
Kwaliteit: De foto's die de robot ontwierp, waren bijna even goed (98%) als die door de beste menselijke experts werden ontworpen.
Nieuwe creaties: Ze hebben zelfs 10 nieuwe camera-ontwerpen bedacht die nog nooit bestaan hebben (zoals een camera die 5D-data in één keer vastlegt), en het systeem bewees dat deze theoretisch zouden moeten werken.

De grote conclusie

Vroeger was het ontwerpen van een nieuwe camera een geheimzinnig vak voor een paar experts. Met dit systeem wordt het net zo makkelijk als het invullen van een formulier. Je vertelt de robot wat je wilt, en hij geeft je een kant-en-klaar, getest ontwerp dat je kunt gaan bouwen.

Het is alsof we van het handmatig smeden van zwaarden zijn gegaan naar het gebruik van een 3D-printer die precies weet welke staalsoorten je nodig hebt voor een perfect zwaard. Dit opent de deur voor elke wetenschapper om zijn eigen "camera" te ontwerpen, zonder dat hij jarenlang moet studeren.

Probleemstelling

Het ontwerpen van computationele beeldvormingssystemen is momenteel een tijdrovend proces dat specialistische expertise vereist. Het selecteren van operatoren, het instellen van parameters en het valideren van de consistentie van een forward model (de wiskundige relatie tussen het object $x$ en de metingen $y$ ) kost specialisten vaak weken per modus. Dit creëert een "expertise-flesnek" die de bredere wetenschappelijke gemeenschap uitsluit van het prototypen van nieuwe beeldvormingsinstrumenten. Er ontbreekt een gestandaardiseerde representatie die vergelijkbaar is met FASTA in de genomica, waardoor het moeilijk is om ontwerpintenties te delen en te valideren zonder de onderliggende code te lezen.

Methodologie

De auteurs introduceren een geautomatiseerd raamwerk dat een natuurlijke taalbeschrijving vertaalt naar een gevalideerd beeldvormingssysteem met een gegarandeerde reconstructiefout. De kern van de methologie bestaat uit drie componenten:

De Finite Primitive Basis (FPB):
Gebaseerd op eerdere bewijzen, stelt het artikel dat elk beeldvormend forward model kan worden gerepresenteerd als een acyclische graaf (DAG) samengesteld uit slechts 11 canonieke primitieven (zoals Projectie $\Pi$ , Fourier $F$ , Moduleren $M$ , Convolutie $C$ , Detectie $D$ , etc.). Deze primitieven zijn geïmplementeerd in vier fideliteitsniveaus (Tier-0 geometrisch tot Tier-3 volledige fysica).
De spec.md Specificatie:
In plaats van code is een gestructureerd Markdown-bestand (spec.md) het canonieke wetenschappelijke artefact. Dit bestand bevat acht verplichte velden die het beeldvormingsprobleem scheiden van de numerieke methode en de hardware-implementatie:
- Physics-velden: Modus, carrier (foton, röntgen, spin, etc.), geometrie, object, forward_model (keten van primitieven), ruis, en doel.
- Hardware-veld: system_elements (bron, optica, detector), wat koppeling mogelijk maakt aan haalbaarheid en kosten.
De Drie-Agenten Pipeline:
- Plan Agent ($AP$): Genereert een spec.md op basis van een natuurlijke taalprompt, selecteert primitieven en parameters uit een register van 173 modaliteiten.
- Judge Agent ($AJ$): Valideert het ontwerp via drie fasen:
  1. Structurele compilatie: 6 checks (DAG-acyclisch, complexiteit, adjoint-consistentie, etc.).
  2. Triad Gates: Drie deterministische checks voor herstelbaarheid (informatiedichtheid), carrier-budget (SNR) en operator-mismatch (kalibratie).
  3. Haalbaarheid: Kosten- en fysieke realisatiecheck.
    Bij fouten wordt een feedbacklus geactiveerd om de Plan Agent te laten herontwerpen (maximaal 3 rondes).
- Execute Agent ($AE$): Selecteert het reconstructie-algoritme, voert de reconstructie uit en voorspelt de kwaliteit op basis van analytische schattingen.

Kernbijdragen

Het spec.md Formaat: Een deeltbare, peer-reviewbare specificatie die de fysica loskoppelt van de implementatie, vergelijkbaar met hoe FASTA de genomica stroomlijnde.
De Drie-Agenten Architectuur: Een autonoom systeem dat ontwerp, validatie en uitvoering combineert, waarbij de Judge Agent fungeert als een wiskundig en fysiek waarborgsysteem.
De "Design-to-Real" Foutdecompositie (Stelling 1):
De auteurs bewijzen dat de totale reconstructiefout kan worden ontbonden in vijf onafhankelijk meetbare en beheersbare termen:
$\|\hat{x} - x^*\| \leq \varepsilon_{FPB} + \varepsilon_{spec} + \varepsilon_{trans} + \varepsilon_{param} + \varepsilon_{unmod} + \varepsilon_{recon}$
- $\varepsilon_{FPB}$ : Representatiefout van de basis (bounded < 0.01).
- $\varepsilon_{spec}$ : Fout door onjuiste specificatie (0 als alle compiler-checks slagen).
- $\varepsilon_{trans}$ : Vertaalfout van taal naar DAG.
- $\varepsilon_{param}$ : Parametermismatch (reductie mogelijk via kalibratie).
- $\varepsilon_{unmod}$ : Ongemodelleerde fysica (reductie mogelijk via "Tier-lifting" naar hogere fideliteit).
- $\varepsilon_{recon}$ : Irreductibele fout (ruis en bias).
  Deze stelling fungeert als een formeel contract: elke foutterm correspondeert met een specifieke correctieve actie.

Resultaten

Validatie over Modaliteiten: Het systeem is getest op 173 modaliteiten over 5 carrier-families (foton, röntgen, elektron, akoestisch, spin/deeltje).
- 100% van de modaliteiten slaagde voor de structurele compiler-checks.
- 39 modaliteiten hadden kwantitatieve reconstructie-validatie.
- 6 modaliteiten (inclusief CT, MRI en CASSI) werden gevalideerd op echte meetdata.
Kwaliteit vs. Experts: Op de 6 real-data modaliteiten bereikte het geautomatiseerde systeem een kwaliteit van 98,1 ± 4,2% ten opzichte van expert-ontworpen systemen.
Efficiëntie: De ontwikkelingstijd werd met een factor 190x tot 420x verkort (van dagen/weken naar minuten).
Nieuwe Ontwerpen: Het systeem ontwierp 10 nieuwe systemen die tot 5D-datacubes (ruimte, diepte, spectrum, tijd) reconstrueren uit één 2D-opname, met prestaties die vaak beter zijn dan generieke baselines.
Foutanalyse: De foutdecompositie bleek scherp; voor goed geconditioneerde systemen (zoals CT en MRI) domineerde de parametermismatch ( $\varepsilon_{param}$ ), terwijl voor verstrooiingsgedomineerde systemen (zoals DOT) de ongemodelleerde fysica ( $\varepsilon_{unmod}$ ) de hoofdoorzaak was, wat de noodzaak van Tier-lifting bevestigde.

Betekenis en Impact

Dit werk markeert een paradigmaverschuiving in computationele beeldvorming:

Democratisering: Het verwijdert de expertise-flesnek, waardoor onderzoekers zonder diepgaande specialistische kennis nieuwe beeldvormingsinstrumenten kunnen ontwerpen en valideren.
Standaardisatie: Het introduceert een gemeenschappelijke taal (spec.md) voor beeldvorming, wat reproduceerbaarheid en uitwisseling van ontwerpen mogelijk maakt.
Formele Garantie: Door de foutdecompositie te koppelen aan specifieke correctieve acties, biedt het systeem niet alleen een ontwerp, maar ook een diagnose voor waarom een systeem mogelijk faalt en hoe dit opgelost kan worden.
Schaalbaarheid: Het bewijst dat een beperkte set van 11 primitieven voldoende is om de volledige diversiteit van beeldvormende fysica te dekken, wat de weg vrijmaakt voor volledig geautomatiseerde wetenschappelijke ontdekking in de beeldvorming.

Samenvattend biedt dit raamwerk een brug tussen natuurlijke taalintentie en een fysiek realiseerbaar, wiskundig gegarandeerd beeldvormingssysteem, met prestaties die gelijkwaardig zijn aan menselijke experts maar met een orde van grootte aan snelheidswinst.