From Clinical Intent to Clinical Model: An Autonomous Coding-Agent Framework for Clinician-driven AI Development

Probleemstelling

De ontwikkeling van klinische AI volgt traditioneel een collaboratief paradigma waarbij artsen en gespecialiseerde AI-teams nauw moeten samenwerken. Dit creëert een aanzienlijke praktische uitdaging:

• Communicatie-overhead: Artsen moeten hun eisen herhaaldelijk verduidelijken en verfijnen voordat deze omgezet kunnen worden in uitvoerbare modelontwikkeling.
• Misalignement: Zelfs na veel discussie kan er sprake blijven van misverstand omdat artsen vaak geen diepgaande kennis hebben van datawetenschap, en AI-ontwikkelaars de specifieke klinische prioriteiten, acceptabele foutmodi en de reële kosten van fouten niet volledig begrijpen.
• Schaduwleer (Shortcut Learning): Modellen worden vaak geoptimaliseerd voor aggregate metrics, maar kunnen falen in klinisch relevante randgevallen of vertrouwen op valse correlaties (bijvoorbeeld een pneumothorax-classificatie die zich richt op borstbuisjes in plaats van op de ziekte zelf).

Het doel van dit onderzoek is om te onderzoeken of autonome coderingsagenten (gebaseerd op Large Language Models) dit paradigma kunnen veranderen, zodat artsen klinische AI-modellen zelf kunnen ontwikkelen via natuurlijke taalinteractie, zonder afhankelijk te zijn van een tussenliggende technische expert.

Methodologie

De auteurs presenteren een prototype voor een autonoom coderingsagent-framework dat werkt in drie fasen:

1. Semantische Parser: De natuurlijke taalverzoek van de arts (bijv. "Ik wil een model dat pneumothorax detecteert, maar let op dat borstbuisjes geen valse correlatie veroorzaken") wordt omgezet in een gestructureerde taakrepresentatie.
2. Taak-initialisator: Deze representatie wordt vertaald naar uitvoerbare code, inclusief modelarchitectuur, trainingsrecept en evaluatieprotocol.
3. Autonome Ontwikkelaar: Dit is de kern van het systeem. De agent voert een iteratieve cyclus uit van code-generatie, experimenten, debugging en verfijning.
   • Loop: De agent start met een minimaal werkend script, voert een train/validatie-run uit (binnen een tijdslimiet van 40 minuten), en analyseert de resultaten.
   • Iteratie: Op basis van de resultaten stelt de agent code-aanpassingen voor (bijv. wijzigen van de loss-functie, sampling-strategieën, of data-augmentatie). Als een wijziging de validatieprestaties verbetert, wordt deze geaccepteerd; anders wordt deze verworpen.
   • Rol van de arts: De arts blijft betrokken op het niveau van intentie en kan trade-offs onderhandelen, maar hoeft geen code te schrijven.

Experimentele Opzet:
Het systeem werd getest op Claude Opus 4.6 als onderliggende agent. Er werden vijf klinische taken uitgevoerd:

1. Dermoscopie: 8-klassen classificatie van huidlaesies (prioriteit: melanoom).
2. Melanoom vs. Naevus: Binaire classificatie met als doel het minimaliseren van gemiste melanomen.
3. Handwortelbot-breukdetectie: Volledig gesuperviseerd.
4. Handwortelbot-breukdetectie (Mixed Supervision): Slechts 5% van de data had bounding-box annotaties; 95% had alleen image-level labels.
5. Pneumothorax-classificatie: Een taak met een bekende "shortcut" (borstbuisjes) waarbij de arts expliciet vroeg om bias-reductie.

Belangrijkste Bijdragen

• Paradigmaverschuiving: Het bewijst het concept dat autonome agenten de vertaalslag tussen klinische intentie en technische implementatie kunnen overbruggen, waardoor de afhankelijkheid van gespecialiseerde AI-teams afneemt.
• Autonome Bias-mitigatie: Het systeem slaagde erin om een complexe debiasing-strategie te ontwikkelen voor een pneumothorax-taak, waarbij het de afhankelijkheid van een verwarrende variabele (borstbuisjes) aanzienlijk verminderde zonder menselijke algoritme-instructie.
• Omgaan met schaarse annotaties: In de mixed-supervision setting (5% bounding boxes) ontwierp de agent autonoom een "teacher-student" pseudo-labeling strategie om gebruik te maken van de grote hoeveelheid zwak gesuperviseerde data.
• Iteratieve Code-Refinement: In tegenstelling tot eerdere studies die zich richten op één-shot pipeline-generatie, toont dit werk aan dat herhaaldelijk debuggen en aanpassen van de codebasis leidt tot significante prestatieverbeteringen.

Resultaten

Het systeem leverde consistent prestatieverbeteringen op over alle taken:

• Dermoscopie & Melanoom: De verfijnde modellen verbeterden de AUC en F1-scores significant. Voor de melanoom-taken steeg de AUC van 0,84 naar 0,91 en de sensitiviteit van 0,68 naar 0,74, wat direct aansluit bij de klinische prioriteit om melanomen niet te missen.
• Breukdetectie (Volledig gesuperviseerd): De mAP@50:95 steeg van 0,47 naar 0,51, met name door een betere lokalisatie en minder false positives.
• Breukdetectie (Mixed Supervision): De agent slaagde erin om een strategie te bouwen die gebruikmaakte van pseudo-labels. De recall steeg van 0,51 naar 0,72, wat klinisch cruciaal is (het vermijden van gemiste breuken is belangrijker dan een lichte daling in precisie).
• Pneumothorax (Debiasing):
  • Het model verminderde de reliance op borstbuisjes aanzienlijk.
  • Het percentage false positives dat veroorzaakt werd door de aanwezigheid van een borstbuisje daalde van 60% naar 31%.
  • De partiële correlatie tussen de voorspelling en de aanwezigheid van een borstbuisje (na correctie voor de ware ziekte) daalde met 47% (van 0,48 naar 0,26).
  • Het model gaf minder hoge waarschijnlijkheden voor patiënten zonder pneumothorax maar met een borstbuisje (mediane kans daalde van 0,55 naar 0,38).

Betekenis en Conclusie

Dit onderzoek biedt een proof of concept dat autonome coderingsagenten een brug kunnen slaan tussen klinische intentie en technische uitvoering.

• Toegang tot AI: Het maakt klinische AI-ontwikkeling toegankelijker voor domeinexperts (artsen) die de klinische problemen het beste begrijpen, maar geen diepgaande kennis van deep learning hebben.
• Kwaliteit van Ontwikkeling: Door de vertaalslag te automatiseren, wordt de kans op misalignement tussen de klinische vraag en het technische doel verkleind.
• Beperkingen: Het systeem is momenteel een "autonome integrator" van bestaande technieken en geen bron van fundamentele methodologische innovatie. Het is afhankelijk van de kwaliteit van de validatie-data en de beschikbaarheid van bestaande oplossingen in de literatuur. Het kan geen verborgen, onbekende shortcuts zelfstandig detecteren als deze niet expliciet door de arts worden benoemd.

Kortom, dit werk suggereert een veelbelovende weg naar een meer arts-gedreven AI-ontwikkelingsparadigma, waarbij de agent fungeert als een krachtige interface die de communicatie-overhead verlaagt en de vertaalslag van "klinische zorgvraag" naar "werkend model" versnelt.