Technische Samenvatting: MedScribe – Klinisch Onderbouwde CT-Rapportage via Agentische Werkstromen

Probleemstelling

Huidige Medische Vision-Language Modellen (VLM's) voor het genereren van radiologierapporten staan voor aanzienlijke beperkingen wanneer ze worden toegepast op 3D-Computed Tomography (CT)-beeldvorming. Bestaande benaderingen vertrouwen doorgaans op globale embedding-compressie van volumetrische data, waarbij een vaste embedding wordt gegenereerd uit het volledige 3D-volume voordat tekst wordt gegenereerd. Deze "single-pass" encoding creëert een informatieknelpunt dat vaak subtiele pathologische patronen corrumpeert en leidt tot gehallucineerde bevindingen. Bovendien ontbreken deze modellen mechanismen om expliciet te verifiëren welke anatomische regio's een gegenereerde bevinding aandrijven, wat resulteert in rapporten die geen nauwkeurige correspondentie hebben met onderliggend pathologisch bewijs en lijden aan beperkte anatomische onderbouwing. Hoewel recente datasets zoals CT-RATE de ontwikkeling van 3D-native modellen hebben mogelijk gemaakt (bijv. CT-CHAT, CT2Rep), erven ze nog steeds de beperkingen van ViT-gebaseerde encoders en kunnen ze klinische hypothesen niet expliciet valideren tegen volumetrische data.

Methodologie: MedScribe Framework

MedScribe herformuleert 3D-radiologierapportage niet als een single-pass encoding-taak, maar als een iteratief, hypothesegedreven proces voor bewijswerving. Geïnspireerd door het Reasoning and Acting (ReAct)-framework, opereert MedScribe als een tool-verrijkte agent die linguïstisch redeneren ontkoppelt van visuele perceptie.

Kernwerkstroom

1. Sequentieel Besluitvormingsproces: In plaats van de volledige CT-scan ($V$) te comprimeren tot een vaste embedding, behandelt MedScribe rapportgeneratie als een reeks redeneerstappen ($T$). De agentstatus op stap $t$ wordt gedefinieerd als $s_t = (q, E_t)$, waarbij $q$ de gebruikersvraag is en $E_t$ het geaccumuleerde bewijs.
2. Tool-aanroep: De Large Language Model (LLM) fungeert als een centraal redenerend agent. Op elke stap kiest het een actie $a_t$ uit een set pathologie-specifieke diagnostische tools ($\mathcal{A}$). Deze tools zijn geen geleerde parameters, maar externe modules die gelokaliseerde volumetrische kenmerken extraheren.
   • Kenmerkextractie: Tools maken gebruik van segmentatiemodellen (bijv. TotalSegmentator) en radiomics-analyse om gestructureerde beschrijvers ($f_t$) te produceren, waaronder volumetrische metingen, intensiteitsstatistieken (Hounsfield Units) en anatomische coördinaten (laterale kant, oriëntatie).
   • Lokale Toegang: Het CT-volume wordt uitsluitend lokaal toegankelijk gemaakt via deze tool-aanroepen, waardoor globale downsampling wordt vermeden.
3. Multidimensionale RAG-Opvraging: De gestructureerde kenmerkvectoren $f_t$ worden gebruikt om een multidimensionale Retrieval-Augmented Generation (RAG)-ruimte op te vragen. Deze ruimte is gebaseerd op kwantitatieve radiomics-beschrijvers en tekstfragmenten uit de CT-RATE referentiedataset.
   • Het systeem haalt de top $k$ vergelijkbare referentiegevallen op op basis van kenmerkproximiteit (L2-afstand).
   • Opgehaalde fragmenten bieden onderbouwde visueel-tot-tekstuele koppelingen, waardoor de LLM hypothesen kan verifiëren tegen real-world voorbeelden.
4. Bewijsaccumulatie & Synthese: De bewijsset $E_{t+1}$ wordt bijgewerkt met de nieuwe kenmerken en opgehaalde tekst. De lus gaat door totdat de LLM bepaalt dat voldoende bewijs is geaccumuleerd (wat een STOP-actie triggert). Ten slotte synthetiseert de LLM het definitieve rapport $r = g(q, E_T)$.

Operationele Modi

Het framework ondersteunt twee onderscheiden modi:

• MedScribe-Template: De agent begint met een neutraal standaardrapport en bouwt iteratief bewijs op met behulp van tools.
• MedScribe-VLM: De agent fungeert als een geautomatiseerde reviewer, initialiserend de bewijsset met een concept van een baseline VLM en roept vervolgens tools aan om bevindingen te verifiëren of te corrigeren.

Belangrijkste Bijdragen

1. Agentisch Framework voor 3D-Rapportage: Een nieuwe architectuur die linguïstisch redeneren ontkoppelt van visuele perceptie via iteratieve tool-aanroepen, weg van statische end-to-end encoders.
2. Kwantitatieve RAG-Ruimte: Een multidimensionale opvragingsruimte die is voorwaardelijk op kwantitatieve anatomische beschrijvers (radiomics) in plaats van statische tekst of visuele embeddings, wat feitelijke onderbouwing garandeert.
3. Zero-Shot Prestaties: Het framework bereikt state-of-the-art resultaten zonder taakspecifieke fine-tuning van de onderliggende LLM, en vertrouwt in plaats daarvan op de redeneercapaciteiten van frontier-modellen (bijv. Llama 3.1-8B) en gestructureerde tool-output.

Experimentele Resultaten

Experimenten werden uitgevoerd op de CT-RATE (primair) en RadChestCT (generaliseerbaarheid) datasets, waarbij MedScribe werd vergeleken met state-of-the-art VLM's, waaronder CT-CHAT, Gemini 2.5 Flash, MedGemma en VILA-M3.

• Klinische Nauwkeurigheid: MedScribe toonde superieure prestaties in pathologie-classificatie (F1-scores) voor bijna alle 18 geëvalueerde pathologieën in vergelijking met baseline VLM's. De "MedScribe-Template" configuratie presteerde consequent beter dan alle baselines.
• Feitelijke Onderbouwing: Het framework verbeterde significant fijnmazig anatomisch redeneren, met name in laterale voorspelling (links/rechts) voor pleurale effusies, een taak waarbij baseline VLM's worstelden.
• Ablatiestudies:
  • Het verwijderen van het RAG-component (alleen vertrouwen op ruwe kenmerken) veroorzaakte een aanzienlijke daling in precisie (0,18 versus 0,36), wat de noodzaak van opvraging onderstreept voor het verminderen van vals-positieven.
  • Het verwijderen van de agentische lus (alle tools tegelijkertijd verstrekken) resulteerde in lagere prestaties, wat de waarde van iteratief redeneren bevestigt.
  • Het vervangen van de LLM-synthese door regelgebaseerde classifiers handhaafde classificatiemetrics, maar faalde bij tekstgeneratie en laterale taken, wat de noodzaak van LLM-synthese onderstreept.
• Sensitiviteit: Prestatieachteruitgang werd waargenomen in gevallen met onbetrouwbare segmentatie (oversegmentatie), wat bevestigt dat de interpreteerbaarheid van de pijplijn fouten toelaat om te lokaliseren naar specifieke anatomische regio's in plaats van globale storing te veroorzaken.

Betekenis en Claims

Het artikel stelt dat MedScribe een klinisch gemotiveerde inductieve bias biedt voor gestructureerde rapportage door een transparante bewijsketen af te dwingen. In tegenstelling tot passieve VLM's die data comprimeren tot ondoorzichtige embeddings, accumuleert MedScribe expliciet kwantitatief bewijs voorafgaand aan synthese.

De auteurs claimen dat deze aanpak:

• Hallucinaties Vermindert: Door bevindingen te onderbouwen met geëxtraheerde numerieke beschrijvers en opgehaalde referentiegevallen, minimaliseert het framework niet-onderbouwde claims.
• Interpreteerbaarheid Versterkt: De faalmodi zijn traceerbaar naar specifieke componenten (bijv. segmentatiefouten of tool-beperkingen), in tegenstelling tot het "black box"-karakter van end-to-end modellen.
• Schaalbaarheid: Het framework is uitbreidbaar; prestatiewinst wordt gedreven door de kwaliteit van de toolbibliotheek en de redeneercapaciteiten van de LLM, wat suggereert dat het toevoegen van tools voor momenteel ondervertegenwoordigde pathologieën (bijv. interstitiële longziekte) de dekking direct zou verbeteren.

Het artikel concludeert dat hypothesegedreven redeneren, waarbij het model actief volumetrische data opvraagt voor specifiek bewijs, een noodzakelijke paradigmaverschuiving vertegenwoordigt voor betrouwbare 3D-medische beeldrapportage, waarbij state-of-the-art resultaten worden bereikt zonder de behoefte aan uitgebreide taakspecifieke fine-tuning.