INFORM-CT: INtegrating LLMs and VLMs FOR Incidental Findings Management in Abdominal CT

Probleemstelling

Incidentele bevindingen (toevallige afwijkingen) op abdominale CT-scans zijn zeer frequent, vooral bij oudere patiënten, en kunnen belangrijke klinische implicaties hebben. Hoewel veel van deze bevindingen goedaardig zijn, moeten ze volgens vastgestelde medische richtlijnen worden gerapporteerd en beheerd.
De huidige standaardpraktijk, waarbij radiologen scans handmatig inspecteren, is tijdrovend, vatbaar voor variabiliteit tussen verschillende experts en moeilijk te schalen. Bestaande diep-leringsmethoden (zoals auto-encoders of GANs) zijn vaak beperkt tot het detecteren van specifieke anomalieën of het segmenteren van één orgaan, maar missen een algemene aanpak voor het beheren van diverse incidentele bevindingen over meerdere organen heen volgens complexe klinische protocollen.

Methodologie: Het INFORM-CT Framework

Het paper introduceert INFORM-CT, een nieuw agent-gebaseerd kader dat Large Language Models (LLMs) en Vision-Language Models (VLMs) combineert binnen een "plan-and-execute" architectuur. Het doel is om het proces van detectie, classificatie en rapportage van incidentele bevindingen te automatiseren op basis van medische richtlijnen (vaak in PDF-formaat).

Het systeem bestaat uit drie hoofdfasen:

1. Parsing van Richtlijnen:

   • Medische richtlijnen (PDF's) worden geanalyseerd en omgezet in gestructureerde beslissingsbomen (opgeslagen als JSON).
   • Hiervoor wordt een LLM (GPT-4o) gebruikt in combinatie met LangChain om figuren, tabellen, voetnoten en tekst te interpreteren. De output bevat checks, detecties, metingen en aanbevelingen.

2. Planner-Executor Architectuur:

   • Planner: Een LLM-agent (Claude 3.5) fungeert als planner. Deze leest de geparseerde beslissingsboom en genereert een Python-script dat de klinische logica vertaalt naar uitvoerbare code. De planner gebruikt een reeks vooraf gedefinieerde "base functions".
   • Executor: Deze module voert het gegenereerde Python-script uit. Het script roept de base functions aan om de daadwerkelijke analyse op de CT-scans uit te voeren.
   • Iteratief proces: Het systeem werkt in een cyclus van generatie, uitvoering en feedback. Als het script syntactisch of semantisch fouten bevat, wordt de feedback teruggekoppeld naar de LLM voor hergeneratie totdat een geldig programma is gegenereerd.

3. Base Functions (De uitvoeringslaag):
   Het script maakt gebruik van gespecialiseerde subroutines voor beeldverwerking en AI:

   • Organen- en Tumorsegmentatie: Gebaseerd op modellen zoals TotalSegmentator en nnUNet.
   • Metingen: Berekening van diameter (in mm/cm), grijswaarde-intensiteit (Hounsfield Units) en randdikte (via Hausdorff-afstand).
   • Labeling (VLM): Een labeler-module gebruikt het MERLIN-model (een state-of-the-art 3D VLM voor abdominale CT) om complexe attributen te classificeren (bijv. "goedaardig", "verdacht", "flash-filling") op basis van visuele en tekstuele context.

Kernbijdragen

1. Eerste end-to-end pipeline: Dit is het eerste systeem dat een algemene pipeline voor incidentele bevindingen in het hele abdominale gebied voorstelt, volledig gebaseerd op een LLM/VLM agent-architectuur die zich houdt aan klinische protocollen.
2. Programma-synthese vanuit richtlijnen: Een innovatieve methode om direct vanuit PDF-richtlijnen robuuste Python-programma's te genereren en uit te voeren, in plaats van handmatig code te schrijven voor elke specifieke ziektebeeld.
3. Nieuwe benchmark: De auteurs hebben een nieuwe benchmark ontwikkeld voor abdominale CT-scans (lever, alvleesklier, nieren) met "correcte" aanbevelingen afgeleid van radiologie-rapporten, wat een grondige evaluatie mogelijk maakt.

Resultaten

De prestaties van INFORM-CT zijn getest op een dataset van 6.366 unieke patiënten (specifiek 168 lever-, 188 alvleesklier- en 98 nier-scans) en vergeleken met een pure VLM-baseline (MERLIN) en willekeurige voorspellingen.

• Accuraatheid: INFORM-CT presteert aanzienlijk beter dan de pure VLM-baseline.
  • Lever: 63,09% accuraatheid (INFORM-CT) vs. 12,5% (Pure MERLIN).
  • Nieren: 60,0% vs. 48,8%.
  • Alvleesklier: 41,48% vs. 11,17%.
• Verklareerbaarheid: Het model kan de beslissingsroute (het pad in de beslissingsboom) volgen die leidt tot de aanbeveling. In 54,76% van de gevallen kwam deze uitleg overeen met de redenering in het radiologie-rapport, terwijl MERLIN slechts 4,76% haalde.
• Ablatie-studie: Een studie waarbij de segmentatiemodules werden vervangen door de VLM (MERLIN) liet zien dat de accuraatheid van de aanbevelingen voor de lever daalde van 63,09% naar 20,45%. Dit bevestigt dat gespecialiseerde segmentatiemodellen essentieel zijn en niet volledig kunnen worden vervangen door generieke VLM's.

Betekenis en Conclusie

INFORM-CT vertegenwoordigt een paradigmaverschuiving in de medische beeldanalyse. In plaats van één monolithisch model te trainen om alles te doen, gebruikt het een agente aanpak waarbij een LLM de logica en planning verzorgt en gespecialiseerde tools (VLMs, segmentatie, image processing) de uitvoering doen.

De belangrijkste implicaties zijn:

• Efficiëntie: Het automatiseert een tijdrovend proces voor radiologen.
• Conformiteit: Het zorgt voor strikte naleving van complexe, veranderende klinische richtlijnen (zoals die van de ACR).
• Interpreteerbaarheid: Door het genereren van code en het volgen van beslissingsbomen is het proces transparanter dan "black-box" deep learning modellen.
• Generalisatie: Het systeem kan eenvoudig worden aangepast aan nieuwe richtlijnen of ziekenhuisprotocollen door simpelweg de PDF-richtlijnen te wijzigen, waarna het systeem automatisch nieuwe code genereert.

Het paper concludeert dat hoewel het systeem afhankelijk is van de kwaliteit van de onderliggende segmentatie- en VLM-modellen, de integratie van deze componenten in een planner-executor framework een superieure oplossing biedt voor het complexe probleem van incidentele bevindingen in de abdominale radiologie.