End-to-End PET/CT Interpretation and Quantification with an LLM-Orchestrated AI Agent: A Real-World Pilot Study

Deze pilotstudie toont aan dat een door een groot taalmodel aangestuurd AI-agent end-to-end PET/CT-interpretaties en kwantificering kan uitvoeren met hoge sensitiviteit voor primaire tumoren, hoewel de beoordeling van lymfeknopen en metastasen nog beperkingen vertoont die menselijke supervisie vereisen.

De kern

🕵️‍♂️ De Digitale Detective: Een AI die medische scans "leest"

Stel je voor dat een medische scan (een PET/CT-scan) een enorme, ingewikkelde puzzel is. Normaal gesproken moet een menselijke specialist (een nucleair geneeskundige) deze puzzel oplossen. Die specialist moet eerst de juiste stukjes zoeken, ze op de juiste manier samenvoegen, meten, tellen en uiteindelijk een verslag schrijven. Dit proces is vaak tijdrovend en kan verschillen per ziekenhuis.

De onderzoekers uit dit paper hebben een nieuwe soort "digitale detective" bedacht. Het is geen gewone computer die alleen één ding doet, maar een slimme AI-assistent die het hele proces uit zijn hoofd kan doen, van begin tot eind.

Hoe werkt deze "Digitale Detective"?

In plaats van één grote robot te bouwen die alles zelf doet, hebben de onderzoekers een hoofdcoördinator (een zogenaamde "LLM" of Large Language Model) gebruikt. Je kunt dit zien als een slimme chef-kok in een restaurant:

1. De Chef (De Coördinator): De chef krijgt een bestelling (de medische scan). Hij kijkt niet zelf naar elke groente of elk stukje vlees, maar hij weet precies welke helpers hij nodig heeft.
2. De Helpers (De Tools):
   • De Sorteerder: Haalt de juiste beelden uit de ruwe data (zoals het kiezen van de juiste foto's uit een grote doos).
   • De Meetmeester: Berekent precies hoe groot de tumoren zijn en hoe "hongerig" ze zijn (dit heet SUV-metingen).
   • De Schilder: Tekent de contouren van de tumoren in op de scan.
   • De Verteller: Kijkt naar de beelden en schrijft het verslag op.
3. De Samenwerking: De Chef geeft de opdrachten aan de helpers. Als een helper faalt (bijvoorbeeld omdat een scan beschadigd is), denkt de Chef na en roept hij een andere helper om het toch te proberen.

Wat hebben ze gedaan?

Ze hebben deze "Digitale Detective" getest op 170 patiënten met longkanker. De scan van elke patiënt werd volledig door de AI verwerkt, zonder dat een mens er tussen zat. De AI moest:

• De juiste beelden vinden.
• Alles meten en berekenen.
• Kijken of er kanker is in de longen, de lymfeklieren of elders in het lichaam.
• Een verslag schrijven dat lijkt op wat een menselijke dokter zou schrijven.

Wat waren de resultaten? (De "Scorekaart")

De resultaten waren een mix van "fijn" en "nog wat leren":

• De Hoofdrol (De Tumor in de Long): De AI was perfect (100% succes). Ze vond elke kankergezwel in de longen die er was. Dit is alsof de detective altijd de dader in het hoofd van de kamer vindt.
• De Bijrollen (Lymfeklieren): Hier was de AI een beetje te enthousiast. Ze vond vaak kanker in de lymfeklieren, terwijl het soms gewoon ontstane of onschuldige klieren waren.
  • Vergelijking: Het is alsof de detective elke verdachte in de buurt arresteert, ook de onschuldige buren die gewoon koffie aan het drinken zijn. Ze mistte zelden een echte verdachte, maar riep te veel onschuldigen op.
• De Verwijderde Rollen (Kanker elders in het lichaam): Hier deed de AI het redelijk, maar niet perfect. Ze miste soms heel kleine kankertjes of dacht dat onschuldige plekken kanker waren.
  • Vergelijking: Ze zag de grote bomen, maar miste soms de kleine takjes of dacht dat een oude boomstronk een nieuw kankertje was.

Wat betekent dit voor de toekomst?

Dit onderzoek toont aan dat we een AI kunnen bouwen die het hele proces van scan naar verslag kan regelen, zelfs als de scans van verschillende machines komen en niet allemaal even perfect zijn.

Maar: De AI is nog niet klaar om de menselijke dokter te vervangen.

• Ze is geweldig in het doen van de saaie, repetitieve klusjes (meten, sorteren, eerste verslag schrijven).
• Ze is echter nog niet slim genoeg om de lastige, grijze gebieden (zoals twijfelachtige lymfeklieren) altijd correct te beoordelen.

De conclusie:
Deze AI is als een super-efficiënte stagiair die alle voorbereidingen doet en een eerste verslag schrijft. De menselijke dokter moet dan nog even kijken, de twijfelachtige gevallen controleren en het definitieve oordeel vellen. Het maakt het werk sneller en consistent, maar de menselijke expertise blijft cruciaal voor de moeilijkste gevallen.

Technische samenvatting

Probleemstelling

Hoewel diepe leermodellen (deep learning) de prestaties van individuele taken in de PET-analyse hebben verbeterd, zoals organsegmentatie en laesiedetectie, blijft end-to-end automatisatie van ruwe DICOM-gegevens tot een kwantitatief klinisch rapport beperkt.

• Complexiteit van de werkstroom: Klinische PET/CT-interpretatie vereist een strakke, meervoudige werkstroom die verder gaat dan geïsoleerde taken. Dit omvat het selecteren van de juiste beeldreeksen uit ruwe DICOM-gegevens, registratie, resampling, omrekening naar SUV (Standardized Uptake Values) gebaseerd op metadata, en het synthetiseren van gestructureerde rapporten.
• Heterogeniteit in de praktijk: In real-world klinische omgevingen variëren scanners, acquisitieprotocollen, reconstructie-instellingen en metadata-kwaliteit sterk. Bestaande AI-modellen zijn vaak getraind op 'gestructureerde' datasets en falen bij het omgaan met deze variabiliteit en het coördineren van meerdere downstream-tools onder onzekere omstandigheden.
• Behoefte: Er is een gat in de technologie voor systemen die niet alleen een specifieke taak uitvoeren, maar de volledige interpretatiecyclus kunnen beheren als een autonome agent.

Methodologie

De auteurs ontwikkelden een autonome AI-agent, georkestreerd door een Large Language Model (LLM), die als bewijs van concept (proof-of-concept) de volledige FDG PET/CT-interpretatie voor longkankerstadiëring automatiseert.

1. Architectuur (Drie-laags ontwerp):

• Cognitieve bestuurslaag (Cognitive Control Layer): Een tekstgebaseerd LLM (Gemini-3-flash-preview) fungeert als de "orkestleider". Het plant de analyse, selecteert tools, bewaakt tussentijdse outputs en genereert rapporten. Het werkt volgens een iteratief redeneerkader (Thought–Action–Observation) om stapsgewijs te plannen en fouten te detecteren.
• Tool-abstraktlaag (Tool Abstraction Layer): Vertaalt hoog-niveau verzoeken van de orkestleider naar uitvoerbare functies. Het definieert invoermodaliteiten (PET, CT, masks) en verwachte outputs, waardoor het systeem kan detecteren wanneer een tool faalt en kan schakelen naar back-upstrategieën.
• Uitvoeringslaag (Execution Layer): Python-modules die verantwoordelijk zijn voor DICOM-handling, beeldregistratie, SUV-berekening, visualisatie en het uitvoeren van specifieke deep-learning-modellen.

2. Geïntegreerde Tools:

• Segmentatie: Een AutoPET nnU-Net-model voor volumetrische tumorafbakening en TotalSegmentator voor organsegmentatie op CT-beelden.
• Visuele interpretatie: Een Vision-LLM (Gemini-3-flash-preview) analyseert gegenereerde visualisaties (zoals Maximum Intensity Projections - MIPs en fusie-slices) om laesies te categoriseren (primair, lymfeklier, metastase, fysiologisch).
• Kwantificatie: Automatische berekening van SUVmax, Metabolic Tumor Volume (MTV) en Total Lesion Glycolysis (TLG) op basis van injectie-metadata.

3. Studieopzet:

• Data: Retrospectieve evaluatie op een cohort van 170 patiënten met longkanker (baseline FDG PET/CT) van het Seoul National University Hospital.
• Referentiestandaard: De oorspronkelijke klinische rapporten van experts.
• Doel: Evaluatie van de haalbaarheid van de volledige werkstroom (van DICOM tot rapport) zonder menselijke tussenkomst, en analyse van de diagnostische prestaties.

Belangrijkste Bijdragen

1. Shift van Taak naar Werkstroom: In plaats van het optimaliseren van een enkel model voor segmentatie, demonstreert dit onderzoek een LLM-georkestreerde multi-tool agent die de volledige klinische werkstroom coördineert.
2. Robuustheid in Heterogene Data: Het systeem slaagt erin om om te gaan met variabiliteit in DICOM-gegevens en scanner-protocollen door dynamische tool-selectie en validatie.
3. Foutafhandeling en Back-upstrategieën: Het systeem kan detecteren wanneer kwantitatieve tools falen (bijv. door ontbrekende metadata) en schakelt over naar een kwalitatieve interpretatiemodus gebaseerd op Vision-LLM-analyse van MIP-beelden, waardoor het proces niet volledig stopt.
4. Interactieve Rapportage: De agent genereert gestructureerde conceptrapporten die zowel kwalitatieve bevindingen als kwantitatieve metrics bevatten, gebaseerd op de input van de Vision-LLM.

Resultaten

De agent slaagde erin om de volledige end-to-end werkstroom te voltooien in 170 van de 170 onderzoeken (100% werkstroom-uitvoerbaarheid), met slechts één uitzondering waarbij metadata onvolledig was.

Diagnostische prestaties (vergeleken met expert-rapporten):

• Primair Tumor: 100% sensitiviteit (170/170). Alle primaire longkankers werden correct gedetecteerd.
• Lymfeklierbetrokkenheid (N-stadiëring):
  • Sensitiviteit: 84,8% (84/99).
  • Specificiteit: 39,4% (28/71).
  • Analyse: Veel vals-positieven door lage FDG-opname in lymfeklieren die door experts als reactief of fysiologisch werden beschouwd. Vals-negatieven betroffen vaak kleine of atypische klieren.
• Verre Metastasen (M-stadiëring):
  • Sensitiviteit: 70,2% (33/47).
  • Specificiteit: 65,0% (80/123).
  • Analyse: Vals-positieven werden vaak veroorzaakt door fysiologische opname in darmen of goedaardige botveranderingen. Vals-negatieven betroffen kleine metastasen op atypische locaties (bijv. subtiele botlaesies, pleurale zaailingen).

Foutpatronen: De discrepanties waren systematisch en gerelateerd aan de beperkingen van bestaande segmentatiemodellen en de interpretatie van grenswaarden (borderline uptake), niet aan willekeurige fouten.

Betekenis en Conclusie

Dit onderzoek toont aan dat LLM-georkestreerde AI-agenten de volledige FDG PET/CT-stadiëringswerkstroom kunnen automatiseren in real-world, heterogene klinische data.

• Rol van de AI: Het systeem is niet bedoeld om de arts te vervangen, maar fungeert als een werkstroom-assistent. Het kan repetitieve voorbewerking en kwantificatie automatiseren, wat leidt tot consistente metingen en snellere conceptrapportage.
• Expert Toezicht: Hoewel de detectie van primaire tumoren zeer betrouwbaar is, blijven beoordelingen van lymfeklieren en metastasen kwetsbaar voor systematische fouten. Expert toezicht blijft essentieel, vooral in complexe klinische scenario's.
• Toekomstperspectief: De architectuur is modulair; de prestaties kunnen worden verbeterd door het vervangen van de onderliggende Vision-LLM of segmentatiemodellen zonder de hele orkestratie opnieuw te hoeven bouwen. Dit opent de weg voor schaalbare, geautomatiseerde analyse in grote en diverse beeldvormingscohorten.

Kortom, dit is een belangrijke stap in de richting van autonome klinische workflows, waarbij AI de last van repetitieve taken neemt terwijl de menselijke expertise behouden blijft voor de uiteindelijke diagnose en complexe besluitvorming.