🤖 machine learning

RADIANT-PET: Reasoning-Augmented PET/CT Lesion Segmentation with Large Language Models and Reinforcement Learning

RADIANT-PET is een nieuw raamwerk dat de segmentatie van PET/CT-laesies verbetert door een permissief voxelniveau-model te combineren met een via reinforcement learning geoptimaliseerd groot taalmodel om kandidaten te beoordelen met behulp van gestructureerde tekstuele beschrijvingen en klinische rapporten, waardoor het aantal fout-positieven aanzienlijk wordt verminderd en voorspellingen worden afgestemd op de klinische interpretatie.

Oorspronkelijke auteurs: Jiasheng Wang, Tanun Jitwatcharakomol, Piyawadee Jongpradubgiat, Simeng Zhu

Gepubliceerd 2026-06-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jiasheng Wang, Tanun Jitwatcharakomol, Piyawadee Jongpradubgiat, Simeng Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert specifieke, verborgen schatten (kankerlaesies) te vinden in een gigantische, gloeiende, 3D-kaart van een menselijk lichaam (een PET/CT-scan). Het probleem is dat de kaart vol zit met "ruis"—natuurlijke lichaamswarmte, ontstekingen door een verkoudheid, of zelfs storingen in de camera—die precies lijkt op de schat waar je naar op zoek bent.

Traditionele computerprogramma's proberen deze schatten te vinden door alleen naar het plaatje te kijken. Ze zijn als een bewaker die alleen naar de vorm van een object kijkt. Als het er rond en helder uitziet, markeren ze het als een schat. Maar omdat het lichaam rommelig is, verwart deze bewaker vaak een onschuldige bult met een schat, wat leemt tot veel valse alarmen.

RADIANT-PET is een nieuw systeem dat dit oplost door een "slimme detective" aan het team toe te voegen. Zo werkt het, stap voor stap:

1. De overenthousiaste verkenner (High-Sensitivity Segmentatie)

Eerst gebruikt het systeem een gespecialiseerd computervisiemodel (genaamd HS-UNet) om het lichaam te scannen. Zie dit model als een verkenner die de opdracht krijgt: "Vind alles wat een schat zou kunnen zijn. Het is beter om 100 stenen mee te brengen terwijl je denkt dat het goud is, dan één echte goudklomp te missen."

Het resultaat: Deze verkenner vindt bijna elke echte laesie, maar brengt ook een enorme berg "vals positieven" mee (normale lichaamsdelen die verdacht lijken).

2. De vertaler (Gestructureerde beschrijving)

Het systeem neemt vervolgens elke verdachte plek die de verkenner heeft gevonden en schrijft een gedetailleerde rapportcijferlijst voor deze plek. In plaats van alleen een wazige vlek te tonen, vertaalt het de afbeelding naar een gestructureerde tekstuele beschrijving.

De analogie: Stel je voor dat de verkenner naar een gloeiende plek wijst en zegt: "Het is een heldere, ronde plek die direct naast de linker nier ligt, gevormd als een platgedrukte pannenkoek, en het geeft zeer fel licht."
Het systeem voegt ook context toe: "Deze plek bevindt zich op het niveau van de 6e rib." Het verandert de visuele data in een verhaal.

3. De slimme detective (Het LLM)

Hier gebeurt de magie. Het systeem voert deze "rapportcijferlijsten" in een Large Language Model (LLM)—een type AI dat heel goed is in lezen en redeneren, vergelijkbaar met hoe een menselijke arts denkt.

De taak: De detective leest het rapport: "Deze plek ligt naast de nier en ziet eruit als een platgedrukte pannenkoek." De detective gebruikt vervolgens zijn medische kennis om te beslissen: "Ah, dat klinkt als normale nieractiviteit, niet als een tumor. Verwerp dit." Of: "Dat klinkt als een echte tumor. Houd deze erin."
De bonus: Als de patiënt een schriftelijk verslag heeft van een menselijke arts (een radiologieverslag), kan de detective dat ook lezen! Het kan de afbeeldingbeschrijving kruisen met de aantekeningen van de arts, zoals een detective een getuigenverklaring controleert tegen de plaats van het misdrijf.

4. Het trainingskamp (Reinforcement Learning)

Om de detective nog scherper te maken, hebben de auteurs gebruikgemaakt van een methode genaamd Reinforcement Learning (specifiek GRPO).

De analogie: Stel je voor dat de detective een student is die een toets maakt. Elke keer dat hij een echte tumor correct identificeert of een neptumor correct verwerpt, krijgt hij een "gouden ster" (een beloning). Elke keer dat hij een fout maakt, krijgt hij een "strafpunt" (een penalty).
Door duizenden oefentoetsen leert de detective precies welke patronen hij moet zoeken en hoe hij door lastige gevallen moet redeneren, waardoor hij uiteindelijk veel beter wordt in het onderscheiden van echte kanker van onschuldige lichaamsruis dan de oorspronkelijke beeldgebaseerde programma's.

De resultaten

Het paper testte dit systeem op lymfoompatiënten.

Zonder de detective: De beeldgebaseerde programma's waren goed in het vinden van plekken, maar slecht in het weten welke echt waren, wat leidde tot veel fouten.
Met de detective (RADIANT-PET): Het systeem filterde de "ruis" (valse alarmen) succesvol uit terwijl het de echte schatten behield.
Met de aantekeningen van de arts: Wanneer de detective de mogelijkheid kreeg om de radiologieverslagen te lezen, presteerde hij het beste van allemaal en behaalde hij de hoogste nauwkeurigheid.

Kortom: RADIANT-PET kijkt niet alleen naar het plaatje; het leest het plaatje, beschrijft het, en gebruikt een slimme AI-detective om door de aanwijzingen te redeneren, zodat wat als een tumor wordt geteld, ook daadwerkelijk een tumor is.

Technische Samenvatting: RADIANT-PET

Probleemstelling

Nauwkeurige segmentatie van laesies in PET/CT-beelden is cruciaal voor de oncologie, met name voor de stadiëring van lymfomen en prognostische modellering (bijv. na CAR T-celtherapie). Zuiver op beeld gebaseerde segmentatiemodellen worstelen echter met het onderscheid tussen maligne opname en fysiologische traceropname, ontsteking, infectie of beeldartefacten. Bestaande alleen op beeld gebaseerde benaderingen, inclus including de state-of-the-art nnUNet-varianten, zijn er niet in geslaagd om Dice Similarity Coefficient (DSC) waarden boven de 0,8 te bereiken, wat vaak resulteert in significante fout-positieven die de metabole tumorvolume (MTV) metingen verstoren. De auteurs hypothetiseren dat deze beperking voortkomt uit het ontbreken van expliciete medische redeneervermogens in huidige segmentatiepipelines, die uitsluitend vertrouwen op visuele patronen in plaats van anatomische context en klinische kennis te integreren.

Methodologie

Het artikel stelt RADIANT-PET voor (Reasoning-Augmented Description–Inference Network for PET), een tweestaps hybride framework dat de kandidaatgeneratie ontkoppelt van de adjudicatie op laesieniveau.

1. Hooggevoelige Kandidaatgeneratie (HS-UNet)

De eerste fase geeft prioriteit aan recall om ervoor te zorgen dat geen enkele ware laesie wordt gemist, waarbij een hoger aantal fout-positieven wordt geaccepteerd.

Modelarchitectuur: Gebaseerd op nnUNet-v2, de winnaar van de AutoPET III FDG sub-track.
Trainingsdoel: De verliesfunctie wordt doelbewust permissief aangepast. Deze combineert een Tversky loss (met $\alpha=1, \beta=0$ om straffen voor fout-positieven te verminderen) en een Asymmetrische Cross-Entropy (ACE) loss (die fout-negatieven benadrukt met $\lambda_{FN}=8.0$ ).
Inference: De beslissingsdrempel wordt verlaagd van 0,5 naar 0,1 om de sensitiviteit te maximaliseren.
Alternatief: Een vaste SUV-drempelwaarde (SUV $\ge$ 2,5) wordt ook gebruikt als klinische standaard baseline voor kandidaatgeneratie.
Post-processing: Een watershed splitting algoritme scheidt samenvloeiende opnamegebieden. Grenzen worden gevalideerd via SUV-valley checks om te waarborgen dat splitsingen overeenkomen met echte metabole scheidingen in plaats van geometrische artefacten.

2. Gestructureerde Beschrijvinggeneratie

Elk kandidaatgebied wordt omgezet in een gestructureerde tekstuele beschrijving (JSON-formaat) bevattende:

Kwantitatieve Kenmerken: Voxeldichtheid, 3D-vormbeschrijvers (elongatie, sfericiteit, etc.), en PET-intensiteitsmetingen ( $SUV_{max}$ , $SUV_{mean}$ ).
Lokale Anatomische Context: Overlappingspercentages met organen die gesegmenteerd zijn door TotalSegmentator en relatieve positievectoren.
Globale Anatomische Context: Toewijzing van het wervelniveau (bijv. T6) en lokalisatie ten opzichte van het centrum van het lichaam.

3. LLM-gebaseerde Adjudicatie met Reinforcement Learning

Een Large Language Model (LLM) evalueert de gestructureerde beschrijvingen om kandidaten te classificeren als "ware laesie" of "fysiologische opname".

Basismodel: Een lokaal 20-miljard parameter model (gpt-oss-20b) wordt gebruikt om privacy bij klinische implementatie te waarborgen.
Input: Gestructureerde JSON-beschrijvingen, optioneel aangevuld met vrije tekst uit radiologieverslagen.
Optimalisatie (GRPO): Het model wordt gefinetuned met behulp van Group Relative Policy Optimization (GRPO), een reinforcement learning algoritme.
- Beloningsfunctie: Een samengestelde beloning telt op:
  1. Binaire Correctheid: +1 voor correcte klasse, -1 voor wederzijds uitsluitende fouten.
  2. Anatomische Lokalisatie: +2 voor exacte locatie match, +1,5 voor match binnen een equivalentie groep.
  3. Redeneringsregularisator: -0,5 straf als de redeneringstrace faalt in het refereren aan $SUV_{max}$ , wat garandeert dat het model gebruikmaakt van beeldkenmerken.
Trainingsdata: Modellen werden getraind op AutoPET en een interne OSU-cohort (met en zonder radiologieverslagen).

Belangrijkste Bijdragen

Reasoning-Augmented Framework: Een nieuwe pipeline die conventionele hooggevoelige segmentatie koppelt aan een LLM-gebaseerde redeneerstap om kandidaten te adjudiceren, waarmee men verder gaat dan pure pixel-niveau classificatie.
Reinforcement Learning voor Medisch Redeneren: Toepassing van GRPO om LLM-laesie-adjudicatie te optimaliseren, waarbij direct wordt getarget op classificatienauwkeurigheid en anatomische plausibiliteit.
Natieve Rapportintegratie: Directe incorporatie van radiologieverslagen als context, waardoor de LLM in staat is om interpretaties van artsen en klinische narratieven te benutten tijdens het redeneerproces.

Resultaten

Het framework werd geëvalueerd op de AutoPET-Test en een interne OSU-Test cohort.

Kandidaatgeneratie: De aangepaste HS-UNet behaalde een hogere sensitiviteit (0,88) dan de baseline nnUNet-v2 (0,63) op de OSU-Test, met een significant verbeterde DSC (0,58 vs. 0,34) vergeleken met eenvoudige drempelwaarde-segmentatie.
LLM Prestaties: GRPO fine-tuning verbeterde de gpt-oss-20b aanzienlijk. Zonder verslagen behaalde het RL-getunede model een F1 van 0,68 (vs. 0,52 voor het basismodel). Met verslagen bereikte het een F1 van 0,76, vergelijkbaar met sterke propriëtaire modellen (bijv. Gemini-Flash-3.0).
Segmentatie Prestaties:
- Zonder Verslagen: RADIANT-PET (met gebruik van de RL-getunede LLM) presteerde beter dan de nnUNet-v2 baseline op zowel AutoPET-Test (DSC 0,82 vs. 0,78) als OSU-Test (DSC 0,77 vs. 0,72).
- Met Verslagen: De beste prestatie werd bereikt door de combinatie van HS-UNet kandidaten, de RL-getunede LLM en radiologieverslagen, wat een DSC van 0,84 en een Mean Absolute Percentage Error (MAPE) van 0,16 voor MTV opleverde op de OSU-Test. Dit vertegenwoordigt een substantiële verbetering ten opzichte van de nnUNet-v2 baseline (DSC 0,72, MAPE 0,83).

Betekenis en Claims

Het artikel claimt dat RADIANT-PET aantoont dat LLM-gebaseerd redeneren op laesieniveau dient als een effectieve post-segmentatie adjudicatielaag. Door een redeneerstap toe te voegen die opname-intensiteit, morfologie en anatomische context evalueert, slaagt het framework erin om fysiologische fout-positieven te onderdrukken terwijl de sensitiviteit behouden blijft.

De auteurs benadrukken dat:

Expliciet redeneren waarde toevoegt bovenop enkel extra klinische context, aangezien RL-getunede modellen de image-only baselines evenaarden of overtroffen, zelfs zonder verslagen.
De integratie van radiologieverslagen een sterk complementair signaal biedt, waardoor beeldgebaseerde bevindingen worden afgestemd op de interpretatie van de arts.
Het gebruik van een lokale LLM die via GRPO is geoptimaliseerd, een privacy-bewuste alternatief biedt voor propriëtaire modellen, waardoor het prestatieverschil in klinische implementatiescenario's wordt verkleind.

De studie is beperkt tot lymfoom FDG PET/CT en leunt op upstream orgaansegmentatie en handmatige kenmerken, maar het vestigt een nieuw paradigma voor de integratie van medisch redeneren in geautomatiseerde beeldverwerkingsworkflows.