Technische Samenvatting: SliceWorld

Probleemstelling

CT-rapportgeneratie (CTRG) vereist dat modellen driedimensionale anatomische context en pathologische bevindingen synthetiseren uit honderden axiale CT-schijven. Bestaande benaderingen behandelen CTRG doorgaans als een directe afbeelding-naar-tekst-mappingprobleem of vertrouwen op sequentiële aggregatie van schijfkenmerken. Deze methoden negeren vaak de ruimtelijke en axiaal-sequentiële structuur die inherent is aan volumetrische CT-gegevens. Bijgevolg ontbreken er mechanismen om te modelleren hoe CT-bewijs zich ontwikkelt over aangrenzende schijven heen, of hoe gegenereerde rapporten reageren op gecontroleerde veranderingen in latente laesiegerelateerde factoren. Bovendien bieden huidige methoden geen gestructureerde interne staat die voorspellende analyse of interventie ondersteunt, wat hun vermogen beperkt tot diagnostisch redeneren of robuuste rapportgeneratie onder gedeeltelijke observatie.

Methodologie

De auteurs stellen SliceWorld voor, een CT-specifiek wereld-staatframework dat CTRG herformuleert als een wereldmodelleringprobleem over geordende axiale CT-observaties. In plaats van fysieke ziekteprogressie te simuleren of HU-gewaardeerde afbeeldingen te synthetiseren, leert SliceWorld een latente voorspellende staat die visueel bewijs op schijfniveau vastlegt en analyse van interventies ondersteunt.

Kernarchitectuur

1. CT-codering en constructie van de wereldstaat:

   • Invoer-CT-schijven worden gecodeerd in visuele kenmerken met behulp van een DINOv2 ViT-encoder.
   • Een causale schijf-sequentie-encoder (Mamba) verwerkt de prefixsequentie van kenmerken om een gecontextualiseerde representatie $h_t$ voor elke schijf $t$ te genereren, waarbij toegang tot toekomstige schijven wordt uitgesloten.
   • De representatie $h_t$ wordt ontleed in een factorbewuste wereldstaat $s_t = [a_t; l_t; u_t]$, bestaande uit drie distincte componenten:
     • Anatomie ($a_t$): Codeert stabiele anatomische context.
     • Laesie ($l_t$): Codeert laesiegerelateerd bewijs.
     • Onzekerheid ($u_t$): Codeert voorspellende onzekerheid.
   • Een laesie-aanwezigheidskop voorspelt de waarschijnlijkheid van een laesie in de huidige schijf op basis van $l_t$.

2. Rapportgeneratie:

   • De factorbewuste staten worden geprojecteerd naar "wereldtokens" via een tokenprojector en een MLP met twee lagen, waarbij ze worden gemapt naar de verborgen ruimte van een Groot Taalmodel (LLM).
   • Deze tokens fungeren als een continue prefixcontext voor de LLM, die het rapport autoregressief genereert.

3. Trainingsframework:
   Het model ondergaat een tweestaps trainingsproces:

   • Wereldmodel-pretraining: Uitgevoerd op CT-schijfsequenties (zonder tekstsupservisie) met vier doelen:
     • Meerstaps toekomstige-schijfvoorspelling (MFP): Traineert het model om toekomstige visuele kenmerken op schijfniveau te voorspellen vanuit de huidige prefixstaat, waardoor het leren van axiale dynamiek wordt afgedwongen.
     • Factorbewuste staatlering (FAS): Moedigt specialisatie van de staatsfactoren aan door anatomische continuïteitsregularisatie, laesiesparsiteit, afstemming van onzekerheid op voorspellingmoeilijkheid en supervisie van laesie-aanwezigheid.
     • Contrfactuele voorspelling (CF): Traineert het model om te reageren op interventies. Door de laesiefactor te neutraliseren ($l_t \to 0$), leert het model "laesie-nul"-voorspellingen te produceren. Het doel straalt discrepanties af in niet-laesieschijven (invariantie) en vereist een toename van de voorspellingsfout in laesiegerelateerde schijven wanneer de laesiefactor wordt verwijderd (effect).
   • CTRG-finetuning: De vooraf getrainde wereldstaat-encoder wordt bevroren. De projectielagen en de LLM-decoder worden gefinetuned op gekoppelde CT-rapportgegevens met behulp van standaard autoregressieve verlies om de wereldtoken-interface af te stemmen op rapportgeneratie.

4. Interventiemechanisme:
   Tijdens inferentie kan de laesiefactor worden gemanipuleerd (bijvoorbeeld op nul gezet) terwijl anatomie- en onzekerheidsfactoren constant blijven. Dit produceert een "latente laesie-neutrale" rapportvariant, waardoor gecontroleerde analyse mogelijk is van hoe specifiek laesiebewijs de gegenereerde tekst beïnvloedt zonder de fysieke CT-afbeelding te wijzigen.

Belangrijkste Bijdragen

1. SliceWorld-framework: Het voorstellen van een CT-wereldmodel dat een factorbewuste ruimtelijke staat leert over axiale schijfsequenties, waarbij CTRG wordt behandeld als een voorspellend en controleerbaar representatieprobleem in plaats van een directe mapping.
2. Nieuwe trainingsdoelen: Het introduceren van een trainingsframework dat meerstaps toekomstige-schijfvoorspelling, factorbewuste staatlering en contrfactuele voorspelling van laesiefactoren combineert om representaties te stimuleren die voorspellend, interventiegevoelig en klinisch gestructureerd zijn.
3. Empirische validatie: Uitgebreide experimenten tonen aan dat SliceWorld state-of-the-art resultaten bereikt op benchmarkdatasets (M3D-Cap en CT-RATE), baselines met aanzienlijk grotere LLM-backbones overtreft, en meetbare eigenschappen vertoont zoals meerhorizonvoorspelling, factorafstemming en robuustheid onder observatie met verminderd aantal schijven.

Resultaten

• Prestaties rapportgeneratie: Op M3D-Cap en CT-RATE presteert SliceWorld consequent beter dan bestaande representatieve CTRG-benaderingen (waaronder MedVInT-TD, Med-Flamingo, RadFM en S-LMR) op standaard natuurlijke taalgeneratiemetrics (BLEU, ROUGE, METEOR, BERTScore) en klinisch georiënteerde metrics (RaTEScore, GREEN). Opmerkelijk is dat het zelfs superieure prestaties bereikt met kleinere LLM-backbones (bijvoorbeeld 1,7B–4B parameters) in vergelijking met baselines die 7B–14B-modellen gebruiken.
• Ablatiestudies: Stap-voor-stap ablatie bevestigt dat elke component van de wereldmodeltraining (reconstructie, meerstapsvoorspelling, factorbewuste lerering en contrfactuele voorspelling) bijdraagt aan de uiteindelijke prestaties.
• Voorspellend vermogen: Het model demonstreert het vermogen om toekomstige visuele kenmerken op schijfniveau te voorspellen met een lagere Mean Squared Error (MSE) en een hogere cosinusgelijkheid dan persistentie- en lineaire extrapolatiebaselines, wat valideert dat de geleerde staat voorspellende ruimtelijke informatie behoudt.
• Factorafstemming: Probing-experimenten tonen aan dat de anatomie-, laesie- en onzekerheidsfactoren overeenkomen met hun beoogde klinische signalen (bijvoorbeeld correleren laesiefactoren met laesie-aanwezigheidslabels, en onzekerheidsfactoren met voorspellingmoeilijkheid).
• Gecontroleerde interventie: Selectieve interventie van de laesiefactor (laesie-nul) vermindert succesvol de inhoud van focale laesies in rapporten voor laesie-positieve gevallen, terwijl niet-doelbevindingen behouden blijven en de klinische validiteit intact blijft, wat het vermogen van het model aantoont om rapporten te moduleren op basis van latente factoren.

Betekenis

Het artikel betoogt dat SliceWorld CTRG voorbij de directe volume-naar-tekst-mapping brengt naar een voorspellend en controleerbaar representatie-interface. Door het probleem te frameren als wereldmodellering, biedt de aanpak een gestructureerde interne staat die:

1. De dynamiek van axiale CT-bewijsvoering over schijven heen vastlegt.
2. Manipulatie van latente laesiefactoren ondersteunt voor analyse op rapportniveau.
3. De robuustheid verbetert wanneer slechts een subset van schijven beschikbaar is.

De auteurs positioneren dit als een stap naar meer interpreteerbare en klinisch onderbouwde medische AI, waarbij de interne staat van het model kan worden onderzocht op diagnostische signalen en gemanipuleerd kan worden om het causale effect van specifieke bevindingen op gegenereerde rapporten te begrijpen, in plaats van het model te behandelen als een black-box afbeelding-naar-tekst-converter.