Technische Samenvatting: Resolutie Ontmoet Reductie: Efficiënte Visuele Context voor 3D Radiologieverslaggeneratie

Probleemstelling

Vision-language modellen (VLM's) bieden een veelbelovende weg voor het automatiseren van de generatie van radiologieverslagen. Het toepassen van deze modellen op volledige 3D Computed Tomography (CT) volumes brengt echter aanzienlijke computationele uitdagingen met zich mee. Moderne fundamentele vision encoders (VE's) kunnen tienduizenden visuele tokens per scan genereren, wat een primaire bottleneck vormt voor het downstream Large Language Model (LLM). Hoewel vision-to-language projectoren deze sequentie kunnen comprimeren om de berekening te verminderen, brengt agressieve compressie het risico met zich mee dat klinisch relevante details verloren gaan. Omgekeerd vereist het behoud van hoog-resolutie inputs effectieve compressiestrategieën om een vastgesteld downstream token-budget te handhaven.

De centrale ontwerpvraag die door dit werk wordt geadresseerd, is hoe de "visuele token-budget" optimaal moet worden toegewezen over drie concurrerende dimensies:

1. Input Field of View (FOV): Volledige volume-encodering versus anatomisch gestuurde Region of Interest (ROI) cropping.
2. Ruimtelijke Resolutie: Standaard resolutie versus hogere-resolutie inputs.
3. Vision-to-Language Projectie: De keuze van de projectorarchitectuur en de compressieratio ervan.

Methodologie

De auteurs stellen een systematisch evaluatiekader voor gebaseerd op een standaard drie-fasen LLaVA-stijl VLM-architectuur: een bevroren pre-trained Vision Encoder, een trainbare vision-to-language projector, en een instructie-getunede LLM.

Experimentele Opstelling

• Datasets: Twee grootschalige CT-verslag datasets werden gebruikt: CT-RATE (50k+ borst-CT's) en Merlin (25k+ abdominale CT's).
• Vision Encoders (VE's): Vier heterogene medische fundamentele modellen werden getest:
  • Primus: Een 3D Vision Transformer (ViT).
  • Curia: Een 2D ViT die axiale slices onafhankelijk encodeert.
  • Merlin: Een 3D CNN (ResNet-gebaseerd).
  • CT-FM: Een 3D CNN (SegResNet-gebaseerd).
• Projectors: Vijf token-reducerende projectoren werden geëvalueerd naast een token-preserverende MLP baseline:
  • Grid-gebaseerd: AveragePool, ConcatAdapter, TokenPacker.
  • Query-gebaseerd: AttentionPool, PerceiverResampler.
  • Compressieratio's: Geëvalueerd tot 64× compressie.
• LLM's: Vijf instructie-getunede modellen variërend van 1.7B tot 4B parameters (Qwen3, Qwen3-VL, Phi-4-mini, Gemma3).
• Evaluatiemetric: Clinical Macro F1 was de primaire metric, berekend met behulp van fine-tuned classifiers (RadBERT voor CT-RATE, ModernBERT voor Merlin) getraind op LLM-geëxtraheerde labels. Lexicale metrics (BLEU, ROUGE) werden alleen gerapporteerd voor definitieve vergelijkingen.

Input Regimes

De studie vergeleek drie inputstrategieën onder een vast LLM-tokenbudget:

1. Whole: Het coderen van het volledige geresize volume.
2. ROI: Croppen naar een anatomische ROI (longen voor CT-RATE, volledige lichaamsforeground voor Merlin) met behulp van TotalSegmentator.
3. High Resolution: Het verhogen van de effectieve resolutie via multi-block encoding (Primus-4B) of dichtere axiale feature aggregatie (Curia-64S).

Belangrijkste Bijdragen

1. Systematische Evaluatie van Ontwerpkeuzes: Dit is de eerste gecontroleerde studie die de input FOV en resolutie ontkoppelt van het LLM-tokenbudget, waarbij de interactie tussen VE's, projectoren en LLM's systematisch wordt geëvalueerd over twee grote datasets.
2. ROI Cropping als een Consistente Strategie: De studie identificeert anatomisch gestuurde ROI cropping als de meest robuuste interventie. Het verbetert de klinische macro F1 in 19 van de 20 configuraties, met gemiddelde winsten van +3.7 punten voor Primus en +1.1 punten voor Curia.
3. Projector-Afhankelijke Resolutievoordelen: Het paper demonstreert dat het verhogen van de input-resolutie niet universeel voordelig is; het succes ervan is sterk afhankelijk van het aggregatiemechanisme van de projector. Alleen projectoren die in staat zijn tot effectieve sterke compressie (TokenPacker en PerceiverResampler) profiteren van hogere-resolutie inputs.
4. Dominantie van de Encoder: De keuze van de Vision Encoder blijkt een grotere impact te hebben op de prestaties dan de keuze van de LLM. ViT-gebaseerde encoders (Primus, Curia) presteerden significant beter dan CNN-gebaseerde encoders (Merlin, CT-FM).
5. State-of-the-Art Prestaties: De voorgestelde configuraties behalen nieuwe state-of-the-art resultaten op beide benchmarks, met een klinische macro F1 van 49.5 op CT-RATE en 49.0 op Merlin.

Resultaten

• ROI versus Whole Volume: ROI cropping presteerde consequent beter dan whole-volume encoding. Voor de 3D ViT (Primus) was de winst aanzienlijk (+3.7 F1), waarschijnlijk door de verhoogde effectieve resolutie binnen het vaste tokenbudget. Voor de 2D ViT (Curia), die al opereert nabij de native in-plane resolutie, was de winst kleiner (+1.1 F1).
• Impact van Hoge Resolutie:
  • Op CT-RATE leidde een hogere resolutie niet tot verbetering voor Primus (het bereikte een resolutieplafond), maar profiteerde Curia ervan wanneer het werd gecombineerd met de PerceiverResampler.
  • Op Merlin profiteerden beide encoders consistent van een hogere resolutie wanneer ze werden gekoppeld aan TokenPacker of PerceiverResampler, met name voor het detecteren van kleine pathologieën zoals renale cysten en galstenen.
  • Grid-gebaseerde projectoren zoals ConcatAdapter en AveragePool vertoonden vaak degradatie bij hogere resoluties door informatieverlies of een explosie van het aantal parameters.
• Token Compressie:
  • Token-preserverende MLP's presteerden over het algemeen beter dan token-reducerende projectoren voor de Primus encoder.
  • Voor Curia overtrof de PerceiverResampler bij 64× compressie de ongecomprimeerde MLP baseline (49.2 versus 48.5 op CT-RATE).
  • TokenPacker was de sterkste gecomprimeerde projector voor Primus op de Merlin dataset.
  • ConcatAdapter vertoonde ernstige prestatiedegradatie onder hoge compressie door de schaling van de inputdimensie en het aantal parameters.
• LLM Invloed: Hoewel de keuze van de LLM de prestaties beïnvloedde (variaties van 2.2–5.3 F1), was dit minder invloedrijk dan de keuze van de VE (variaties >10 F1). Opvallend genoeg presteerden modellen geïnitialiseerd vanuit multimodale pretraining (Qwen3-VL) beter dan hun tekst-alleen tegenhangers (Qwen3-1.7B), zelfs wanneer de native vision tower werd vervangen.

Betekenis en Claims

Het paper claimt dat de allocatie van het visuele token-budget een kritische ontwerpvariabele is voor schaalbare 3D radiologieverslaggeneratie. De auteurs benadrukken dat:

• ROI cropping de meest consistente en effectieve strategie is om de klinische prestaties te verbeteren zonder de computationele kosten te verhogen.
• De projectorarchitectuur bepaalt of hogere-resolutie inputs voordelig zijn; eenvoudige pooling- of concatenatiestrategieën falen bij het benutten van hoog-resolutie data onder sterke compressie, terwijl query-gebaseerde of gestructureerde aggregatie (PerceiverResampler, TokenPacker) slaagt.
• Foundation Model Adaptatie: De keuze van de Vision Encoder is de dominante factor in het systeemprestatie, wat suggereert dat toekomstige inspanningen zich moeten richten op het adapteren van robuuste medische fundamentele modellen in plaats van enkel het optimaliseren van LLM's.
• Klinische Relevantie: De studie benadrukt dat lexicale metrics onbetrouwbaar zijn voor de kwaliteit van medische verslagen, en dat klinische macro F1 afgeleid van geautomatiseerde classifiers een betekenischere evaluatie biedt van diagnostische correctheid.

De auteurs concluderen dat hoewel de hardwarecapaciteiten toenemen, de vraag naar efficiënt gebruik van visuele tokens zal groeien met hogere-resolutie beeldvorming en grotere modellen. Daarom blijft het zorgvuldige ontwerp van het input-regime en de projector centraal staan bij het bereiken van state-of-the-art 3D radiologieverslaggeneratie.