Beyond the Embedding Bottleneck: Adaptive Retrieval-Augmented 3D CT Report Generation

Probleemstelling: Het Representatie-Bottleneck

De automatische generatie van radiologieverslagen uit 3D CT-volumes (Computed Tomografie) kampt momenteel met onvolledige dekking van pathologische bevindingen. De auteurs identificeren de oorzaak hiervan niet als een tekortkoming van de taalmodellen (generators), maar als een fundamenteel representatie-bottleneck in de visuele embeddings.

• Dimensionale Concentratie: Analyse van contrastieve 3D CT-embeddings (zoals die van CT-CLIP) toont aan dat, hoewel deze embeddings discriminatieve signalen bevatten (hoge AUC-scores voor pathologie-classificatie), de informatie extreem geconcentreerd is in zeer weinig dimensies. Uit een Principal Component Analysis (PCA) blijkt dat slechts 2 tot 9 effectieve dimensies van de 512 beschikbare dimensies daadwerkelijk signaal dragen.
• Gebrek aan Granulariteit: Deze embeddings kunnen grove pathologische toestanden onderscheiden, maar missen het vermogen om fijne semantische details weer te geven die essentieel zijn voor verslaglegging (zoals laterality, ernst, en co-occurrerende bevindingen).
• Foutieve Aannames: Het schalen van het taalmodel (bijv. van 8B naar 70B parameters) levert geen verbetering op, wat bevestigt dat de beperking in het visuele kanaal ligt en niet in de decoder.
• Mislukte Retrieval: Traditionele, statische retrieval-augmented generation (RAG) werkt niet goed omdat deze afhankelijk is van dezelfde visuele embeddings. Als de embedding geen fijne pathologische details kan onderscheiden, kan beeldgebaseerde retrieval geen relevante gevallen vinden, wat zelfs kan leiden tot een prestatiedaling.

Methodologie: AdaRAG-CT

Om dit bottleneck te omzeilen, stellen de auteurs AdaRAG-CT voor, een adaptief framework dat een aanvullend tekstueel kanaal opent om de tekortkomingen van het visuele kanaal te compenseren.

1. Basisarchitectuur:

   • Het systeem gebruikt een LLaVA-achtige architectuur met een LLM (Llama-3.1-8B of Llama-3.3-70B).
   • Visuele input bestaat uit een globale embedding (van CT-CLIP) en vier orgaanspecifieke embeddings (long, hart, slokdarm, aorta van ViSD-Boost).
   • Deze worden geprojecteerd naar de inputruimte van de LLM.

2. Organ-Indexed Sentence Database:

   • In plaats van alleen op beelden te zoeken, wordt een database opgebouwd uit individuele zinnen uit trainingsverslagen, gelabeld per orgaan en pathologie.
   • Deze zinnen worden geëncodet met een tekstencoder (BiomedVLP-CXR-BERT) en geïndexeerd in FAISS voor efficiënte retrieval.

3. Adaptieve Retrieval (De [RAG] Token):

   • Ingevolgd door Self-RAG, introduceert het model een speciale [RAG]-token in het vocabulaire.
   • Het model leert autonoom te beslissen wanneer deze token moet worden gegenereerd. Dit gebeurt alleen wanneer externe context nuttig wordt geacht voor de huidige generatiestap.
   • Training: Het model wordt getraind in een "oracle-mixed" regime. Het ziet zowel perfecte context (oracle, uit de grondwaarheid) als ruwe retrieval-resultaten. Dit bouwt robuustheid op tegen imperfecte retrieval.
   • Inference: Wanneer de [RAG]-token wordt gegenereerd, wordt de huidige gegenereerde zin gebruikt als query. Er worden zinnen opgehaald uit de database (via twee strategieën: Two-Stage retrieval of Text2Text retrieval) en in de context ingevoegd voordat de zin opnieuw wordt gegenereerd.

4. Retrieval Strategieën:

   • Two-Stage: Eerst coarse filtering op basis van beeld-embeddings (om patiënt-relevante kandidaten te vinden), gevolgd door herordening (re-ranking) via tekst-tekst similariteit en MMR (Maximal Marginal Relevance).
   • Text2Text: Directe zoekopdracht in de tekstdatabase op basis van de gedeeltelijke generatie van het model.

Belangrijkste Bijdragen

1. Diagnose van het Bottleneck: Het leveren van empirisch bewijs dat 3D medische contrastieve embeddings lijden aan "variance-semantic misalignment" en extreem lage effectieve dimensionaliteit (2-9 dimensies), wat de visuele informatiecapaciteit fundamenteel beperkt.
2. AdaRAG-CT Framework: Een adaptief systeem dat de visuele beperkingen compenseert door een gecontroleerd tekstueel kanaal te openen. Het combineert geavanceerde retrieval-strategieën met een leerbaar mechanisme voor selectieve contextgebruik.
3. State-of-the-Art Resultaten: Het bereiken van nieuwe topprestaties op de CT-RATE benchmark, met name in klinische effectiviteit, waarbij bewezen wordt dat zowel de retrieval als de adaptieve generatiecomponent bijdragen aan de verbetering.

Resultaten

De prestaties werden geëvalueerd op de CT-RATE dataset (25.692 CT-studies).

• Klinische Effectiviteit (Clinical F1):
  • De basislijn (zonder RAG) met een 8B model scoorde 0,455.
  • Het 70B model zonder RAG scoorde slechts 0,405 (bevestiging dat schalen zonder betere visuele input niet helpt).
  • AdaRAG-CT (8B) bereikte een Clinical F1 van 0,480, een stijging van +6 punten ten opzichte van de vorige state-of-the-art (CT-Agent, 0,420).
  • Ook het 70B model met AdaRAG-CT verbeterde naar 0,426.
• NLP-metrics: Er waren ook significante verbeteringen in BLEU, ROUGE-L en METEOR scores.
• Ablatie Studies:
  • Vaste intervallen voor contextinvoeging (fixed-interval) waren minder effectief en gevoelig voor hyperparameters.
  • Het adaptieve [RAG]-mechanisme presteerde consistent beter en gebruikte retrieval gemiddeld slechts 1,5 keer per verslag (op vraag), wat aantoont dat het model leert om context selectief in te zetten.
  • Zonder context tijdens inferentie degradeerde het model sterk, wat aantoont dat het echt afhankelijk is geworden van de opgehaalde bewijzen.

Betekenis en Conclusie

Dit werk verschuift het paradigma voor 3D medische rapportgeneratie. In plaats van te proberen de visuele encoder te verbeteren of het taalmodel groter te maken, toont het aan dat retrieval fungeert als een surrogaat visueel kanaal.

• Kerninzicht: De beperking zit niet in de generatiemogelijkheden van het LLM, maar in de armoede van de visuele representatie.
• Oplossing: Door een aanvullend tekstueel kanaal te openen dat fijnmazige pathologische semantiek (zoals locatie en ernst) levert, kan het model de visuele tekortkomingen compenseren.
• Toekomstperspectief: Hoewel AdaRAG-CT een praktische oplossing biedt, blijft de fundamentele oplossing het ontwikkelen van visuele encoders met hogere effectieve dimensionaliteit (bijv. via pathologie-bewust pre-training). Tot die tijd is adaptieve tekstuele retrieval een noodzakelijke en effectieve tussenoplossing voor klinisch bruikbare rapporten.