TRACE: Temporal Radiology with Anatomical Change Explanation for Grounded X-ray Report Generation

Technische Samenvatting: TRACE – Temporal Radiology with Anatomical Change Explanation

Probleemstelling
Klinische radiologie leunt zwaar op de temporele vergelijking van thoraxfoto's om ziekteprogressie, behandelrespons en nieuwe bevindingen te detecteren. Hoewel bestaande geautomatiseerde methoden de vooruitgang hebben geboekt in rapportagegeneratie voor enkelvoudige afbeeldingen en visuele gronding, schieten ze tekort in het adresseren van de cruciale behoefte aan temporele veranderingsdetectie. Huidige benaderingen vallen doorgaans uiteen in drie disjuncte categorieën: (1) rapportagegeneratie voor enkelvoudige afbeeldingen mist de temporele context; (2) temporele classificatiemethoden detecteren progressie maar geven alleen labels zonder ruimtelijke lokalisatie; en (3) gegronde rapportagegeneratie lokaliseert bevindingen maar werkt op basis van enkelvoudige afbeeldingen zonder temporele redenering. Bijgevolg is er geen bestaande methode die gelijktijdig temporele vergelijking, veranderingsclassificatie (verslechterd/verbeterd/stabiel) en ruimtelijke lokalisatie uitvoert om gegronde rapporten te genereren die beschrijven wat er veranderde, waar het gebeurde en hoe.

Methodologie
De auteurs introduceren TRACE (Temporal Radiology with Anatomical Change Explanation), een uniform framework ontworpen om natuurlijke taalrapporten te genereren met bounding box-coördinaten voor intervalveranderingen tussen een eerdere en een huidige thoraxfoto.

• Architectuur: TRACE is gebouwd op het LLaVA-framework, waarbij gebruik wordt gemaakt van een bevroren BioViL-T visuele encoder (voorgetraind op thoraxfoto's met temporeel bewustzijn) en een groot taalmodel (LLM) decoder (Vicuna-7B of Mistral-7B).
• Feature Fusion: In plaats van expliciete verschilafbeeldingen of temporele aandachtmodules te gebruiken, hanteert het model feature concatenatie. Kenmerken uit de eerdere en de huidige afbeelding worden onafhankelijk geëxtraheerd met gedeelde gewichten en samengevoegd tot een sequentie van 392 visuele tokens. Het zelf-aandachtmechanisme van de LLM handelt de cross-image vergelijking impliciet af.
• Trainingsstrategie: Het model wordt in twee fasen getraind:
  1. Alignment: De MLP-projector wordt getraind om visuele kenmerken af te stemmen op de embeddingruimte van de LLM.
  2. Instruction Tuning: End-to-end fine-tuning met behulp van Low-Rank Adaptation (LoRA) op de LLM om gegronde temporele rapporten te genereren. Het trainingsdoel minimaliseert de negatieve log-likelihood voor doel-tokens, die natuurlijke taalbeschrijvingen en genormaliseerde bounding box-coördinaten (bijv. <box>x1,y1,x2,y2</box>) bevatten.
• Dataset: Het model wordt getraind op een geconstrueerde dataset van 79.202 trainingsmonsters en 22.553 testmonsters, afgeleid van MIMIC-CXR-JPG en Chest ImaGenome. Deze dataset koppelt opeenvolgende studies van dezelfde patiënt aan gegronde temporele annotaties die aangeven of bevindingen zijn verslechterd, verbeterd of stabiel zijn gebleven.

Belangrijkste Resultaten

• Prestaties: TRACE bereikt een nauwkeurigheid van 48,0% op de uitdagende drieweg-veranderingsclassificatietaak (verslechterd, verbeterd, stabiel). Het vertoont een hoge ruimtelijke precisie met 90,2% grondingsnauwkeurigheid (IoU > 0,5) en sterke klinische effectiviteitsscores (RadGraph F1: 0,406; CheXbert F1: 0,432).
• Ablatieonderzoek (Emergent Vermogen): Een cruciale bevinding is dat veranderingsdetectie een emergent vermogen is dat de gezamenlijke leerprocessen van temporele vergelijking en ruimtelijke gronding vereist.
  • Modellen met toegang tot beide afbeeldingen maar zonder grondings-supervisie faalden volledig en voorspelden "stabiel" voor alle monsters (43,8% nauwkeurigheid, wat overeenkomt met de meerderheidsbaseline).
  • Modellen met een enkele afbeelding (die de eerdere studie missen) faalden ook in het genereren van temporele vergelijkingen.
  • De auteurs hypothetiseren dat gronding een noodzakelijk ruimtelijk aandachtmechanisme biedt, dat het model dwingt zich op specifieke anatomische regio's te concentreren om betekenisvolle temporele redenering mogelijk te maken.
• Anatomische Dispariteiten: De prestaties variëren per anatomie. Het model detecteert veranderingen in de hartcontour (68,8%) en het mediastinum (75,5%) nauwkeuriger dan veranderingen in het longparenchym (~45%), waarschijnlijk door de diffuse en subtiele aard van pulmonale pathologieën.
• Modelgevoeligheid: Een vergelijking tussen Vicuna-7B en Mistral-7B onthulde een trade-off tussen sensitiviteit en specificiteit. Vicuna-7B gaf de voorkeur aan conservatieve "stabiel"-voorspellingen (hoge specificiteit), terwijl Mistral-7B agressieve veranderingsdetectie vertoonde (hoge sensitiviteit), wat suggereert dat verschillende backbones geschikt zijn voor verschillende klinische implementatiescenario's.

Betekenis en Bijdragen
Het artikel claimt drie primaire bijdragen:

1. Nieuwe Taakdefinitie: Het introduceert "gegronde temporele veranderingsdetectie", waarbij temporele vergelijking, classificatie en lokalisatie worden verenigd in één framework.
2. Ontdekking van Emergent Gedrag: Het onthult dat temporele redenering in deze context niet inherent is aan enkel multi-image inputs, maar pas emergeert wanneer dit gecombineerd wordt met ruimtelijke grondings-supervisie. Dit suggereert dat gronding fungeert als een kritische inductieve bias voor temporele analyse.
3. Dataset Constructie: Het biedt een grootschalige dataset met gegronde temporele annotaties om systematische evaluatie van deze nieuwe taak mogelijk te maken.

De auteurs positioneren TRACE als een fundamentele stap naar klinisch inzetbare AI die intervalveranderingen kan beschrijven met een precieze ruimtelijke context, een capaciteit die voorheen afwezig was in geautomatiseerde radiologische systemen.