Technische Samenvatting: ReXrank: Een Publieke Leaderboard voor AI-gestuurde Radiologische Rapportagegeneratie

Probleemstelling

Hoewel AI-gestuurde modellen aanzienlijke potentie hebben getoond bij het automatiseren van de generatie van radiologische rapporten voor röntgenfoto's van de borstkas, ontbreekt het het vakgebied aan een gestandaardiseerde benchmark om hun prestaties objectief te evalueren en te vergelijken. Bestaande datasets, zoals MIMIC-CXR, lijden onder inconsistente dataspits, een gebrek aan gestandaardiseerde evaluatiemetrieken en datadistributies die er niet in slagen om het vermogen van een model om te generaliseren naar ongeziene, diverse klinische omgevingen adequaat te testen. De afwezigheid van een verenigd framework belemmert betrouwbare vergelijkende analyses tussen verschillende modelarchitecturen en beperkt de beoordeling van klinische robuustheid.

Methodologie

Om deze tekortkomingen aan te pakken, introduceren de auteurs ReXrank, een publieke leaderboard en uitdaging die is ontworpen om AI-gestuurde radiologische rapportagegeneratie te beoordelen. De methodologie is gebouwd op een uitgebreid evaluatieframework bestaande uit vier verschillende datasets en acht diverse metrieken.

Datasets

ReXrank evalueert modellen op een combinatie van publieke en private data om robuustheid over variërende distributies te waarborgen:

• ReXGradient: Een grootschalige private testdataset bestaande uit 10.000 studies van 67 Amerikaanse medische locaties en 7.004 patiënten. Het dient als de primaire benchmark voor het beoordelen van generalisatie naar diverse, real-world klinische omgevingen.
• MIMIC-CXR: De officiële testsplit (2.347 studies) van deze grote publieke dataset.
• IU-Xray: De officiële testsplit (590 studies) van deze publieke dataset.
• CheXpert Plus: De validatieset (200 studies), gebruikt als testsplit aangezien er geen officiële testset beschikbaar is.

Het framework evalueert modellen op twee specifieke taken: het genereren van enkel de sectie Findings (bevindingen), en het genereren van zowel de Findings als de Impressions (conclusies) secties.

Evaluatiemetrieken

Het framework maakt gebruik van acht metrieken om een multidimensionaal beeld van de modelprestaties te geven, variërend van lexicale gelijkenis tot klinische nauwkeurigheid:

1. BLEU-2: Meet n-gram precisie.
2. BERTScore: Berekent de cosinusgelijkenis tussen de BERT-embeddings van gegenereerde en grondwaarheid-rapporten.
3. SembScore: Berekent de cosinusgelijkenis tussen indicatorvectoren van 14 pathologieën geëxtraheerd door CheXbert.
4. RadGraph-F1: Evalueert de overlap in klinische entiteiten en relaties geëxtraheerd door RadGraph.
5. RadCliQ-v1: Een samengestelde metriek die BLEU, BERTScore, SembScore en RadGraph-F1 combineert. Het wordt gebruikt als de primaire ranking-metriek (gerapporteerd als de reciproke waarde, $1/\text{RadCliQ-v1}$, waarbij hoger beter is).
6. RaTEScore: Een entiteitsbewuste metriek die robuust is tegen medische synoniemen en gevoelig is voor negatie.
7. GREEN: Een LLM-gebaseerde metriek die klinisch significante fouten identificeert en verklaart.
8. FineRadScore: Een LLM-gebaseerde metriek (gebruikmakend van GPT-4o) die de minimale regel-voor-regel correcties schat die nodig zijn om een kandidaat-rapport te transformeren naar een grondwaarheid-rapport.

Deelnemende Modellen

De leaderboard bevat momenteel 16 modellen van 10 instellingen, inclusief gespecialiseerde vision-language modellen (bijv. MedVersa, MAIRA-2, RadFM), instructie-getunede foundation modellen (bijv. CheXagent, GPT-4V), en modellen getraind op specifieke datasets (bijv. VLCI, Cvt2distilgpt2).

Belangrijkste Resultaten

De evaluatie van 16 modellen over de vier datasets levert verschillende belangrijke bevindingen op:

• Top Prestaties: MedVersa komt als het best presterende model uit de bus, met de beste $1/\text{RadCliQ-v1}$ scores over ReXGradient ($1.01 \pm 0.01$ voor Findings, $0.98 \pm 0.05$ voor Findings+Impression), MIMIC-CXR ($1.10 \pm 0.02$ voor Findings, $0.92 \pm 0.02$ voor Findings+Impression), en IU-Xray ($1.46 \pm 0.03$ voor Findings, $1.45 \pm 0.04$ voor Findings+Impression). Het presteert consistent beter dan GPT-4V, een state-of-the-art generalistisch vision-language model, over meerdere metrieken en datasets.
• Dataset Karakteristieken:
  • IU-Xray wordt geïdentificeerd als de minst uitdagende dataset, met consequent hoge prestatiescores over de modellen heen, wat suggereert dat het mogelijk niet de complexiteit bezit die vereist is voor rigoureuze differentiatie.
  • CheXpert Plus vertoont de hoogste variantie en laagste algehele prestaties, waarschijnlijk door de afwijkende datadistributie en de kleine omvang van de validatieset.
  • ReXGradient vertoont opmerkelijk lage prestatievariantie over de modellen heen, wat de hoge datakwaliteit en bruikbaarheid als betrouwbare benchmark voor het beoordelen van modelrobuustheid onderstreept.
• Impact van Trainingsdata: Modellen getraind op meerdere datasets (bijv. CheXpertPlus_CheX_MIMIC) presteren doorgaans beter dan die getraind op enkele datasets, wat suggereert dat training op meerdere datasets helpt om distributiekloven te overbruggen. Omgekeerd presteren modellen over het algemeen beter wanneer ze worden geëvalueerd op dezelfde distributie die tijdens de training is gezien (bijv. VLCI_IU op IU-Xray versus VLCI_MIMIC).
• Taakcomplexiteit: De prestaties variëren tussen het genereren van enkel "Findings" versus "Findings + Impressions". Zo liet MedVersa een lichte degradatie zien bij het genereren van beide secties op ReXGradient (dalend van $1.01 \pm 0.01$ naar $0.98 \pm 0.05$), terwijl CheXpertPlus_CheX_MIMIC een verbetering liet zien, mogelijk door het gebruik van aparte gespecialiseerde modellen voor elke subtaak.

Betekenis en Claims

Het artikel claimt dat ReXrank een gestandaardiseerd evaluatieframework biedt dat betekenisvolle vergelijkingen van modelprestaties mogelijk maakt en cruciale inzichten biedt in de robuustheid van modellen binnen diverse klinische settings. Door een grootschalige private dataset (ReXGradient) te integreren met publieke benchmarks en een suite van klinisch relevante metrieken, gaat ReXrank verder dan eenvoudige tekstgelijkenis om de klinische nauwkeurigheid en het generalisatievermogen van AI-systemen te beoordelen.

De auteurs positioneren ReXrank niet enkel als een leaderboard voor röntgenfoto's van de borstkas, maar als een fundamenteel framework dat bedoeld is om de weg vrij te maken voor de uitgebreide evaluatie van geautomatiseerde rapportage over het volledige spectrum van medische beeldvorming. De opname van 95% betrouwbaarheidsintervallen in de resultaten benadrukt verder de statistische strengheid van de evaluatie, met als doel een betrouwbare basis te bieden voor toekomstig onderzoek en klinische adoptie.