VERT: Reliable LLM Judges for Radiology Report Evaluation

Probleemstelling

De huidige literatuur over de evaluatie van radiologieverslagen richt zich voornamelijk op het ontwerpen van LLM-gebaseerde metrics en het fijnafstemmen (fine-tuning) van kleine modellen, specifiek voor borstfoto's (chest X-rays). Er bestaat echter onzekerheid over de robuustheid van deze benaderingen wanneer ze worden toegepast op verslagen van andere beeldvormingsmodaliteiten (zoals MRI, CT) en anatomische gebieden. Bestaande methoden zijn vaak te specifiek getraind en falen bij het generaliseren naar complexere domeinen. Daarnaast is het onduidelijk welke model- en prompt-configuraties (open-source vs. closed-source, redenerende vs. niet-redenerende modellen) het meest geschikt zijn als "LLM-judges" voor een betrouwbare evaluatie.

Methodologie

De auteurs voeren een grondige correlatie-analyse uit tussen expertbeoordelingen en beoordelingen door LLM's. De studie omvat de volgende methodologische componenten:

1. Datasets:

   • RadEval: Een dataset met 148 borstfoto's en gedetailleerde expert-annotaties voor zeven foutcategorieën (bijv. valse voorspellingen, weggelaten bevindingen), maar zonder een totaalscore.
   • RaTE-Eval: Een dataset met 1856 paragraafniveau-verslagen uit 9 modaliteiten en 22 anatomieën, voorzien van expert-annotaties met een totaalscore van 0 tot 5.

2. Vergelijking van Metrics en Prompts:

   • Er worden drie bestaande metrics vergeleken: RadFact, GREEN (die fouten detecteert en een score berekent), en FineRadScore.
   • De auteurs introduceren VERT (Vertically Enhanced Radiology Text), een nieuwe metric. In tegenstelling tot GREEN, die een keten van redenering (chain-of-thought) gebruikt om fouten te tellen en vervolgens een score af te leiden, vraagt VERT de LLM direct om een totale nauwkeurigheidscore (0.00 - 1.00) te genereren op basis van de gevonden fouten.
   • Er worden diverse prompt-strategieën getest: zero-shot, few-shot (met willekeurige en curateerde voorbeelden), en verschillende scoreformules.

3. Modelkeuze:

   • Er worden zowel gesloten (GPT-4.1, Gemini, Claude) als open-source modellen (Qwen3) getest, variërend in grootte en met verschillende "redeneringsniveaus" (thinking levels).

4. Verbeteringstechnieken:

   • Ensembling: Het combineren van scores van meerdere modellen via gemiddelden of lineaire regressie.
   • Parameter-efficiënt fine-tuning (LoRA): Het fijnafstemmen van het Qwen3-30B model op de RaTE-Eval training set (1.300 samples) met Low-Rank Adaptation.

5. Foutdetectie-analyse:

   • Een systematische studie waarbij klinisch significante fouten (valse voorspellingen en weggelaten bevindingen) worden "injecteerd" in referentierapporten om te testen of de modellen deze fouten correct kunnen detecteren en categoriseren.

Belangrijkste Bijdragen

• Introductie van VERT: Een nieuwe, directe LLM-based metric die de bestaande methoden overtreft.
• Uitgebreide Benchmark: Een comprehensieve studie die open- en closed-source modellen vergelijkt over diverse modaliteiten en anatomieën, niet beperkt tot borstfoto's.
• Effectiviteit van Fine-tuning: Het aantonen dat lichtgewicht aanpassing (LoRA) de prestaties aanzienlijk verbetert ten opzichte van pure prompting.
• Foutanalyse: Een gedetailleerde analyse van waar LLM-metrics sterk zijn en waar ze falen in vergelijking met menselijke experts.

Resultaten

• Correlatie met Experts: VERT presteert significant beter dan bestaande methoden. Het verbetert de correlatie met radioloog-beoordelingen met tot 11,7% (relatief) ten opzichte van GREEN op de RaTE-Eval dataset.
• Fine-tuning Effect: Het fijnafstemmen van Qwen3-30B resulteert in een correlatieverbetering van tot 25% vergeleken met zero-shot prompting, gebruikmakend van slechts 1.300 trainingssamples.
• Efficiëntie: Het fine-tuned model reduceert de inferentietijd met een factor 37,2 (van ~22 minuten naar 36 seconden op een A100 GPU) ten opzichte van het gebruik van de Anthropic API voor Claude Opus.
• Ensembling: Lineaire regressie ensembling van meerdere modellen (GPT-4.1, Claude, Gemini) bereikt een Kendall's $\tau$ correlatie van 0,5683, wat de beste prestatie is in de studie.
• Foutdetectie:
  • Modellen neigen tot het overschatten van het aantal fouten bij rapporten met weinig fouten (<6) en het onderschatten bij rapporten met veel fouten (>6).
  • Modellen zijn goed in het detecteren van "valse voorspellingen" (type a), maar hebben moeite met het detecteren van "weggelaten bevindingen" (type b), vooral wanneer meerdere fouten van dit type aanwezig zijn.
  • De prestatie voor subtielere foutcategorieën (c-f, zoals incorrecte locatie of ernst) is laag (F1-score 0,39–0,46).
• Redeneren (Thinking): Het verhogen van het "thinking"-token budget (bijv. bij GPT-5 of Claude) leidt niet consistent tot betere correlaties; bij sommige modellen (zoals GPT-4.1 en Claude) daalt de prestatie zelfs bij hoge redeneringsniveaus.

Significantie en Conclusie

De studie concludeert dat LLM-based judges zeer effectief kunnen zijn voor de evaluatie van radiologieverslagen, mits de juiste configuratie wordt gekozen. De belangrijkste inzichten zijn:

1. Generalisatie: Bestaande, op borstfoto's getrainde metrics zijn niet robuust genoeg voor andere modaliteiten; VERT biedt een betere oplossing.
2. Adaptatie: Hoewel prompting belangrijk is, biedt parameter-efficiënt fine-tuning (LoRA) een kosteneffectieve weg naar aanzienlijk betere prestaties en veel lagere inferentiekosten.
3. Beperkingen: Hoewel LLM's goed zijn in het geven van een totaalscore, zijn ze nog niet perfect in het kwantificeren van het exacte aantal fouten of het detecteren van specifieke, subtielere fouttypes.

De auteurs suggereren dat toekomstig werk zich moet richten op het verbeteren van de foutdetectie en -categorisatie, evenals op het evalueren van verslagen zonder een referentiedocument (reference-free evaluation).