Technische Samenvatting: Set-Distance Rewards voor Radiologieverslaggeneratie (SDR)

Probleemstelling

De generatie van borstfoto-verslagen (chest X-ray reports) met behulp van vision–language models (VLM's) vormt een unieke uitdaging voor Reinforcement Learning (RL) post-training, specifiek met betrekking tot het ontwerp van beloningsfuncties. Standaard RL-benaderingen voor redeneertaken vertrouwen vaak op process reward models die tussenliggende stappen in een causale keten verifiëren. Echter, radiologieverslagen volgen geen sequentiële of causale redeneerstructuur; in plaats daarvan bestaan ze uit ongeordende en orthogonale bevindingen (bijv. "hartgrootte kan vergroot zijn" en "rechterlong is schoon" zijn onafhankelijke observaties).

Consequent zijn standaard discrete beloningen gebaseerd op exacte match-nauwkeurigheid incompatibel met dit domein. Ze veroorzaken ruis door verslagen te bestraffen die correcte bevindingen bevatten maar in een andere volgorde of met lichte variaties in formulering, waardoor ze er niet in slagen de klinische realiteit te vatten dat de verzameling (set) van bevindingen belangrijker is dan hun volgorde. Bovendien zijn stap-niveau annotaties die nodig zijn voor process rewards vaak niet beschikbaar, en het verifiëren van elke stap via externe bronnen is computationeel duur.

Methodologie

De auteurs stellen Set-Distance Rewards (SDR) voor, een framework dat radiologieverslagen behandelt als ongeordende verzamelingen van zin-embeddings in plaats van sequentiële tekst. De methodologie werkt in twee fasen: post-training (GRPO) en inference-time scaling.

1. Zin-niveau Representatie

Een borstfoto-verslag $y$ wordt opgesplitst in twee secties: Findings ($y_F$) en Impression ($y_I$). Elke sectie wordt gesegmenteerd in individuele zinnen. Een bevroren, vooraf getrainde sentence transformer (specifiek all-mpnet-base-v2) embed de elke zin $s$ in een vector met een vaste dimensie $e \in \mathbb{R}^d$. Het verslag wordt zo gerepresenteerd als twee ongeordende verzamelingen van embeddings:
$$E_F(y) = \{E_\phi(s^F_i) \mid 1 \le i \le n_F\}, \quad E_I(y) = \{E_\phi(s^I_j) \mid 1 \le j \le n_I\}$$
Deze representatie is permutatie-invariant, wat aansluit bij de klinische intuïtie dat de volgorde van bevindingen geen diagnostische betekenis draagt.

2. Set-to-Set Distance Rewards (Post-Training)

Tijdens Group Relative Policy Optimization (GRPO) genereert het model een verslag $\hat{y}$. De semantische beloning wordt berekend door de afstand te berekenen tussen de verzameling gegenereerde embeddings en de verzameling referentie (ground truth) embeddings.

• Afstandsmetrieken: De auteurs maken gebruik van symmetrische set-to-set afstanden genormaliseerd naar $[0, 1]$, specifiek de Chamfer-afstand en de Hausdorff-afstand, gebouwd op de cosinus-afstand tussen unit-norm embeddings.
  • Chamfer: Middelt de nearest-neighbor kosten, wat fungeert als een "soft coverage" beloning.
  • Hausdorff: Neemt de maximale nearest-neighbor kosten, wat fungeert als een "worst-case" straf voor het missen van kritieke bevindingen.
• Beloningsformulering: De totale beloning $R(\hat{y}, y)$ is een gewogen som van een binaire format reward (om te garanderen dat de output een gestructureerde template volgt) en de continue semantische reward afgeleid van de set-afstand:
  $$R(\hat{y}, y) = \lambda_{fmt} R_{fmt}(\hat{y}) + \lambda_{sem} (1 - D(E_S(\hat{y}), E_S(y)))$$
  waarbij $D$ de set-afstand is. Dit levert een continu, differentieerbaar signaal op dat gedeeltelijke correctheid beloont en ongeordende bevindingen afhandelt.

3. Inference-Time Scaling en Pruning

Dezelfde set-afstand metrieken worden toegepast tijdens de inference-tijd zonder gradiënt-updates:

• Best-of-N Selectie: Voor een gegeven afbeelding genereert het model $K$ kandidaat-verslagen. De embedding-verzameling van elke kandidaat wordt vergeleken met de vooraf berekende embedding-verzamelingen van de trainingscorpus. De kandidaat met de minimale afstand tot de trainingsdistributie wordt geselecteerd. Dit dient als een gradient-vrije prior voor klinisch plausibele outputs.
• Streaming Pruning: Om de computationele kosten te verlagen, berekent het systeem de lopende set-afstand van gedeeltelijke generaties tijdens het decoderen. Kandidaten waarvan de gedeeltelijke afstand een drempelwaarde overschrijdt, worden vroegtijdig gepruned. Deze "prune-then-decode" loop vermindert het aantal gegenereerde tokens met meer dan 50% terwijl de kwaliteit vergelijkbaar blijft met een volledige Best-of-N selectie.

Belangrijkste Bijdragen

1. Set-Distance Reward Functies voor GRPO: Het artikel adresseert de onhaalbaarheid van process reward modeling voor radiologie door verslagen te behandelen als ongeordende verzamelingen. Door Chamfer- en Hausdorff-afstanden te gebruiken als continue beloningen, presteert de methode consistent beter dan Supervised Fine-Tuning (SFT) en discrete exact-match GRPO over drie VLM-backbones (Qwen3-VL-2B/4B, Gemma3-4B) en twee datasets (MIMIC-CXR, ReXGradient).
2. Set-Distance-Guided Test-Time Selectie: De auteurs demonstreren dat dezelfde set-afstand metrieken kunnen dienen als selectiecriterium voor zowel gefinetunede modellen als closed-source generalistische LLM's (Mistral-Small, Gemini-2.5 Flash-Lite, GPT-4o-mini, GPT-5 mini). Deze aanpak verbetert de prestaties ten opzichte van willekeurige selectie zonder toegang te vereisen tot modelgradiënten of domeinspecifieke fine-tuning.
3. Afstand-gebaseerde On-the-Fly Pruning: Het artikel introduceert een methode om laag scorende kandidaten halverwege de generatie te prunen. Dit vermindert het totaal aantal gegenereerde tokens met >50% terwijl de kwaliteit van de uiteindelijke selectie behouden blijft, wat een efficiëntere vorm van test-time scaling biedt.

Experimentele Resultaten

De evaluatie omvat headline metrieken inclusief BERTScore, RadGraph F1, en CheXbert F1.

• Post-Training Prestaties:
  • Op de ReXGradient dataset behaalde Chamfer-gebaseerde rewarding de hoogste prestaties over alle modellen en metrieken.
  • Op MIMIC-CXR bereikten zowel Chamfer als Hausdorff rewards de hoogste gemiddelde prestaties.
  • De relatieve verbeteringen ten opzichte van SFT en exact-match GRPO waren significant: gemiddelde verbeteringen van 6,80% (BERTScore), 7,82% (RadGraph F1), en 4,45% (CheXbert F1).
• Inference-Time Selectie:
  • Het toepassen van set-afstand selectie op closed-source LLM's leverde substantiële winsten op ten opzichte van willekeurige selectie. Zo varieerden de verbeteringen op BERTScore van +11,2% tot +18,7%, afhankelijk van het model en de prompt template.
  • De methode verbeterde de prestaties succesvol op generalistische modellen (bijv. GPT-4o mini, Gemini) die niet specifiek op het medische domein zijn gefinetuned.
• Pruning Efficiëntie:
  • De pruning-strategie bespaarde 42,1% tot 60,1% van de gegenereerde tokens.
  • Geprunede generaties behielden een vergelijkbare kwaliteit als de volledige Best-of-N selectie, met gemiddelde relatieve verbeteringen over willekeurige selectie van +12,7% (BS-F1), +17,1% (RG-F1), en +6,2% (CXB-F1).

Betekenis en Claims

Het artikel claimt te hebben vastgesteld dat set-distance rewards een verenigd signaal vormen voor zowel post-training als test-time scaling in de generatie van borstfoto-verslagen.

• Verenigd Signaal: De zelfde wiskundige formulering (set-to-set afstand) drijft effectief het RL post-training proces aan en dient tevens als een robuust, gradient-vrij selectiecriterium tijdens de inference-tijd.
• Domeinadaptatie: Door de ongeordende aard van radiologische bevindingen te erkennen, vermijdt de methode de ruis die wordt geïntroduceerd door sequentiële beperkingen, waardoor deze specifiek geschikt is voor het genereren van medische verslagen waar bevindingen vaak onafhankelijk zijn.
• Efficiëntie: Het werk demonstreert dat generatie van hoge kwaliteit niet noodzakelijkerwijs het genereren van alle tokens voor alle kandidaten vereist; vroege pruning op basis van set-afstand biedt een levensvatbaar pad om de inference-kosten te verlagen.
• Generaliseerbaarheid: Het vermogen om deze selectieregels toe te passen op closed-source LLM's suggereert een weg om de klinische AI-outputs te verbeteren zonder de noodzaak van dure domeinspecifieke fine-tuning of toegang tot modelgewichten.

De auteurs concluderen dat hun aanpak een praktische, continue beloningssignaal biedt dat aansluit bij de klinische structuur van radiologieverslagen, waarbij zij traditionele discrete of sequentiële beloningsmechanismen overtreffen.