RAPTOR+: A Visually Grounded Vision-Language Framework to Improve Clinical Trust and Auditability in Automated Cancer Referral Processing

Technische Samenvatting: RAPTOR+

Probleemstelling
Dringende vermoedelijke verwijzingen voor darmkanker (colorectale kanker, CRC) zijn vaak afhankelijk van semi-gestructureerde klinische documenten (gescande formulieren, faxen, handgeschreven notities) die operationele knelpunten veroorzaken door de noodzaak van handmatige beoordeling en transcriptie. Hoewel eerdere systemen zoals de originele RAPTOR Large Language Models (LLM's) gebruikten voor gestructureerde extractie, waren ze afhankelijk van een ontkoppelde Optical Character Recognition (OCR)-fase. Deze architectuur is kwetsbaar voor handschrift, variaties in lay-out en slechte scankwaliteit. Nog kritischer is het gebrek aan visuele gronding, wat betekent dat het systeem de geëxtraheerde gegevens niet kan koppelen aan specifieke regio's in het brondocument. Dit gebrek aan localisatie van bewijs verhindert validatie door clinici, introduceert risico's op "ongegrondde extracties" (gehallucineerde waarden) en ondermijnt de controleerbaarheid die vereist is voor veiligheidskritieke klinische workflows.

Methodologie
De auteurs introduceren RAPTOR+, een multimodaal, end-to-end vision-language framework ontworpen om gestructureerde extractie uit te voeren met localisatie van visueel bewijs.

• Dataset: Het onderzoek maakt gebruik van een klinisch samengestelde dataset van 223 dringende CRC-verwijsformulieren, die variabiliteit uit de echte wereld weerspiegelen, waaronder heterogene lay-outs, vrije tekst, handgeschreven annotaties en redactionele markeringen. De data is opgesplitst in 176 trainingsformulieren en 47 vastgehouden testformulieren. De ground truth omvat gestructureerde veldwaarden en precieze annotaties van bounding boxes voor visueel bewijs.
• Systeemarchitectuur: RAPTOR+ vervangt de OCR-eerst-pijplijn door een multimodale, op transformers gebaseerde encoder-decoder. Het verwerkt visuele kenmerken via een Vision Transformer en aligneert deze met linguïstische tokens met behulp van cross-attention. De output is een gestructureerd JSON-object waarbij elke veldwaarde wordt begeleid door een bounding box die de bron van het bewijs aangeeft.
• Geëvalueerde Modellen: Het onderzoek benchmarkt een diverse reeks Vision-Language Models (VLM's):
  • Commercieel Zero-Shot: Gemini 2.5 Flash en Claude Opus 4.6.
  • Open-Weight Zero-Shot: Qwen3-VL-varianten (2B, 4B, 8B, 32B parameters).
  • Open-Weight Fine-Tuned: Qwen3-VL-varianten (2B, 4B, 8B) getraind op gekoppelde documentafbeeldingen en gestructureerde JSON-doelen met waarden en coördinaten van bounding boxes.
• Evaluatieprotocol: De prestaties worden gemeten met een meer-criteria protocol dat semantische extractie scheidt van localisatie van bewijs:
  • Leesnauwkeurigheid (NM): Semantische correctheid van de geëxtraheerde waarde.
  • Precisie van Bewijs (EP): Het aandeel voorspelde bounding boxes dat overlapt met een ground-truth-regio.
  • Strikte Veiligheid (Joint IoU): Het aandeel velden waarbij zowel de waarde correct is als de bounding box een Intersection-over-Union (IoU) > 0,5 heeft met de ground truth.
  • Auditprecisie (Joint IoP): Een meer permissieve metriek (IoP > 0,5) die de bruikbaarheid beoordeelt voor mens-in-de-lus-beoordeling.

Belangrijkste Bijdragen

1. Grondingsbewust Evaluatiekader: De auteurs stellen een nieuwe evaluatiemethode voor die gestructureerde extractienauwkeurigheid en localisatie van visueel bewijs gezamenlijk kwantificeert, waarmee de "grondingskloof" wordt aangepakt waarbij modellen goed lezen maar slecht wijzen.
2. Karakterisering van Falingsmodi: Het onderzoek identificeert specifieke klinisch relevante falingsmodi, met name "zelfzekere mislocalisatie" bij zero-shot modellen (bijv. Claude Opus 4.6), waarbij modellen coördinaten genereren voor de meeste velden maar met een nauwkeurigheid die dicht bij nul ligt, waardoor een vals gevoel van betrouwbaarheid ontstaat.
3. Analyse van Adaptatie: Het werk analyseert hoe modelschaal en taakspecifieke fine-tuning de betrouwbaarheid van gronding beïnvloeden, en toont aan dat fine-tuning fungeert als een structurele schakelaar voor het mogelijk maken van bewijs-gegronde extractie.

Resultaten

• Beperkingen van Zero-Shot: Hoewel zero-shot modellen sterke semantische leesvaardigheden toonden (bijv. Claude Opus 4.6 op 95,2%, Qwen3-VL-32B op 95,3%), vertoonden ze ernstige grondingsfouten. Gemini 2.5 Flash behaalde 92,6% leesnauwkeurigheid maar slechts 1,2% Strikte Veiligheid. Claude Opus 4.6 toonde nog slechtere gronding (0,2% Strikte Veiligheid), waarbij het vaak naar onjuiste regio's wees ondanks hoge leesnauwkeurigheid.
• Invloed van Fine-Tuning: Fine-tuning verbeterde zowel leesnauwkeurigheid als gronding aanzienlijk. De gefinetunte Qwen3-VL-8B behaalde 96,1% Leesnauwkeurigheid en 60,6% Strikte Veiligheid, een aanzienlijke verbetering ten opzichte van zijn zero-shot tegenhanger (88,4% nauwkeurigheid, 6,2% veiligheid) en alle zero-shot baselines.
• Precisie van Bewijs: Fine-tuning verhoogde de precisie van bewijs van 70,1% (zero-shot Qwen3-VL-8B) naar 88,5%. Kleinere modellen (2B/4B) die in zero-shot-modus geen bounding boxes produceerden, werden functioneel na fine-tuning en bereikten een hoge dekking (82,8% en 87,6%).
• Trade-offs: Het onderzoek vond geen trade-off tussen extractiekwaliteit en betrouwbaarheid van bewijs; fine-tuning verbeterde beide tegelijkertijd. Gefinetunte modellen leerden ook om zich te onthouden (null uitvoeren) bij onzekerheid, waarbij ze betrouwbare aanwijzingen prioriteit gaven boven geforceerde extractie.

Betekenis en Beweringen
Het artikel beweert dat taakspecifieke fine-tuning essentieel is voor betrouwbare, controleerbare klinische documentbegrip. De resultaten tonen aan dat semantische extractiecapaciteit alleen onvoldoende is voor veiligheidskritieke implementatie; zonder verifieerbare bewijsgronding kunnen geautomatiseerde systemen geen vertrouwen of verantwoordelijkheid van clinici ondersteunen.

RAPTOR+ maakt het mogelijk dat geëxtraheerde verwijsbeslissingen direct worden gekoppeld aan visueel bewijs, waardoor een mens-in-de-lus workflow wordt ondersteund waarbij clinici beslissingen snel kunnen verifiëren tegen bronregio's. De auteurs concluderen dat hoewel zero-shot modellen kunnen dienen als auditassistenten om de aandacht te sturen, ze momenteel niet geschikt zijn voor volledig geautomatiseerde verificatie. Het voorgestelde kader biedt een weg naar veiligere, efficiëntere triage van kankerverwijzingen door te waarborgen dat automatisering wordt gepaard met verifieerbaar bewijs.