RAPTOR+: A Visually Grounded Vision-Language Framework to Improve Clinical Trust and Auditability in Automated Cancer Referral Processing

Riepilogo Tecnico: RAPTOR+

Enunciazione del Problema
I rinvii urgenti per sospetto cancro colorettale (CRC) spesso si basano su documenti clinici semi-strutturati (moduli scansionati, fax, note manoscritte) che creano colli di bottiglia operativi a causa della necessità di revisione e trascrizione manuale. Sebbene sistemi precedenti come l'originale RAPTOR avessero utilizzato Modelli Linguistici di Grande Dimensione (LLM) per l'estrazione strutturata, si affidavano a una fase di Riconoscimento Ottico dei Caratteri (OCR) disaccoppiata. Questa architettura è vulnerabile alla scrittura a mano, alle variazioni di layout e alla scarsa qualità delle scansioni. Ancora più critico è l'assenza di ancoraggio visivo, il che significa che il sistema non può collegare i dati estratti a specifiche regioni del documento sorgente. Questa assenza di localizzazione delle evidenze impedisce la validazione da parte del clinico, introduce rischi di "estrazioni non ancorate" (valori allucinati) e mina l'auditabilità richiesta per flussi di lavoro clinici critici per la sicurezza.

Metodologia
Gli autori introducono RAPTOR+, un framework visione-linguaggio multimodale end-to-end progettato per eseguire l'estrazione strutturata con localizzazione delle evidenze visive.

• Dataset: Lo studio utilizza un dataset clinicamente curato di 223 moduli di rinvio urgente per CRC, che riflette la variabilità del mondo reale inclusi layout eterogenei, testo libero, annotazioni manoscritte e segni editoriali. I dati sono suddivisi in 176 moduli per l'addestramento e 47 moduli di test tenuti da parte. La verità fondamentale include valori di campo strutturati e annotazioni precise di riquadri di delimitazione (bounding-box) per le evidenze visive.
• Architettura del Sistema: RAPTOR+ sostituisce la pipeline OCR-first con un encoder-decoder basato su transformer multimodale. Elabora le caratteristiche visive tramite un Vision Transformer e le allinea ai token linguistici utilizzando l'attenzione incrociata. L'output è un oggetto JSON strutturato in cui ogni valore di campo è accompagnato da un riquadro di delimitazione che indica l'evidenza sorgente.
• Modelli Valutati: Lo studio confronta un insieme diversificato di Modelli Visione-Linguaggio (VLM):
  • Zero-Shot Commerciali: Gemini 2.5 Flash e Claude Opus 4.6.
  • Zero-Shot a Peso Aperto: Varianti di Qwen3-VL (2B, 4B, 8B, 32B parametri).
  • Fine-Tuned a Peso Aperto: Varianti di Qwen3-VL (2B, 4B, 8B) addestrate su coppie di immagini documentali e target JSON strutturati contenenti valori e coordinate dei riquadri di delimitazione.
• Protocollo di Valutazione: Le prestazioni sono misurate utilizzando un protocollo multi-criterio che separa l'estrazione semantica dalla localizzazione delle evidenze:
  • Accuratezza di Lettura (NM): Correttezza semantica del valore estratto.
  • Precisione dell'Evidenza (EP): La proporzione di riquadri di delimitazione predetti che si sovrappongono a qualsiasi regione della verità fondamentale.
  • Sicurezza Rigorosa (Joint IoU): La proporzione di campi in cui sia il valore è corretto sia il riquadro di delimitazione ha un'Intersezione su Unione (IoU) > 0,5 con la verità fondamentale.
  • Precisione di Audit (Joint IoP): Una metrica più permissiva (IoP > 0,5) che valuta l'utilità per la revisione con intervento umano nel ciclo.

Contributi Chiave

1. Framework di Valutazione Consapevole dell'Ancoraggio: Gli autori propongono un metodo di valutazione innovativo che quantifica congiuntamente l'accuratezza dell'estrazione strutturata e la localizzazione delle evidenze visive, affrontando il "divario di ancoraggio" in cui i modelli leggono bene ma puntano male.
2. Caratterizzazione delle Modalità di Fallimento: Lo studio identifica specifiche modalità di fallimento clinicamente rilevanti, in particolare la "mala localizzazione sicura" nei modelli zero-shot (es. Claude Opus 4.6), dove i modelli generano coordinate per la maggior parte dei campi ma con un'accuratezza vicina allo zero, creando un falso senso di affidabilità.
3. Analisi dell'Adattamento: Il lavoro analizza come la scala del modello e il fine-tuning specifico per il compito influenzino l'affidabilità dell'ancoraggio, dimostrando che il fine-tuning agisce come un interruttore strutturale per abilitare l'estrazione basata su evidenze.

Risultati

• Limitazioni Zero-Shot: Sebbene i modelli zero-shot abbiano dimostrato forti capacità di lettura semantica (es. Claude Opus 4.6 al 95,2%, Qwen3-VL-32B al 95,3%), hanno mostrato gravi fallimenti nell'ancoraggio. Gemini 2.5 Flash ha raggiunto un'accuratezza di lettura del 92,6% ma solo 1,2% di Sicurezza Rigorosa. Claude Opus 4.6 ha mostrato un ancoraggio ancora peggiore (0,2% di Sicurezza Rigorosa), indicando frequentemente regioni errate nonostante un'alta accuratezza di lettura.
• Impatto del Fine-Tuning: Il fine-tuning ha migliorato significativamente sia l'accuratezza di lettura che l'ancoraggio. Il Qwen3-VL-8B fine-tuned ha raggiunto un'Accuratezza di Lettura del 96,1% e una Sicurezza Rigorosa del 60,6%, un miglioramento sostanziale rispetto alla sua controparte zero-shot (88,4% di accuratezza, 6,2% di sicurezza) e a tutti i baseline zero-shot.
• Precisione dell'Evidenza: Il fine-tuning ha aumentato la Precisione dell'Evidenza dal 70,1% (Qwen3-VL-8B zero-shot) all'88,5%. Modelli più piccoli (2B/4B) che non producevano riquadri di delimitazione in modalità zero-shot sono diventati funzionali dopo il fine-tuning, raggiungendo un'alta copertura (82,8% e 87,6%).
• Compromessi: Lo studio non ha trovato compromessi tra la qualità dell'estrazione e l'affidabilità delle evidenze; il fine-tuning ha migliorato entrambi simultaneamente. I modelli fine-tuned hanno anche imparato a astenersi (output null) quando incerti, dando priorità a puntatori affidabili rispetto all'estrazione forzata.

Significato e Affermazioni
Il documento afferma che il fine-tuning specifico per il compito è essenziale per una comprensione affidabile e auditabile dei documenti clinici. I risultati dimostrano che la sola capacità di estrazione semantica è insufficiente per un deployment critico per la sicurezza; senza un ancoraggio delle evidenze verificabile, i sistemi automatizzati non possono supportare la fiducia o la responsabilità del clinico.

RAPTOR+ consente di collegare direttamente le decisioni di rinvio estratte alle evidenze visive, supportando un flusso di lavoro con intervento umano nel ciclo in cui i clinici possono verificare rapidamente le decisioni rispetto alle regioni sorgente. Gli autori concludono che, sebbene i modelli zero-shot possano servire come assistenti di audit per indirizzare l'attenzione, attualmente non sono adatti per una verifica completamente automatizzata. Il framework proposto offre una strada verso un triage di rinvio oncologico più sicuro ed efficiente, garantendo che l'automazione sia accompagnata da evidenze verificabili.