RAPTOR+: A Visually Grounded Vision-Language Framework to Improve Clinical Trust and Auditability in Automated Cancer Referral Processing

Resumen Técnico: RAPTOR+

Enunciado del Problema
Las derivaciones urgentes sospechosas de cáncer colorrectal (CCR) a menudo dependen de documentos clínicos semiestructurados (formularios escaneados, faxes, notas manuscritas) que crean cuellos de botella operativos debido a la necesidad de revisión y transcripción manuales. Aunque sistemas anteriores como el RAPTOR original utilizaron Modelos de Lenguaje Grande (LLM) para la extracción estructurada, dependían de una etapa de Reconocimiento Óptico de Caracteres (OCR) desacoplada. Esta arquitectura es vulnerable a la escritura manuscrita, las variaciones de diseño y la mala calidad de los escaneos. Más críticamente, carece de anclaje visual, lo que significa que el sistema no puede vincular los datos extraídos de vuelta a regiones específicas del documento fuente. Esta ausencia de localización de evidencia impide la validación por parte del clínico, introduce riesgos de "extracciones sin anclaje" (valores alucinados) y socava la auditabilidad requerida para flujos de trabajo clínicos críticos para la seguridad.

Metodología
Los autores presentan RAPTOR+, un marco de visión-lingüístico multimodal y de extremo a extremo diseñado para realizar extracción estructurada con localización de evidencia visual.

• Conjunto de datos: El estudio utiliza un conjunto de datos curado clínicamente de 223 formularios de derivación urgente por CCR, que refleja la variabilidad del mundo real, incluidos diseños heterogéneos, texto libre, anotaciones manuscritas y marcas editoriales. Los datos se dividen en 176 formularios de entrenamiento y 47 formularios de prueba retenidos. La verdad fundamental incluye valores de campos estructurados y anotaciones precisas de cuadros delimitadores para la evidencia visual.
• Arquitectura del sistema: RAPTOR+ reemplaza la tubería basada en OCR primero con un codificador-decodificador basado en transformadores multimodales. Procesa características visuales mediante un Transformador de Visión y las alinea con tokens lingüísticos utilizando atención cruzada. La salida es un objeto JSON estructurado donde cada valor de campo va acompañado de un cuadro delimitador que indica la evidencia fuente.
• Modelos evaluados: El estudio compara un conjunto diverso de Modelos de Visión-Lenguaje (VLM):
  • Zero-Shot comerciales: Gemini 2.5 Flash y Claude Opus 4.6.
  • Zero-Shot de pesos abiertos: Variantes de Qwen3-VL (2B, 4B, 8B, 32B parámetros).
  • Fine-tuned de pesos abiertos: Variantes de Qwen3-VL (2B, 4B, 8B) entrenadas en pares de imágenes de documentos y objetivos JSON estructurados que contienen valores y coordenadas de cuadros delimitadores.
• Protocolo de evaluación: El rendimiento se mide utilizando un protocolo multicriterio que separa la extracción semántica de la localización de evidencia:
  • Precisión de lectura (NM): Corrección semántica del valor extraído.
  • Precisión de evidencia (EP): La proporción de cuadros delimitadores predichos que se superponen con cualquier región de verdad fundamental.
  • Seguridad estricta (IoU conjunta): La proporción de campos donde tanto el valor es correcto como el cuadro delimitador tiene una Intersección sobre Unión (IoU) > 0.5 con la verdad fundamental.
  • Precisión de auditoría (IoP conjunta): Una métrica más permisiva (IoP > 0.5) que evalúa la utilidad para la revisión con intervención humana.

Contribuciones Clave

1. Marco de evaluación consciente del anclaje: Los autores proponen un método de evaluación novedoso que cuantifica conjuntamente la precisión de la extracción estructurada y la localización de evidencia visual, abordando la "brecha de anclaje" donde los modelos leen bien pero apuntan mal.
2. Caracterización de modos de fallo: El estudio identifica modos de fallo clínicamente relevantes específicos, particularmente la "mala localización confiable" en modelos zero-shot (por ejemplo, Claude Opus 4.6), donde los modelos generan coordenadas para la mayoría de los campos pero con una precisión cercana a cero, creando una falsa sensación de fiabilidad.
3. Análisis de adaptación: El trabajo analiza cómo la escala del modelo y el ajuste fino específico de la tarea afectan la fiabilidad del anclaje, demostrando que el ajuste fino actúa como un interruptor estructural para habilitar la extracción basada en evidencia.

Resultados

• Limitaciones Zero-Shot: Aunque los modelos zero-shot demostraron fuertes capacidades de lectura semántica (por ejemplo, Claude Opus 4.6 al 95.2%, Qwen3-VL-32B al 95.3%), exhibieron fallos graves de anclaje. Gemini 2.5 Flash logró una precisión de lectura del 92.6% pero solo un 1.2% de Seguridad Estricta. Claude Opus 4.6 mostró un anclaje aún peor (0.2% de Seguridad Estricta), señalando frecuentemente regiones incorrectas a pesar de su alta precisión de lectura.
• Impacto del ajuste fino: El ajuste fino mejoró significativamente tanto la precisión de lectura como el anclaje. El Qwen3-VL-8B ajustado fino logró una Precisión de Lectura del 96.1% y un 60.6% de Seguridad Estricta, una mejora sustancial sobre su contraparte zero-shot (88.4% de precisión, 6.2% de seguridad) y sobre todas las líneas base zero-shot.
• Precisión de evidencia: El ajuste fino aumentó la Precisión de Evidencia del 70.1% (Qwen3-VL-8B zero-shot) al 88.5%. Los modelos más pequeños (2B/4B) que no producían cuadros delimitadores en modo zero-shot se volvieron funcionales después del ajuste fino, logrando una alta cobertura (82.8% y 87.6%).
• Compensaciones: El estudio no encontró compensaciones entre la calidad de la extracción y la fiabilidad de la evidencia; el ajuste fino mejoró ambas simultáneamente. Los modelos ajustados fino también aprendieron a abstenerse (salida nula) cuando había incertidumbre, priorizando punteros fiables sobre la extracción forzada.

Significado y Afirmaciones
El artículo afirma que el ajuste fino específico de la tarea es esencial para la comprensión fiable y auditable de documentos clínicos. Los resultados demuestran que la capacidad de extracción semántica por sí sola es insuficiente para un despliegue crítico para la seguridad; sin un anclaje de evidencia verificable, los sistemas automatizados no pueden apoyar la confianza o la responsabilidad del clínico.

RAPTOR+ permite vincular las decisiones de derivación extraídas directamente con la evidencia visual, apoyando un flujo de trabajo con intervención humana donde los clínicos pueden verificar rápidamente las decisiones frente a las regiones fuente. Los autores concluyen que, aunque los modelos zero-shot pueden servir como asistentes de auditoría para dirigir la atención, actualmente no son adecuados para la verificación totalmente automatizada. El marco propuesto ofrece un camino hacia una triaje de derivación de cáncer más segura y eficiente, asegurando que la automatización se combine con evidencia verificable.