RAPTOR+: A Visually Grounded Vision-Language Framework to Improve Clinical Trust and Auditability in Automated Cancer Referral Processing

Resumo Técnico: RAPTOR+

Declaração do Problema
Encaminhamentos urgentes suspeitos de câncer colorretal (CCR) frequentemente dependem de documentos clínicos semi-estruturados (formulários digitalizados, faxes, anotações manuscritas) que criam gargalos operacionais devido à necessidade de revisão e transcrição manuais. Embora sistemas anteriores, como o RAPTOR original, utilizassem Modelos de Linguagem de Grande Escala (LLMs) para extração estruturada, eles dependiam de uma etapa de Reconhecimento Óptico de Caracteres (OCR) desacoplada. Essa arquitetura é vulnerável a caligrafia, variações de layout e baixa qualidade de digitalização. Mais criticamente, carece de fundamentação visual, o que significa que o sistema não consegue vincular dados extraídos de volta a regiões específicas no documento fonte. Essa ausência de localização de evidências impede a validação por clínicos, introduz riscos de "extrações sem fundamentação" (valores alucinados) e compromete a auditabilidade exigida para fluxos de trabalho clínicos críticos para a segurança.

Metodologia
Os autores apresentam o RAPTOR+, um framework visão-linguagem multimodal, ponta a ponta, projetado para realizar extração estruturada com localização de evidência visual.

• Conjunto de Dados: O estudo utiliza um conjunto de dados clinicamente curado de 223 formulários de encaminhamento urgente para CCR, refletindo variabilidade do mundo real, incluindo layouts heterogêneos, texto livre, anotações manuscritas e marcas editoriais. Os dados são divididos em 176 formulários de treinamento e 47 formulários de teste retidos. A verdade fundamental inclui valores de campos estruturados e anotações precisas de caixas delimitadoras para evidência visual.
• Arquitetura do Sistema: O RAPTOR+ substitui o pipeline baseado em OCR primeiro por um codificador-decodificador baseado em transformador multimodal. Ele processa características visuais por meio de um Vision Transformer e alinha-as com tokens linguísticos usando atenção cruzada. A saída é um objeto JSON estruturado onde cada valor de campo é acompanhado por uma caixa delimitadora indicando a evidência fonte.
• Modelos Avaliados: O estudo estabelece benchmarks para um conjunto diversificado de Modelos Visão-Linguagem (VLMs):
  • Zero-Shot Comercial: Gemini 2.5 Flash e Claude Opus 4.6.
  • Zero-Shot de Peso Aberto: Variantes do Qwen3-VL (2B, 4B, 8B, 32B parâmetros).
  • Ajuste Fino de Peso Aberto: Variantes do Qwen3-VL (2B, 4B, 8B) treinadas em pares de imagens de documentos e alvos JSON estruturados contendo valores e coordenadas de caixas delimitadoras.
• Protocolo de Avaliação: O desempenho é medido usando um protocolo multicritério que separa a extração semântica da localização de evidência:
  • Precisão de Leitura (NM): Corretude semântica do valor extraído.
  • Precisão de Evidência (EP): A proporção de caixas delimitadoras previstas que se sobrepõem a qualquer região de verdade fundamental.
  • Segurança Estrita (IoU Conjunta): A proporção de campos onde tanto o valor está correto quanto a caixa delimitadora tem uma Interseção sobre União (IoU) > 0,5 com a verdade fundamental.
  • Precisão de Auditoria (IoP Conjunta): Uma métrica mais permissiva (IoP > 0,5) que avalia a utilidade para revisão com humano no loop.

Principais Contribuições

1. Framework de Avaliação Consciente de Fundamentação: Os autores propõem um método de avaliação novo que quantifica conjuntamente a precisão da extração estruturada e a localização de evidência visual, abordando a "lacuna de fundamentação" onde os modelos leem bem, mas apontam mal.
2. Caracterização de Modos de Falha: O estudo identifica modos de falha clinicamente relevantes específicos, particularmente a "má localização confiante" em modelos zero-shot (por exemplo, Claude Opus 4.6), onde os modelos geram coordenadas para a maioria dos campos, mas com precisão próxima de zero, criando uma falsa sensação de confiabilidade.
3. Análise de Adaptação: O trabalho analisa como a escala do modelo e o ajuste fino específico da tarefa afetam a confiabilidade da fundamentação, demonstrando que o ajuste fino atua como um interruptor estrutural para habilitar a extração fundamentada em evidências.

Resultados

• Limitações Zero-Shot: Embora modelos zero-shot demonstrassem fortes capacidades de leitura semântica (por exemplo, Claude Opus 4.6 em 95,2%, Qwen3-VL-32B em 95,3%), eles exibiram falhas graves de fundamentação. O Gemini 2.5 Flash alcançou 92,6% de precisão de leitura, mas apenas 1,2% de Segurança Estrita. O Claude Opus 4.6 mostrou fundamentação ainda pior (0,2% de Segurança Estrita), apontando frequentemente para regiões incorretas apesar da alta precisão de leitura.
• Impacto do Ajuste Fino: O ajuste fino melhorou significativamente tanto a precisão de leitura quanto a fundamentação. O Qwen3-VL-8B ajustado finamente alcançou 96,1% de Precisão de Leitura e 60,6% de Segurança Estrita, uma melhoria substancial em relação à sua contraparte zero-shot (88,4% de precisão, 6,2% de segurança) e a todas as bases zero-shot.
• Precisão de Evidência: O ajuste fino aumentou a Precisão de Evidência de 70,1% (Qwen3-VL-8B zero-shot) para 88,5%. Modelos menores (2B/4B) que não produziam caixas delimitadoras no modo zero-shot tornaram-se funcionais após o ajuste fino, alcançando alta cobertura (82,8% e 87,6%).
• Compensações: O estudo não encontrou compensação entre qualidade de extração e confiabilidade de evidência; o ajuste fino melhorou ambos simultaneamente. Modelos ajustados finamente também aprenderam a abster-se (produzir nulo) quando incertos, priorizando ponteiros confiáveis sobre extração forçada.

Significado e Alegações
O artigo afirma que o ajuste fino específico da tarefa é essencial para a compreensão de documentos clínicos confiável e auditável. Os resultados demonstram que a capacidade de extração semântica por si só é insuficiente para implantação crítica para a segurança; sem fundamentação de evidência verificável, sistemas automatizados não podem apoiar a confiança ou a responsabilidade do clínico.

O RAPTOR+ permite que decisões de encaminhamento extraídas sejam vinculadas diretamente à evidência visual, apoiando um fluxo de trabalho com humano no loop onde os clínicos podem verificar rapidamente decisões contra regiões fonte. Os autores concluem que, embora modelos zero-shot possam servir como assistentes de auditoria para direcionar a atenção, eles são atualmente inadequados para verificação totalmente automatizada. O framework proposto oferece um caminho para triagem de encaminhamento de câncer mais segura e eficiente, garantindo que a automação seja acompanhada de evidência verificável.