Towards Selection of Large Multimodal Models as Engines for Burned-in Protected Health Information Detection in Medical Images

Resumo Técnico: Seleção de Modelos Multimodais Grandes para Detecção de Informações de Saúde Protegidas em Imagens Médicas

Declaração do Problema
A detecção e a redação de Informações de Saúde Protegidas (PHI) em imagens médicas são críticas para a privacidade do paciente e a conformidade regulatória (por exemplo, HIPAA). Pipelines tradicionais dependem de um processo sequencial: Reconhecimento Óptico de Caracteres (OCR) para extrair texto, seguido por Reconhecimento de Entidades Nomeadas (NER) ou sistemas baseados em regras para classificar PHI. No entanto, o surgimento de Modelos Multimodais Grandes (LMMs) oferece potenciais melhorias tanto na extração de texto quanto na análise semântica. Um desafio fundamental permanece a localização eficaz de regiões de texto dentro de imagens médicas, pois LMMs gerais não são inerentemente treinados para localização de múltiplos objetos, arriscando detecção incompleta. Além disso, há uma falta de avaliação sistemática quanto aos trade-offs entre precisão, latência e custo ao substituir componentes OCR tradicionais por LMMs em pipelines de detecção de PHI.

Metodologia
O estudo avalia três LMMs proeminentes — GPT-4o, Gemini 2.5 Flash e Qwen2.5-VL 7B — em duas configurações de pipeline distintas, utilizando os conjuntos de dados RadPHI-test (impressões sintéticas, complexas) e MIDI (metadados de cabeçalho DICOM).

1. Localização: Ambas as configurações utilizam YOLOv11 para detectar impressões de texto e gerar recortes com caixas delimitadoras.
2. Configuração A (OCR + Análise LMM): Um motor OCR tradicional (EasyOCR) extrai texto dos recortes. As strings resultantes são então alimentadas em um LMM para classificação de PHI.
3. Configuração B (LMM Ponta a Ponta): O LMM realiza tanto a extração de texto (atuando como motor OCR) quanto a classificação de PHI diretamente nos recortes de imagem.

As métricas de avaliação incluem Taxa de Erro de Palavras (WER) e Taxa de Erro de Caracteres (CER) para extração, precisão e recall micro para classificação de PHI, e latência média de inferência por imagem. Os modelos foram testados sob restrições variadas, incluindo acesso baseado em API para modelos proprietários e implantação local (via Ollama) para o modelo de código aberto Qwen.

Principais Contribuições

• Avaliação Sistemática: O artigo fornece uma análise comparativa de três LMMs de última geração (um principal, um proprietário leve e um de código aberto) sob duas configurações arquitetônicas para detecção de PHI.
• Trade-offs Desempenho vs. Latência: Quantifica as penalidades de latência incorridas ao usar LMMs para extração de texto versus OCR tradicional, revelando que, embora LMMs ofereçam precisão OCR superior em padrões complexos, eles aumentam significativamente o tempo de processamento.
• Insights Específicos por Conjunto de Dados: O estudo destaca que o desempenho do modelo é altamente dependente das características dos dados. LMMs se destacam em cenários com impressões complexas, de baixo contraste ou obscurecidas (RadPHI-test), mas não superam consistentemente o OCR tradicional em conjuntos de dados mais limpos e de alto contraste (MIDI).
• Estratégia de Implantação: Os autores propõem uma arquitetura de implantação modular e escalável usando serviços em nuvem (Google Cloud Platform) que suporta tanto redação em tempo real (via inferência assíncrona e em lote) quanto processamento em lote offline, abordando restrições práticas em ambientes de saúde.

Resultados

• Desempenho OCR: LMMs demonstraram capacidades de extração de texto superiores em comparação com o EasyOCR, alcançando taxas de erro menores (WER: 0,03–0,05; CER: 0,02–0,03) em comparação com modelos tradicionais (EasyOCR WER: 0,29).
• Precisão de Classificação:
  • No RadPHI-test (impressões complexas), a Configuração B (LMM para extração) geralmente produziu maior precisão e recall do que a Configuração A, com o GPT-4o alcançando precisão e recall >0,99.
  • No MIDI (metadados mais limpos), a Configuração A (EasyOCR + LMM) frequentemente superou a Configuração B, sugerindo que, para texto legível, o OCR tradicional é suficiente e mais eficiente.
• Latência: A transição da Configuração A para a Configuração B resultou em aumentos significativos de latência (variando de 19% a 76%, dependendo do modelo e do conjunto de dados). O GPT-4o exibiu a maior latência, enquanto o Gemini 2.5 Flash e o Qwen2.5-VL 7B ofereceram latência menor, mas com trade-offs variados de precisão.
• Modos de Falha: A análise identificou que LMMs têm dificuldade com regiões de texto extremamente pequenas (<12 pixels) e podem alucinar ou interpretar erroneamente espaços reservados (por exemplo, "NOME DO PACIENTE" sem valores) como PHI, particularmente no conjunto de dados MIDI.

Significado e Alegações
O artigo conclui que, embora LMMs possuam compreensão semântica superior e capacidades OCR para imagens médicas desafiadoras, sua adoção deve ser ponderada contra custos computacionais e latência.

• Para Processamento em Lote/Offline: Onde a máxima precisão é priorizada sobre a velocidade, recomenda-se o GPT-4o em uma configuração ponta a ponta.
• Para Tarefas Sensíveis ao Tempo: O Gemini 2.5 Flash oferece um equilíbrio favorável entre precisão competitiva e menor latência.
• Para Ambientes com Restrições de Privacidade: O Qwen2.5-VL 7B é apresentado como uma alternativa viável de código aberto para implantação local, desde que passe por ajuste fino para abordar seu desempenho inferior fora da caixa em tarefas de raciocínio complexo.

Os autores enfatizam que não há um único modelo "ótimo"; em vez disso, a seleção depende de restrições operacionais específicas, incluindo a complexidade das imagens médicas, a taxa de transferência necessária e regulamentações estritas de privacidade de dados. O estudo defende soluções híbridas ou otimizadas que aproveitem os pontos fortes tanto do OCR tradicional quanto dos LMMs para equilibrar eficiência e confiabilidade em fluxos de trabalho reais de saúde.