Towards Selection of Large Multimodal Models as Engines for Burned-in Protected Health Information Detection in Medical Images

Resumen Técnico: Selección de Modelos Multimodales Grandes para la Detección de Información de Salud Protegida en Imágenes Médicas

Declaración del Problema
La detección y la supresión de la Información de Salud Protegida (PHI, por sus siglas en inglés) en imágenes médicas son críticas para la privacidad del paciente y el cumplimiento normativo (por ejemplo, HIPAA). Las pipelines tradicionales dependen de un proceso secuencial: Reconocimiento Óptico de Caracteres (OCR) para extraer texto, seguido de Reconocimiento de Entidades Nombradas (NER) o sistemas basados en reglas para clasificar la PHI. Sin embargo, la emergencia de Modelos Multimodales Grandes (LMM, por sus siglas en inglés) ofrece mejoras potenciales tanto en la extracción de texto como en el análisis semántico. Un desafío clave sigue siendo la localización efectiva de las regiones de texto dentro de las imágenes médicas, ya que los LMM generales no están entrenados inherentemente para la localización de múltiples objetos, lo que arriesga una detección incompleta. Además, existe una falta de evaluación sistemática respecto a las compensaciones entre precisión, latencia y costo al reemplazar componentes OCR tradicionales con LMM en pipelines de detección de PHI.

Metodología
El estudio evalúa tres LMM prominentes: GPT-4o, Gemini 2.5 Flash y Qwen2.5-VL 7B, en dos configuraciones de pipeline distintas utilizando los conjuntos de datos RadPHI-test (imágenes sintéticas, marcas complejas) y MIDI (metadatos de encabezado DICOM).

1. Localización: Ambas configuraciones utilizan YOLOv11 para detectar marcas de texto y generar recortes con cajas delimitadoras.
2. Configuración A (OCR + Análisis LMM): Un motor OCR tradicional (EasyOCR) extrae texto de los recortes. Las cadenas resultantes se alimentan luego a un LMM para la clasificación de PHI.
3. Configuración B (LMM de extremo a extremo): El LMM realiza tanto la extracción de texto (actuando como motor OCR) como la clasificación de PHI directamente sobre los recortes de imagen.

Las métricas de evaluación incluyen la Tasa de Error de Palabras (WER) y la Tasa de Error de Caracteres (CER) para la extracción, la precisión y la recuperación micro para la clasificación de PHI, y la latencia promedio de inferencia por imagen. Los modelos se probaron bajo diversas restricciones, incluido el acceso basado en API para modelos propietarios y la implementación local (mediante Ollama) para el modelo de código abierto Qwen.

Contribuciones Clave

• Evaluación Sistemática: El artículo proporciona un análisis comparativo de tres LMM de última generación (uno insignia, uno ligero propietario y uno de código abierto) bajo dos configuraciones arquitectónicas para la detección de PHI.
• Compensaciones entre Rendimiento y Latencia: Cuantifica las penalizaciones de latencia incurridas al utilizar LMM para la extracción de texto en comparación con el OCR tradicional, revelando que, aunque los LMM ofrecen una precisión OCR superior en patrones complejos, aumentan significativamente el tiempo de procesamiento.
• Perspectivas Específicas del Conjunto de Datos: El estudio destaca que el rendimiento del modelo depende en gran medida de las características de los datos. Los LMM sobresalen en escenarios con marcas complejas, de bajo contraste u oscurecidas (RadPHI-test), pero no superan consistentemente al OCR tradicional en conjuntos de datos más limpios y de alto contraste (MIDI).
• Estrategia de Implementación: Los autores proponen una arquitectura de implementación modular y escalable utilizando servicios en la nube (Google Cloud Platform) que admite tanto la supresión en tiempo real (mediante inferencia asíncrona y por lotes) como el procesamiento por lotes fuera de línea, abordando restricciones prácticas en entornos de atención médica.

Resultados

• Rendimiento del OCR: Los LMM demostraron capacidades de extracción de texto superiores en comparación con EasyOCR, logrando tasas de error más bajas (WER: 0.03–0.05; CER: 0.02–0.03) en comparación con los modelos tradicionales (EasyOCR WER: 0.29).
• Precisión de Clasificación:
  • En RadPHI-test (marcas complejas), la Configuración B (LMM para extracción) generalmente arrojó mayor precisión y recuperación que la Configuración A, con GPT-4o alcanzando una precisión y recuperación >0.99.
  • En MIDI (metadatos más limpios), la Configuración A (EasyOCR + LMM) a menudo superó a la Configuración B, lo que sugiere que para texto legible, el OCR tradicional es suficiente y más eficiente.
• Latencia: La transición de la Configuración A a la Configuración B resultó en aumentos significativos de latencia (oscilando entre el 19% y el 76% dependiendo del modelo y el conjunto de datos). GPT-4o exhibió la latencia más alta, mientras que Gemini 2.5 Flash y Qwen2.5-VL 7B ofrecieron menor latencia pero con compensaciones variables de precisión.
• Modos de Fallo: El análisis identificó que los LMM luchan con regiones de texto extremadamente pequeñas (<12 píxeles) y pueden alucinar o malinterpretar marcadores de posición (por ejemplo, "NOMBRE DEL PACIENTE" sin valores) como PHI, particularmente en el conjunto de datos MIDI.

Significado y Afirmaciones
El artículo concluye que, aunque los LMM poseen una comprensión semántica superior y capacidades OCR para imágenes médicas desafiantes, su adopción debe ponderarse frente a los costos computacionales y la latencia.

• Para Procesamiento por Lotes/Offline: Donde se prioriza la máxima precisión sobre la velocidad, se recomienda GPT-4o en una configuración de extremo a extremo.
• Para Tareas Sensibles al Tiempo: Gemini 2.5 Flash ofrece un equilibrio favorable entre precisión competitiva y menor latencia.
• Para Entornos con Restricciones de Privacidad: Qwen2.5-VL 7B se presenta como una alternativa viable de código abierto para implementación en las instalaciones, siempre que se someta a un ajuste fino para abordar su menor rendimiento fuera de la caja en tareas de razonamiento complejo.

Los autores enfatizan que no existe un único modelo "óptimo"; más bien, la selección depende de restricciones operativas específicas, incluida la complejidad de las imágenes médicas, el rendimiento requerido y las estrictas regulaciones de privacidad de datos. El estudio aboga por soluciones híbridas u optimizadas que aprovechen las fortalezas tanto del OCR tradicional como de los LMM para equilibrar la eficiencia y la fiabilidad en los flujos de trabajo de atención médica del mundo real.