From Handwriting to Structured Data: Benchmarking AI Digitisation of Handwritten Forms

Título: De la Escritura a Mano a Datos Estructurados: Evaluación de la Digitalización de Formularios Manuscritos mediante IA

1. El Problema

La digitalización manual de documentos médicos manuscritos estructurados es un proceso lento, costoso y propenso a errores, lo que representa un cuello de botella crítico para la modernización de la infraestructura sanitaria, especialmente en países de ingresos bajos y medios.

• Desafíos específicos: Los registros médicos (como los de maternidad) presentan una gran variabilidad: múltiples estilos de escritura, abreviaturas clínicas no estandarizadas, fechas mal escritas, texto fuera de los campos designados y símbolos idiosincrásicos.
• Limitaciones actuales: La tecnología OCR tradicional y los modelos de visión anteriores a los LLMs (como TrOCR o Donut) luchan con la variabilidad semántica y la calidad del texto, a menudo requiriendo fine-tuning extensivo y sufriendo de propagación de errores acumulativos.
• Contexto: El estudio se centra en el proyecto UBOMI BUHLE en Sudáfrica, que gestiona un registro de exposición a medicamentos durante el embarazo con aproximadamente 15.000 mujeres, donde la extracción de datos de 17 clínicas es vital para la investigación de resultados adversos.

2. Metodología

Los autores evaluaron 17 modelos de lenguaje grandes multimodales (MLLMs) de vanguardia (proprietarios y de código abierto) contra un conjunto de datos real y sintético.

• Conjunto de Datos:
  • Sintético: 4 formularios con datos simulados para pruebas iniciales y selección de modelos.
  • Real: 49 documentos de registros de maternidad (MCR) completamente anonimizados.
  • Tipos de campos: Campos de selección discreta (checkboxes), campos con formato restringido (fechas, números) y texto libre.
• Pipeline de Procesamiento:
  • Se utilizó una arquitectura end-to-end donde la imagen se codifica directamente en tokens visuales y se mapea a una salida de texto estructurada (JSON).
  • Prompt Engineering: Se compararon dos enfoques:
    1. Prompt Optimizado: Incluye reglas de normalización específicas del dominio y plantillas discretizadas (listas de opciones válidas como ["NVD", "C/S"] en lugar de texto libre).
    2. Prompt Base (Ablación): Sin discretización explícita, solo instrucciones generales.
  • Modelos Evaluados: Incluyeron familias de Google (Gemini 2.5/3.1), OpenAI (GPT-4.1, GPT-5 series), Anthropic (Claude Haiku/Sonnet/Opus), Grok y modelos de código abierto (Qwen2-VL, Qwen2.5-VL, dots.ocr).
• Métricas de Evaluación:
  • Precisión Global: Coincidencia exacta de cadenas (macro y ponderada).
  • Campos de Formato: Precisión en fechas y números.
  • Texto Libre: Tasa de Error de Palabras (WER) y Tasa de Error de Caracteres (CER).
  • Campos Discretos: Precisión, Recall y F1 (macro y ponderado).
  • Alucinación: Proporción de datos fabricados que no existen en el documento original.

3. Contribuciones Clave

• Benchmarking Exhaustivo: Es uno de los primeros estudios que compara modelos de vanguardia (incluyendo versiones recientes como GPT-5 y Gemini 3.1) en un escenario real de alta complejidad médica.
• Análisis de Prompting: Demuestra cuantitativamente cómo la optimización de prompts (específicamente la discretización de campos) impacta drásticamente en la precisión, mejorando las métricas macro en más del 60%.
• Identificación de Fortalezas Específicas: Desglosa qué modelos son superiores para tareas específicas (fechas, texto libre, clasificación discreta) en lugar de ofrecer una sola métrica global.
• Validación en Contexto de Recursos Limitados: Proporciona evidencia de que la IA puede ser viable para digitalizar archivos médicos en entornos con infraestructura limitada, reduciendo la dependencia de la entrada manual.

4. Resultados Principales

• Rendimiento General:
  • Los modelos pequeños y de código abierto (Qwen, Dots.ocr) tuvieron un rendimiento muy pobre (<40% de precisión en campos llenos).
  • Los modelos de vanguardia alcanzaron una precisión de coincidencia exacta global de aproximadamente 85%, con puntuaciones F1 ponderadas de ~90% en campos discretos.
• Desempeño por Modelo:
  • Gemini 3.1 Pro: Fue el mejor modelo general. Destacó en campos de texto libre (WER=0.50, CER=0.31) y en campos de selección discreta (F1 ponderado = 0.91).
  • GPT 5.4: Excelencia en la extracción de fechas ruidosas (100% de precisión en la sección de consejería) y la tasa de alucinación más baja (6%).
  • Claude Sonnet 4.6: Mejor rendimiento en campos con formato (fechas y valores numéricos) con una precisión del 77% (excluyendo nulos).
• Impacto del Prompting:
  • La optimización del prompt mejoró la precisión macro (precisión, recall, F1) en más del 60% para campos discretos, aunque tuvo un impacto mínimo (~2-5%) en las métricas ponderadas.
  • Sin discretización, los modelos pequeños fallaron al intentar interpretar las listas de opciones, devolviendo las listas literales en lugar de seleccionar la opción correcta.
• Desafíos Persistentes:
  • Los campos de texto libre siguen siendo los más difíciles debido a abreviaturas médicas no estándar y escritura desordenada.
  • La sección de "Investigaciones" fue la peor clasificada debido a la falta de estructura y escritura desordenada.
  • La tasa de alucinación, aunque baja (6-7%), sigue siendo un riesgo crítico en contextos médicos.

5. Significado e Implicaciones

• Viabilidad de Automatización: El estudio concluye que hemos llegado a un punto de inflexión donde los MLLMs ofrecen una base sólida para la digitalización totalmente automatizada de flujos de trabajo complejos de escritura a mano.
• Impacto en Países en Desarrollo: La capacidad de procesar grandes volúmenes de datos médicos históricos de manera rápida y económica es crucial para mejorar la investigación epidemiológica y la atención sanitaria en países de ingresos bajos y medios.
• Futuro de la Investigación: Aunque el conjunto de datos fue pequeño (49 formularios), su heterogeneidad sirve como un benchmark riguroso. Se sugiere que el futuro trabajo debe enfocarse en aumentar el tamaño del dataset para mitigar efectos de escasez y expandir la evaluación a otros tipos de formularios médicos.

En resumen, el papel demuestra que, con la arquitectura de modelos adecuada y una ingeniería de prompts específica, la IA puede superar significativamente los métodos tradicionales para extraer datos de registros médicos manuscritos complejos, ofreciendo una vía prometedora para liberar el valor de los archivos de salud no digitalizados.