Handwritten German Administrative Forms (HGAF): A Dataset for Handwriting Recognition with Fine-Tuned and Zero-Shot Baselines

En los rincones silenciosos de oficinas y edificios gubernamentales en toda Alemania, una gran cantidad de papeleo todavía existe en su forma física original. A pesar de la era digital, casi el cuarenta por ciento de las empresas allí todavía gestionan la mitad de sus tareas administrativas en papel, y muchas otras dependen de él de manera aún más intensa. Esto crea un cuello de botella persistente: las notas manuscritas en los formularios deben convertirse en datos digitales para que sean útiles. Si bien las computadoras se han vuelto notablemente buenas leyendo texto impreso, tienen dificultades significativas con la escritura a mano, especialmente cuando esa escritura está dispersa por la página en cuadros pequeños y aislados en lugar de fluir en frases continuas. El desafío no es solo reconocer las letras, sino comprender qué palabra pertenece a qué campo específico, como un nombre, una fecha o una firma. Para las organizaciones que manejan información personal sensible, la solución no puede consistir en enviar estos documentos a un servidor en la nube; los datos deben permanecer dentro de las propias paredes seguras de la empresa. Esta restricción obliga a una difícil elección entre construir software especializado y personalizado o utilizar inteligencia artificial de propósito general que sea potente, pero que nunca haya visto el formulario específico antes.

Un equipo de investigadores de la Universidad de Ciencias Aplicadas de Karlsruhe se propuso resolver este enigma creando un nuevo punto de referencia para este escenario exacto. Reunieron 291 formularios administrativos del mundo real, completados por 95 personas diferentes, para crear un conjunto de datos que llamaron Formularios Administrativos Alemanes Manuscritos. Para asegurar que los datos pudieran compartirse públicamente sin violar la privacidad, el contenido era sintético, lo que significa que los nombres y direcciones eran falsos, pero la caligrafía era genuina y variada. Los investigadores diseñaron tres versiones distintas del mismo formulario, etiquetadas como A, B y C. El Diseño A era espacioso y fácil de completar, el Diseño B era una tabla compacta que obligaba a las personas a escribir más pequeño, y el Diseño C no tenía cuadros, dejando al escritor la decisión de dónde colocar sus respuestas. Crucialmente, cada escritor completó los tres diseños con la misma información exacta, lo que permitió al equipo aislar cómo la forma y la estructura del papel afectaban la capacidad de la computadora para leer el texto.

El estudio comparó dos enfoques diferentes para la digitalización de estos formularios. El primero fue un proceso de "especialista", un método tradicional donde un programa informático primero recorta cada cuadro individual de la escritura, lo limpia y luego lo alimenta a un modelo que ha sido entrenado específicamente con miles de ejemplos similares. El segundo enfoque utilizó "modelos de visión y lenguaje", un tipo de inteligencia artificial que puede observar una imagen completa y entenderla como lo hace un humano, sin necesidad de ser reentrenado para cada nueva tarea. Los investigadores probaron estos sistemas en los tres diseños para ver qué método era más preciso y cuál podía manejar los cambios en el diseño del formulario sin romperse.

Los resultados revelaron un sorprendente cambio en el equilibrio de poder. En el sencillo y espacioso Diseño A, los modelos de inteligencia artificial general superaron de hecho al especialista altamente entrenado. Dos de los modelos de visión y lenguaje cometieron menos errores que el proceso del especialista, a pesar de que este último había sido ajustado específicamente para ese diseño exacto. El modelo especialista tuvo mayores dificultades con los campos de comentarios de texto largo, donde la escritura estaba menos restringida, mientras que los modelos generales manejaron estas secciones con mayor facilidad. Cuando los investigadores pasaron a los diseños más difíciles, B y C, la brecha se amplió. El modelo especialista, que dependía de saber exactamente dónde estaban los cuadros, comenzó a fallar significamente cuando los cuadros eran pequeños o desaparecían por completo. No podía adaptarse a las nuevas estructuras visuales, mientras que los modelos generales se mantuvieron robustos, continuando la lectura del texto con precisión a pesar de los cambios en el diseño.

Uno de los hallazgos más críticos concernía la fiabilidad del resultado. Si bien los modelos generales fueron más precisos en promedio, los investigadores encontraron que ningún sistema evaluado podía reemplazar completamente a un revisor humano. El sistema de ejecución local (on-premise) con mejor desempeño logró transcribir un formulario sin un solo error en solo un 7.7 por ciento de los casos. Esto significa que, para la gran mayoría de los formularios, un humano todavía tendría que verificar el trabajo. Sin embargo, el estudio destacó una gran ventaja para los modelos generales en términos de flexibilidad. Para adaptar el proceso del especialista a un nuevo diseño de formulario, los ingenieros necesitarían reentrenar el modelo y reescribir el código que recorta los cuadros de texto. En contraste, los modelos generales podían adaptarse a un nuevo diseño simplemente cambiando las instrucciones que se les dan, sin necesidad de reentrenamiento. Esto sugiere que para las organizaciones que manejan muchos tipos diferentes de formularios, usar un modelo flexible de propósito general podría ser más práctico que construir un sistema personalizado para cada uno, siempre que acepten que un humano aún deberá verificar los resultados finales.

El estudio también abordó las limitaciones de la tecnología actual. Aunque los modelos generales funcionaron bien, a veces producían errores extraños, como repetir palabras o no reconocer cuando un escritor había tachado algo. El modelo especialista, por su parte, fue frágil; si la computadora no podía localizar perfectamente el cuadro de texto porque el escritor había escrito ligeramente fuera de las líneas, el campo entero se leía incorrectamente. Los investigadores concluyeron que, aunque la inteligencia artificial ha dado grandes pasos, el sueño de una digitalización de formularios manuscritos totalmente automática y libre de errores sigue fuera de alcance por ahora. El camino más efectivo hacia adelante parece ser un enfoque híbrido: utilizar modelos generales potentes para realizar el trabajo pesado de lectura del texto, mientras se depende de la supervisión humana para detectar los errores inevitables, todo esto manteniendo los datos sensibles de forma segura dentro de la propia infraestructura de la organización.