Ensemble Method for OCR Error Handling in Early-Modern Japanese Texts

La palabra escrita es algo frágil. El papel se amarillea, la tinta se desvanece y las páginas físicas de la historia se desmoronan lentamente. Para preservar estos registros, las bibliotecas y los archivos han pasado décadas escaneando libros y convirtiendo las imágenes de sus páginas en texto digital que las computadoras puedan leer y buscar. Este proceso, conocido como reconocimiento óptico de caracteres, funciona de manera notable para los libros modernos donde las fuentes son uniformes y el papel está limpio. Sin embargo, la tarea se vuelve mucho más difícil cuando el material de origen proviene de una época anterior a la estandarización, como los libros japoneses publicados entre finales del siglo XIX y principios del XX. Estos textos presentan una variedad caótica de tipos de letra, impresiones desgastadas y caracteres que se parecen de forma sorprendente entre sí. Cuando una computadora intenta leerlos, a menudo confunde un carácter con otro, creando un texto digital que parece correcto a simple vista pero que está lleno de errores sutiles y silenciosos que lo vuelven inútil para la investigación seria.

Un equipo de investigadores de universidades de Nara, Kioto y Shiga ha desarrollado una nueva forma de solucionar estos errores específicos. Crearon un sistema que actúa como un editor de dos pasos para estos textos digitales dañados. Primero, el sistema escanea el texto para encontrar dónde se esconden los errores. En lugar de depender de un solo método para hacer esto, combinaron dos enfoques diferentes: uno que verifica si una palabra existe en una lista conocida, y otro que utiliza un modelo computacional entrenado para comprender el flujo y el contexto de una oración. Al hacer que estos dos métodos trabajen juntos, el sistema puede detectar errores que un método podría pasar por alto, ignorando al mismo tiempo las falsas alarmas que el otro podría generar. Una vez que se encuentra un error, el sistema sugiere el carácter correcto para reemplazarlo, utilizando un potente modelo de lenguaje para adivinar la palabra más probable basándose en el texto circundante. Sus experimentos demostraron que este enfoque combinado detecta errores con mayor precisión que los métodos anteriores y corrige con éxito una parte significativa de ellos, haciendo que la historia digitalizada del Japón de la era moderna sea mucho más confiable para académicos y para el público.

El desafío de leer estos libros antiguos no se trata solo de la edad del papel, sino de la naturaleza de la impresión misma. A diferencia de los libros actuales, que utilizan fuentes consistentes, las publicaciones de la era Meiji a principios de la era Showa se imprimieron con una amplia variedad de tipos de letra que cambiaban de editor a editor e incluso de año en año. El proceso de impresión de aquella época a menudo resultaba en caracteres borrosos o desiguales. Cuando el software de reconocimiento óptico de caracteres moderno, que está entrenado en texto limpio y estándar, intenta leer estas páginas, frecuentemente confunde caracteres que se parecen. Por ejemplo, un carácter con un trazo adicional ligero podría ser leído como una palabra completamente diferente. Aunque se ha creado software especializado para manejar estas fuentes antiguas, todavía comete errores en aproximadamente el tres por ciento de los caracteres. En una oración larga, esto significa que casi la mitad de todas las oraciones contienen al menos un error, lo cual es demasiado para que una computadora lo busque o para que un investigador confíe en él sin verificación.

Para resolver esto, los investigadores construyeron un sistema que opera en dos etapas distintas: detección y corrección. La primera etapa es la más crítica, ya que el sistema debe identificar exactamente qué caracteres están mal sin marcar los correctos como errores. El equipo se dio cuenta de que usar solo una herramienta para encontrar estos errores no era suficiente. Una simple comprobación de diccionario, que busca si una palabra está en una lista de palabras conocidas, es muy buena detectando disparates, pero a menudo falla cuando encuentra una palabra rara o desconocida que es en realidad correcta. Por otro lado, un modelo computacional que aprende del contexto de una oración es muy bueno entendiendo cómo las palabras encajan entre sí, pero a veces puede confundirse con nombres raros o términos específicos que no ha visto con frecuencia.

Los investigadores decidieron combinar estas dos fortalezas en un único método de ensamble. Tomaron la salida de un verificador basado en diccionarios y la salida de un modelo computacional consciente del contexto y las hicieron trabajar juntas. Si el diccionario dice que una palabra falta, el sistema verifica si el modelo de contexto también piensa que es incorrecta. Si ambos están de acuerdo, el sistema la marca como un error. Si solo uno piensa que es errónea, el sistema asume que podría ser una palabra rara pero correcta y la deja tal cual. Esta estrategia redujo significamente las veces que el sistema acusaba falsamente a una palabra correcta de ser un error. En sus pruebas, este enfoque combinado identificó correctamente los errores aproximadamente el 75 por ciento de las veces, manteniendo el número de falsas alarmas mucho más bajo de lo que cualquiera de los métodos podría lograr por sí solo.

Una vez que el sistema ha localizado los errores, pasa a la segunda etapa: corregirlos. Los investigadores reemplazaron el carácter sospechoso por un espacio en blanco, o una "máscara", y le pidieron a un sofisticado modelo de lenguaje que predijera cuál debería haber sido el carácter original. Este modelo, entrenado con vastas cantidades de texto de la misma era, observa las palabras antes y después del espacio en blanco para adivinar el candidato más probable. Para asegurar que la suposición fuera adecuada, el sistema también verificó qué tan similar era el nuevo carácter al viejo y erróneo, ya que los errores de OCR suelen ocurrir entre caracteres que se asemejan entre sí. El sistema luego clasificó sus mejores suposiciones y seleccionó la mejor.

Los resultados de este nuevo método fueron prometedores. Cuando los investigadores probaron su sistema en miles de oraciones de libros digitalizados, encontraron que corregía alrededor del 65 por ciento de los errores que lograba detectar. Este fue una mejora notable respecto al uso del modelo de contexto por sí solo, que corregía cerca del 58 por ciento de los errores. El sistema fue particularmente efectivo cuando había encontrado la ubicación exacta del error sin confusión; en esos casos, la tasa de éxito de la corrección saltó a más del 90 por ciento. Sin embargo, los investigadores también notaron una compensación. Al ser muy cuidadosos para evitar falsas alarmas, el sistema a veces omitía algunos errores por completo, lo que significa que no detectaba cada uno de los errores en el texto. Descubrieron que el sistema tenía más dificultades con palabras muy raras o nombres propios que no eran comunes en los datos de entrenamiento, ya que ni el diccionario ni el modelo de contexto tenían suficiente información para estar seguros de ellos.

A pesar de estas limitaciones, el estudio demuestra que combinar diferentes tipos de comprobaciones es una forma poderosa de limpiar textos históricos. Los investigadores demostraron que, al permitir que un diccionario y un modelo consciente del contexto se verificaran mutuamente, pudieron crear una herramienta más confiable para historiadores y bibliotecarios. Este trabajo no pretende haber resuelto completamente el problema de la lectura de los libros japoneses antiguos, pero representa un paso significativo para hacer que las versiones digitales de estos textos sean lo suficientemente precisas como para ser útiles. A medida que se digitalicen más libros, métodos como este serán esenciales para asegurar que el archivo digital sea un reflejo fiel del original, preservando la verdadera voz del pasado para las generaciones futuras.