Diacritic-Aware Post-OCR Correction for Vietnamese Scanned Documents: A Lightweight Baseline for Low-Quality Document Digitization

Resumen Técnico: Corrección Post-OCR Consciente de Diacríticos para Documentos Escaneados en Vietnamita

Declaración del Problema
El Reconocimiento Óptico de Caracteres (OCR) es fundamental para la digitalización de documentos escaneados, sin embargo, enfrenta desafíos significativos cuando se aplica al texto vietnamita, particularmente bajo condiciones de baja calidad (por ejemplo, desenfoque, baja resolución, iluminación desigual y artefactos de compresión). A diferencia de las lenguas de alfabeto latino no tonales, el vietnamita depende de un sistema complejo de diacríticos y marcas de tono para codificar el significado léxico. Un error menor en el reconocimiento de estas marcas —como confundir ban (dar), bán (vender), bàn (mesa), bản (copia) o bạn (amigo—puede alterar completamente el significado semántico de una palabra. En escaneos degradados, estos pequeños diacríticos suelen ser los primeros elementos en perderse o ser mal reconocidos, lo que hace que los resultados estándar de OCR sean inutilizables para tareas posteriores como la búsqueda, la minería de textos y la preservación de archivos. Aunque existen modelos de aprendizaje profundo, estos suelen requerir grandes conjuntos de datos anotados y un entrenamiento costoso, lo cual no siempre es factible en escenarios de digitalización prácticos y de bajos recursos.

Metodología
El artículo propone un flujo de trabajo de corrección post-OCR ligero y consciente de los diacríticos, diseñado para operar como una etapa modular después de cualquier motor de OCR estándar (por ejemplo, Tesseract, VietOCR, PaddleOCR). La metodología consta de cinco etapas distintas:

1. Preprocesamiento de Imagen: La imagen de entrada se somete a conversión a escala de grises, reducción de ruido, mejora de contraste, umbralización adaptativa (o binarización de Otsu) y corrección de inclinación (deskewing). Esta etapa tiene como objetivo maximizar la visibilidad de los pequeños diacríticos sin una binarización demasiado agresiva que pueda borrarlos.
2. Reconocimiento OCR: La imagen preprocesada se pasa a un motor de OCR de "caja negra" para generar tokens de texto bruto ($T_{raw}$).
3. Detección de Candidatos de Error: El sistema identifica tokens "sospechosos" que requieren corrección. Un token se marca si:
   • Está ausente en el diccionario vietnamita.
   • Tiene una forma base (sin diacríticos) que coincide con múltiples palabras del diccionario.
   • Contiene combinaciones de caracteres inusuales o falta de marcas de tono en contextos de alta probabilidad.
   • Exhibe confusión de caracteres visualmente similares (por ejemplo, o/ô/ơ, a/ă/â, u/ư, e/ê).
4. Corrección Consciente de Diacríticos: Para cada candidato, el sistema elimina los diacríticos para encontrar la forma base y recupera todas las palabras válidas del diccionario vietnamita que comparten dicha base.
   • Si el conjunto de candidatos está vacío, una búsqueda de distancia de edición encuentra palabras visualmente similares.
   • Si existen múltiples candidatos, estos se clasifican mediante una función de puntuación basada en la similitud de caracteres, similitud de diacríticos, frecuencia de la palabra, contexto local, puntuaciones de diccionario de dominio y probabilidades de n-gramas.
   • El candidato con la puntuación más alta se selecciona como el token corregido ($\hat{w}_i$).
5. Reconstrucción de Texto: Los tokens corregidos se reensamblan en el texto final ($T_{corr}$).

El enfoque evita explícitamente el reentrenamiento de grandes modelos de extremo a extremo, basándose en su lugar en búsquedas en diccionarios, sustituciones basadas en reglas y clasificación estadística.

Contribuciones Clave
El artículo describe cuatro contribuciones primarias:

1. Un Flujo de Trabajo Ligero: Un marco de corrección post-OCR práctico y reproducible dirigido específicamente a errores de diacríticos y marcas de tono en vietnamita, diseñado para escenarios con datos y recursos computacionales limitados.
2. el Taxonomía de Errores: Una taxonomía definida de errores de OCR en vietnamita, categorizando problemas como falta de diacríticos, marcas de tono incorrectas, confusión de formas vocálicas, sustitución de caracteres, errores de segmentación de palabras y ruido relacionado con el diseño (layout).
3. Estrategia de Corrección: Un mecanismo de corrección basado en diccionarios y reglas que funciona sin entrenamiento de modelos a gran escala, utilizando la generación y clasificación de candidatos para resolver la ambigüedad.
4. Marco de Evaluación: Un conjunto exhaustivo de métricas y análisis cualitativos, que incluyen la Tasa de Error de Caracteres (CER), la Tasa de Error de Palabras (WER), la Tasa de Error de Diacríticos (DER) y la Precisión Exacta de Palabra, junto con análisis de documentos de muestra para apoyar investigaciones futuras.

Resultados Experimentales
Los autores evaluaron el flujo de trabajo en una colección de documentos escaneados en vietnamita que presentaban diversos diseños, tamaños de fuente y niveles de ruido. Aunque se señala que los valores numéricos específicos en el artículo son ilustrativos para un borrador de preprint, las tendencias reportadas indican:

• Ganancias de Rendimiento: La combinación de preprocesamiento y post-corrección produjo los mejores resultados. En comparación con el OCR bruto, el flujo de trabajo completo redujo la Tasa de Error de Diacríticos (DER) del 18.95% al 6.91% y mejoró la Precisión Exacta de Palabra del 78.33% al 87.15%.
• Sensibilidad de la Calidad: El módulo de corrección mostró una mejora significativa en todos los subconjuntos de calidad de imagen. Por ejemplo, en imágenes de "Baja resolución", el WER mejoró un 6.75%, y en "Imágenes desenfocadas", mejoró un 8.88%.
• Distribución de Errores: El análisis confirmó que "Falta de tono" (38.6%) y "Falta de marca vocálica" (25.1%) son los tipos de error dominantes, validando el enfoque del método propuesto.

Significancia y Reivindicaciones
El artículo posiciona este trabajo como una línea base simple y reproducible para mejorar el OCR en vietnamita, particularmente para la digitalización de documentos de baja calidad, el análisis de documentos históricos y la tecnología de lenguas de bajos recursos.

Los autores afirman que una mejora significativa del OCR no requiere necesariamente el reentrenamiento de modelos masivos que demandan muchos datos. En su lugar, un módulo de post-procesamiento ligero puede reparar eficazmente los errores sistemáticos de diacríticos, que son la principal fuente de degradación semántica en el OCR de vietnamita. El método se destaca como particularmente útil para documentos administrativos y educativos donde las frases repetitivas y específicas de un dominio permiten una corrección efectiva basada en diccionarios.

Sin embargo, el artículo mantiene una postura modesta respecto a sus limitaciones. Reconoce que el método depende fuertemente de la cobertura del diccionario (presentando dificultades con nombres raros o ortografías no estándar), está diseñado principalmente para texto impreso en lugar de escritura manual, y no resuelve problemas complejos de comprensión de diseño (por ejemplo, el orden de las columnas en tablas). Los autores enfatizan que, si bien el enfoque actual es una base sólida, el trabajo futuro debería integrar modelos de lenguaje neuronales (como PhoBERT) y comprensión sensible al diseño para abordar estos desafíos restantes.