ViHistScriptBench: Benchmarking Vietnamese Historical Script and Document–Type Classification in Low–Resource Settings

Resumen Técnico: ViHistScriptBench

Planteamiento del Problema
Los archivos históricos vietnamitas contienen una mezcla compleja de escrituras, incluyendo el chữ Hán (chino clásico), el chữ Nôm (una escritura logográfica que adapta los caracteres chinos para el vietnamita), el quốc ngữ temprano (basado en el alfabeto latino) y el quốc ngữ moderno. Si bien la digitalización es crucial para la preservación del patrimonio cultural, el Reconocimiento Óptico de Caracteres (OCR) y el análisis de documentos para estos materiales enfrentan obstáculos significativos. Los sistemas existentes están predominantemente entrenados en escrituras latinas modernas y luchan contra los desafíos específicos de los documentos históricos vietnamitas: caligrafía compleja, formas de glifos irregulares, disposiciones verticales, notas marginales y diversas formas de degradación. Además, los recursos para el OCR de Han–Nôm son escasos en comparación con los conjuntos de datos a nivel de carácter como NomNaOCR, que se centran en la segmentación en lugar de la clasificación a nivel de página. Existe una falta de evaluaciones estandarizadas para evaluar la identificación de escrituras y la clasificación de tipos de documentos en entornos de bajos recursos.

Metodología
El artículo presenta ViHistScriptBench, un benchmark ligero diseñado para facilitar la investigación reproducible sobre la comprensión de documentos históricos vietnamitas.

• Construcción del Conjunto de Datos: El corpus consta de 500 páginas digitalizadas obtenidas de archivos públicos, incluyendo la Biblioteca Nacional de Vietnam, la Fundación Nom y las Bibliotecas de la Universidad de Columbia. El conjunto de datos cubre diversos géneros (poesía épica, crónicas, narrativas populares) y siglos. Las imágenes fueron submuestreadas a 300 dpi y almacenadas en formato PNG.
• Esquema de Anotación: Cada página se etiqueta con dos atributos:
  1. Clase de Escritura: Hán, Nôm, Mixta (que contiene ambas) o Early Quốc Ngữ.
  2. Tipo de Documento: Impresión en Xilografía (Woodblock Print), Manuscrito Hecho a Mano o Impresión Moderna.
     Las anotaciones fueron realizadas por estudiantes de posgrado con formación en paleografía y verificadas por un lingüista senior.
• Tareas del Benchmark: El benchmark define tres tareas de clasificación primarias:
  1. Identificación de Escritura: Predecir la clase de escritura de una página completa.
  2. Clasificación de Tipo de Documento: Clasificar el tipo de material y disposición.
  3. Detección de Escritura Mixta: Una tarea binaria para identificar páginas que contienen una mezcla de Hán y Nôm.
• Modelos de Referencia (Baselines): Los autores evaluaron tres categorías de modelos adaptados para la clasificación de imágenes:
  • CNN Clásicas: ResNet-50 y EfficientNet-B0, ajustadas mediante preentrenamiento de ImageNet.
  • Vision Transformers (ViT): Un modelo ViT base ajustado con el conjunto de datos.
  • Modelos de Lenguaje de Gran Escala Multimodales (MLLM): El codificador de imágenes CLIP, probado tanto con ajuste fino supervisado como con prompting zero-shot.
• Preprocesamiento: Las imágenes se redimensionaron a 224×224. Se aplicó un preprocesamiento específico (estiramiento de contraste, filtrado de mediana) a las impresiones en xilografía para reducir el ruido, mientras que se retuvo la información de color para los manuscritos para preservar los trazos de pincel.

Contribuciones Clave

1. Corpus Curado: Una colección pequeña pero diversa de 500 páginas de Han–Nôm anotadas con etiquetas de escritura y tipo de documento.
2. Tareas Definidas: Una formalización de la identificación de escritura a nivel de página, la detección de mezcla de escrituras y el reconocimiento de tipo de documento específicos para contextos históricos vietnamitas.
3. Evaluaciones de Referencia: Métricas de rendimiento exhaustivas para CNN clásicas, Transformers y MLLMs en estas tareas, incluyendo precisión, puntuaciones macro-F1 y matrices de confusión.
4. Análisis de Errores: Identificación de modos de falla específicos, tales como la confusión entre Hán y Nôm debido a la similitud visual, la mala interpretación de disposiciones verticales y errores causados por la degradación de los diacríticos.
5. Lanzamiento Público: Los datos y el código se liberan para apoyar la comparación justa y la investigación futura.

Resultados Experimentales
Los autores reportan resultados en un conjunto de prueba reservado (20% de los datos). Los hallazgos clave incluyen:

• Rendimiento: El propuesto "Nuestro Pipeline" (que combina preprocesamiento, características profundas y un clasificador ligero) logró el mayor rendimiento, con un 90.1% de precisión en Identificación de Escritura, 93.4% en Clasificación de Tipo de Documento y 89.3% en Detección de Escritura Mixta.
• Comparación de Modelos:
  • ViT-Base funcionó bien entre las arquitecturas estándar (88.5% de precisión en Identificación de Escritura), lo que sugiere una ventaja en la captura de dependencias de largo alcance y disposiciones de columnas.
  • EfficientNet-B0 ofreció un fuerte equilibrio entre precisión y eficiencia de parámetros (86.7% de precisión en Identificación de Escritura).
  • CLIP mostró un rendimiento inferior en configuraciones zero-shot (68.0% de precisión en Identificación de Escritura) en comparación con el ajuste fino supervisado, aunque demostró cierta capacidad de generalización.
• Patrones de Error: La matriz de confusión reveló que los errores más frecuentes ocurren entre las clases Hán y Nôm debido a su similitud visual. Las páginas Mixtas suelen clasificarse erróneamente cuando la escritura minoritaria aparece solo en espacios marginales. Las páginas de Early Quốc Ngữ a veces se confunden debido a la impresión degradada y similitudes de diacríticos.

Significancia y Reivindicaciones
El artículo posiciona a ViHistScriptBench como un primer paso hacia la creación de benchmarks sistemáticos para el reconocimiento de escrituras históricas vietnamitas. Los autores mantienen un tono modesto, reconociendo que el conjunto de datos es pequeño (500 páginas) y refleja la realidad práctica de la escasez de datos en el patrimonio cultural. Reivindican que incluso los resultados modestos proporcionan bases útiles para un campo que carecía de evaluaciones estandarizadas.

La significancia del trabajo radica en:

• Abordar la Brecha: Proporcionar el primer benchmark dedicado a la clasificación a nivel de página de documentos Han–Nôm, distinto de las tareas de segmentación a nivel de carácter.
• Resaltar Desafíos Específicos: Exponer categorías de error únicas vinculadas a diacríticos, disposiciones verticales y degradación de materiales que son específicas de este dominio.
• Fundamento para Trabajos Futuros: Establecer un marco para la investigación futura en preentrenamiento autosupervisado, aprendizaje semi-supervisado e iniciativas de anotación impulsadas por la comunidad (similares a Transkribus) para expandir el conjunto de datos y mejorar la robustez de los modelos.

Los autores no pretenden haber resuelto el problema del OCR por completo, sino más bien haber proporcionado la infraestructura necesaria (datos, tareas, bases de referencia) para acelerar el progreso en la preservación y apertura del patrimonio textual de Vietnam.