MUDIDI: A Two-Stage Framework for Multilingual Dictionary Digitization with Language Models

Resumen Técnico: MUDIDI – Un marco de dos etapas para la digitalización de diccionarios multilingües

Planteamiento del problema
Los diccionarios multilingües son recursos críticos para la documentación lingüística, la educación y la revitalización, particularmente para las lenguas de bajos recursos y lenguas en peligro de extinción. Sin embargo, la gran mayoría de los diccionarios publicados en los siglos XIX y XX permanecen inaccesibles en formatos legibles por máquina, existiendo únicamente como imágenes escaneadas. La digitalización de estos recursos presenta desafíos únicos: a menudo presentan sistemas de escritura diversos y complejos (incluyendo escrituras históricas y diacríticos), diseños de múltiples columnas densos, abundantes abreviaturas, referencias cruzadas y convenciones lexicográficas específicas. Si bien los modelos de visión-lenguaje (VLM) y los modelos de lenguaje extensos (LLM) recientes han mostrado potencial en la comprensión de documentos, su capacidad para transcribir fielmente diversas escrituras e interpretar correctamente las estructuras complejas de los diccionarios no ha sido evaluada sistemáticamente.

Metodología: El marco MUDIDI
Los autores presentan MUDIDI, un marco de dos etapas diseñado para desacoplar la transcripción fiel de la página de la interpretación lexicográfica. Esta descomposición permite la evaluación y mejora independiente de la recuperación de caracteres frente a la interpretación estructural.

• Etapa 1: Transcripción fiel de la página (OCR Vanilla)
  El objetivo es producir una transcripción de texto Unicode de la página del diccionario que preserve el marcado tipográfico (etiquetas de negrita <b> e cursiva <i>) y se adhiera a un orden de lectura específico (orden por columnas para diseños estándar, por filas para entradas que abarcan columnas).

  • Datos: El marco utiliza un conjunto de datos de 30 diccionarios de dominio público que cubren diversas familias lingüísticas, sistemas de escritura (por ejemplo, cuneiforme, siríaco, devanagari, cirílico, basado en el alfabeto latino) y formatos.
  • Evaluación: Los modelos se comparan mediante la Tasa de Error de Grafema (GCER), la Tasa de Error de Palabra (WER), TextEdit (distancia de edición normalizada), Markup F1 (preservación de negrita/cursiva) y ReadOrderEdit.
  • Estudios de ablación: Los autores prueban el impacto de proporcionar una lista de alfabetos de la lengua de origen y una pista asistida por OCR (salida bruta de Mathpix) a los modelos.

• Etapa 2: Interpretación lexicográfica
  El objetivo es segmentar el texto transcrito en entradas de diccionario ordenadas y mapearlas al esquema del Multi-Dictionary Formatter (MDF) de SIL. Esto implica identificar palabras guía (headwords), categorías gramaticales, definiciones, ejemplos y referencias cruzadas.

  • Pipeline: El proceso utiliza un enfoque de dos pasadas. La Pasada 1 infiere las reglas de interpretación específicas del diccionario (marcadores MDF, abreviaturas, estructura) a partir de las páginas de introducción y una entrada de muestra. La Pasada 2 aplica estas reglas para generar la salida final con formato MDF.
  • Entradas: Los modelos reciben la transcripción de oro (gold-standard) de la Etapa 1, la imagen de la página y, opcionalmente, las páginas de introducción del diccionario y las directrices oficiales de MDF de SIL.
  • Evaluación: Las métricas incluyen la Precisión de Entrada (coincidencia de bloques de diccionario), F1 de campos MDF (asignación correcta de campos) y ReadOrderEdit para secuencias de entradas.

Contribuciones clave

1. Marco de evaluación de dos etapas: El artículo propone una novedosa descomposición de la digitalización de diccionarios en transcripción e interpretación, lo que permite un diagnóstico granular de los fallos de los modelos (por ejemplo, distinguiendo entre errores de reconocimiento de caracteres y errores de interpretación estructural).
2. Conjunto de datos de referencia multilingüe: Los autores lanzan el primer conjunto de datos para la digitalización de diccionarios, que consiste en estándares de oro anotados por humanos para tres páginas de cada uno de aproximadamente 30 diccionarios. Este conjunto de datos cubre una amplia gama de escrituras, familias lingüísticas y convenciones tipográficas.
3. Evaluación sistemática de LLMs y VLMs: Este es el primer estudio que evalúa el rendimiento de los LLM de propósito general y los VLM especializados tanto en el reconocimiento de escrituras diversas como en la segmentación compleja de entradas de diccionario.

Resultos

• Etapa 1 (Transcripción): Los LLM de propósito general, particularmente Gemini 3.1 Pro y Gemini 3 Flash, superan sustancialmente a los VLM de documentos especializados (por ejemplo, MinerU, PaddleOCR-VL) y a los sistemas de OCR convencionales (por ejemplo, Mathpix) en la mayoría de los sistemas de escritura. Los LLM demostraron una capacidad superior para preservar el marcado y el orden de lectura.

  • Listas de alfabetos: Proporcionar una lista de alfabetos produjo mejoras modestas para algunos modelos (por ejemplo, Gemini) pero degradó el rendimiento de otros (por ejemplo, GLM-OCR).
  • Pistas de OCR: Proporcionar texto de OCR preliminar como pista generalmente tuvo un efecto ligeramente negativo o un impacto insignificante en los LLM de propósito general, a veces anclándolos a errores sistemáticos del OCR.
  • Desafíos: Las escrituras con presencia digital limitada, como el cuneiforme (asirio) y ciertas ortografías basadas en el árabe (siríaco, circasiano), siguieron siendo las más desafiantes, exhibiendo tasas de error más altas.

• Etapa 2 (Interpretación): Los LLM de propósito general lograron una alta precisión en la detección de entradas (a menudo $\ge$ 0.99). El rendimiento en la asignación de campos MDF varió según el modelo y la configuración de entrada.

  • Información auxiliar: Incluir las páginas de introducción del diccionario mejoró las puntuaciones de asignación de campos MDF en 3–4 puntos F1 para los modelos Gemini y GPT.
  • Directrices: Proporcionar las directrices oficiales de MDF de SIL mejoró aún más el rendimiento, particularmente cuando las introducciones de los diccionarios estaban ausentes.
  • Reglas de interpretación: Reemplazar las reglas inferidas en la Pasada 1 con reglas de oro validadas por humanos mejoró significativamente las puntuaciones F1 de asignación de campos MDF (en ~6 puntos en promedio), lo que indica que los errores en la inferencia de reglas de la Pasada 1 se propagan a la Pasada 2.

Significado y Reivindicaciones
El artículo afirma que MUDIDI proporciona una vía práctica para convertir recursos lexicográficos heredados en datos estructurados y legibles por máquina. Los autores demuestran que los LLM de propósito general, cuando se guían por el contexto apropiado (introducciones y directrices), pueden superar a los motores de OCR especializados en la compleja tarea de la digitalización de diccionarios.

El trabajo enfatiza que, si bien los modelos actuales muestran un rendimiento superior, siguen siendo sensibles a las escrituras menos digitalizadas. Los autores abogan por un flujo de trabajo que aproveche la flexibilidad de los LLM para incorporar reglas de post-procesamiento personalizadas y específicas del diccionario para abordar errores sistemáticos, en lugar de depender únicamente de la re-transcripción. En última instancia, el marco tiene como objetivo apoyar a lingüistas, archivistas y comunidades de hablantes para desbloquear décadas de conocimiento lingüístico para la investigación y la revitalización lingüística. El artículo concluye con recomendaciones prácticas para profesionales, incluyendo la selección de modelos (favoreciendo a Gemini 3 Flash para una transcripción rentable) y el uso estratégico de información auxiliar para maximizar la calidad de la interpretación.