📄 other

Cross-Lingual Transfer Learning and Autonomous Data Bootstrapping for VLM-Based Ottoman Turkish Handwritten Text Recognition

Este artículo presenta Azra, un marco de modelo de visión y lenguaje para el reconocimiento de textos manuscritos en turco otomano que logra un rendimiento de vanguardia mediante el ajuste fino con LoRA sobre datos curados y demuestra que el arranque automático de datos puede igualar eficazmente los enfoques curados al tiempo que reduce significativamente los costes de anotación.

Autores originales: Gökhan Usta, Oğuz Alpoğlu, Fatih Günaydın

Publicado 2026-07-24

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Gökhan Usta, Oğuz Alpoğlu, Fatih Günaydın

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina intentar leer el diario de un tatarabuelo, pero la letra es un desorden de cursiva enredada, el lenguaje ha cambiado por completo y el alfabeto parece un código secreto. Esta es la realidad diaria para los historiadores que intentan descifrar los millones de documentos del Imperio Otomano. Durante siglos, estos registros fueron escritos en una escritura hermosa pero complicada llamada turco otomano, que fluye de derecha a izquierda y mezcla palabras turcas con matices árabes y persas. ¿El problema? El alfabeto fue sustituido por uno latino moderno en 1928, dejando a muy pocas personas hoy en día capaces de leer lo antiguo.

Para resolver esto, los científicos están construyendo "detectives digitales" llamados Inteligencia Artificial. Específicamente, están utilizando un tipo de IA conocido como Modelo de Visión-Lenguaje (VLM, por sus siglas en inglés). Piensa en un VLM como un robot superinteligente que ha leído millones de libros y visto millones de imágenes. No solo "ve" un garabato en una página; entiende que el garabato es una letra, y que esa letra es parte de una palabra con un significado específico. La gran pregunta que se hacen los investigadores es: ¿Podemos enseñar a estos robots a leer estos manuscritos antiguos y desordenados sin necesidad de que un experto humano se siente a transcribir cada una de las palabras? Si podemos hacerlo, podríamos desbloquear la historia a una velocidad que ningún equipo humano podría igualar.

Este artículo presenta una nueva estrategia de dos partes para enseñar a un robot llamado "Azra" a leer la caligrafía del turco otomano. Los investigadores comenzaron con un robot que ya era bastante bueno leyendo la caligrafía de los idiomas árabe e inglés modernos. Luego, probaron dos formas diferentes de enseñarle las peculiaridades específicas del estilo otomano.

El primer método, que llaman Azra 1, fue como un aula tradicional. El equipo reunió una colección pequeña y de alta calidad de 1.306 líneas de texto que habían sido cuidadosamente revisadas y transcritas por expertos humanos. También añadieron unas 2.000 páginas de documentos de tesis donde los estudiantes ya habían traducido la escritura antigua a letras turcas modernas. El robot estudió estos ejemplos cuidadosamente seleccionados y aprendió a reconocer el estilo fluido específico de la escritura "Riqa" (una caligrafía cursiva rápida utilizada en oficinas gubernamentales). Al ser probado en caligrafía similar, Azra 1 se volvió increíblemente preciso, cometiendo menos de un error por cada cinco caracteres leídos. Incluso superó a una popular herramienta comercial utilizada por los historiadores en la actualidad.

El segundo método, Azra 2, fue un experimento audaz de "autoaprendizaje". Los investigadores querían ver si el robot podía aprender sin que expertos humanos transcribieran las respuestas. Tomaron miles de páginas de los mismos documentos antiguos y dejaron que el primer robot (Azza 1) adivinara lo que decía el texto. Luego, utilizaron una poderosa herramienta de lenguaje (una IA llamada Gemini) para traducir esas suposiciones de vuelta al estilo antiguo. Finalmente, usaron un programa informático para comprobar si la suposición del robot coincidía con la página original. Si la suposición era lo suficientemente cercana, la mantenían como un nuevo ejemplo de entrenamiento. Este proceso creó un conjunto de datos masivo de más de 23.000 líneas de texto, todas generadas por máquinas con cero anotación humana.

Los resultados fueron fascinantes y revelaron un compromiso entre precisión y flexibilidad. Azra 1 (el robot enseñado por humanos) fue el campeón al leer el estilo específico para el que fue entrenado. Sin embargo, cuando los investigadores lo probaron en un estilo de caligrafía completamente diferente y más formal llamado "Naskh", tropezó un poco. Había memorizado tan bien el aspecto específico de la escritura Riqa que se confundió con cualquier cosa nueva.

Azra 2 (el robot autoaprendido) fue un poco menos perfecto en el guion familiar, pero era mucho más flexible. Debido a que había visto una variedad más amplia de ejemplos generados a través de su propio proceso de arranque automático (bootstrapping), manejó el nuevo estilo "Naskh" casi tan bien como el robot enseñado por humanos, e incluso mejor en ocasiones. Esto sugiere que tener una pila de datos enorme y diversa —incluso si fue hecha por máquinas— puede hacer que una IA sea más robusta y menos propensa a confundirse con nuevos estilos de caligrafía.

El equipo también analizó de cerca los errores que cometieron los robots. Descubrieron que los errores no eran aleatorios; eran "confusiones" específicas causadas por la forma en que las máquinas traducían el texto de ida y vuelta. Por ejemplo, la IA a veces confundía tres letras muy similares que solo se diferencian por la ubicación de un pequeño punto, o intercambiaba una letra histórica por una moderna porque la herramienta de traducción no conocía las reglas antiguas. Este es un hallazgo crucial: significa que el problema no es que el robot no pueda "ver" las letras, sino que el "traductor" en medio del proceso necesita ser más inteligente sobre la historia específica del idioma.

En resumen, el artículo muestra que podemos construir herramientas poderosas para leer la historia. Si bien los datos verificados por humanos siguen siendo el estándar de oro para la precisión perfecta en estilos específicos, un método autóno y astuto puede crear una enorme cantidad de datos de entrenamiento que hacen que la IA sea más adaptable a diferentes estilos de caligrafía. El camino a seguir no es solo alimentar al robot con más imágenes; se trata de enseñar al robot a comprender las reglas sutiles e históricas de la escritura para que deje de confundir esas complicadas letras sin puntos.

Resumen Técnico: Aprendizaje por Transferencia Translingüe y Arranque de Datos Autónomo para el Reconocimiento de Texto Manuscrito en Turco Otomano Basado en VLM

1. Planteamiento del Problema

La transcripción automatizada de manuscritos en turco otomano sigue siendo un desafío significativo debido a la severa escasez de recursos y sus singulares complejidades lingüísticas. El corpus se caracteriza por:

Complejidad de la Escritura: Escritura árabe cursiva de derecha a izquierda donde las formas de las letras varían según su posición (inicial, medial, final, aislada).
Hibridez Lingüística: Una síntesis de sintaxis turca con un extenso vocabulario árabe y persa, lo que requiere una comprensión contextual profunda.
Ambigüedad Ortográfica: Ortografía no fonética, omisión frecuente de vocales y un denso apilamiento vertical de caracteres (especialmente en el estilo caligráfico Riqa) que dificulta los motores de OCR estándar.
Escasez de Datos: El abandono de la escritura otomana en 1928 ha provocado una falta de anotadores expertos, mientras que los modelos modernos de Reconocimiento de Texto Manuscrito (HTR) se centran desproporcionadamente en idiomas basados en el alfabeto latino.

Las soluciones existentes, como la plataforma comercial Osmanlica.com, a menudo dependen de procesos de múltiples etapas (detección seguida de reconocimiento) que fallan cuando la detección de texto es imperfecta, y tienen dificultades con los matices específicos de la escritura cursiva histórica.

2. Metodología

Los autores proponen un marco de trabajo de Modelo de Visión-Lenguaje (VLM) de extremo a extremo construido sobre la arquitectura Qwen2.5-VL-3B-Instruct. La estrategia central involucra el Aprendizaje por Transferencia Translingüe desde un modelo de escritura a mano árabe-inglés y el Arranque de Datos Autónomo (Autonomous Data Bootstrapping) para superar los cuellos de botella de la anotación.

Adaptación del Modelo Base:
La base es el modelo sherif1313/Arabic-English-handwritten-OCR-v3, una variante de Qwen2.5-VL ajustada mediante LoRA. Los autores identificaron que habilitar tie_word_embeddings=True fue crítico para la estabilidad de la convergencia. Este modelo base proporciona priors para las características visuales de la escritura árabe (ligaduras, diacríticos) que se solapan significamente con el turco otomano.

Dos Variantes de Modelo:

Azra 1 (Ajuste Fino Curado):
- Datos: Un corpus mixto de 1,306 muestras de nivel de línea verificadas por humanos de Osmanlica.com (estilo Riqa) y 2,000 muestras de nivel de página de tesis del Consejo de Educación Superior (YÖK).
- Procesamiento: Las tesis de YÖK contienen transliteraciones en alfabeto latino. Estas fueron convertidas de nuevo al alfabeto árabe utilizando la API de Google's Gemini 3.1 Flash Lite para generar la verdad de campo (ground truth).
- Objetivo: Establecer una línea base de alto rendimiento utilizando datos verificados por humanos.
Azra 2 (Arranque Autónomo):
- Datos: Derivados exclusivamente del corpus de tesis de YÖK (23,072 líneas), sin solapamiento con el corpus de Osmanlica.com utilizado en Azra 1.
- Pipeline:
  1. Segmentación: Imágenes de página completa segmentadas en cajas delimitadoras de nivel de línea utilizando el modelo Hedrax/AHDoc basado en DBNet.
  2. Borrador: Azra 1 generó transcripciones de borrador para estas líneas.
  3. Alineación y Filtrado: Un algoritmo de ventana deslizante dinámica (difflib.SequenceMatcher) alineó el texto de la línea del borrador contra el texto de referencia a nivel de página (generado por Gemini).
  4. Selección: Solo se retuvieron pares con una relación de alineación $\ge$ 0.60, lo que resultó en un conjunto de entrenamiento de alta confianza y totalmente autónomo sin anotación humana.

Configuración de Entrenamiento:
Ambos modelos utilizaron Adaptación de Bajo Rango (LoRA). Azra 2 empleó una configuración de LoRA más extensa (Rango 32 vs. 16) e incluyó la capa de proyección del conector visual-lenguaje, aumentando los parámetros entrenables al 2.14% del total del modelo.

3. Contribuciones Clave

Marco Novedoso: Un enfoque de VLM de extremo a extremo adaptado específicamente para el HTR en turco otomano, aprovechando la transferencia translingüe de modelos de escritura a mano árabe.
Arranque Autónomo: Una metodología para generar pares de entrenamiento a nivel de línea a partir de datos a nivel de página sin anotación humana, utilizando la reverstraliteración basada en LLM y el filtrado por alineación de cadenas.
el cual permite comparar el rendimiento de datos curados frente a los arrancados, y la generalización de distribución interna (Riqa) frente a la de distribución externa (Naskh), contra una línea base comercial (Osmanlica.com) y líneas base zero-shot.
Análisis de Errores: Un análisis granular a nivel de carácter que rastrea errores sistemáticos hasta etapas específicas del pipeline de reverstraliteración en lugar de ruido genérico de reconocimiento.

4. Resultados Experimentales

Los modelos fueron evaluados en dos conjuntos de prueba: un conjunto Riqa de distribución interna (112 líneas) y un conjunto OpenITI MAKHZAN de distribución externa (142 líneas, predominantemente de estilo Naskh).

Rendimiento en Distribución Interna (Riqa):

Azra 1 logró una Tasa de Error de Caracteres (CER) de 0.208, lo que representa una reducción relativa del 69.2% respecto al modelo base (0.677) y supera al sistema comercial Osmanlica.com (0.360).
Azra 2 obtuvo una puntuación más baja (CER 0.410) en este conjunto específico, probablemente debido a la falta de exposición al corpus de Osmanlica.com utilizado en el conjunto de prueba y al ruido inherente al arranque autónomo.

Rendimiento en Distribución Externa (MAKHZAN/Naskh):

Azra el 2 demostró una generalización superior, logrando un CER de 0.360 comparado con el 0.357 de Azra 1 (estadísticamente comparable), pero con una Tasa de Error de Palabra (WER) y puntuaciones chrF++ significativamente mejores.
Azra 1 mostró signos de sobreajuste al estilo Riqa, con una degradación relativa del 71.6% en el CER al pasar a Naskh.
El corpus más grande y heterogéneo de Azra 2 actuó como un regularizador, permitiéndole generalizar mejor a tradiciones caligráficas no vistas que el modelo curado.
Ambos VLMs superaron a Osmanlica.com en el conjunto MAKHZAN (CER 0.510), resaltando las limitaciones de los pipelines basados en detección sobre diversos tipos de escritura.

Hallazgos del Análisis de Errores:
Los errores sistemáticos se rastrearon hasta el pipeline de reverstraliteración (Gemini):

Variantes de Ya: Confusión entre la yā otomana (ی), la yā árabe estándar (ي) y la alif maqsura (ى). Azra 2 heredó sesgos del modelo base, mientras que Azra 1 y Osmanlica.com compartieron un patrón de sesgo similar.
Kef/Sağır Kef: Azra 2 exhibió una sobrecorrección específica del kef arcaico otomano (ڭ) por el kaf estándar (ك), un resultado directo de la falta de conocimiento ortográfico histórico del LLM.
Inestabilidad a Nivel de Escritura: El modelo base mostró una inestabilidad significativa, produciendo a menudo caracteres latinos o diacríticos excesivos, lo cual fue mitigado en gran medida mediante el ajuste fino.

5. Significado y Reivindicaciones

El artículo postula que el arranque autónomo es una estrategia viable para escrituras históricas de bajos recursos, capaz de acercarse al rendimiento del ajuste fino curado reduciendo drásticamente los costos de anotación. Específicamente:

Calidad de Datos vs. Cantidad: Mientras que los datos curados producen un rendimiento superior en la distribución interna, los datos arrancados autónomamente (Azra 2) proporcionan mayor robustez y generalización a estilos fuera de la distribución (Naskh), sugiriendo que la diversidad de datos es crítica para el HTR histórico.
Transferencia Translingüe: El aprovechamiento de modelos de escritura a mano árabe como base para el turco otomano es efectivo, aunque requiere un manejo cuidadoso de los matices ortográficos específicos de la escritura.
Cuellos de Botella del Pipeline: La principal fuente de error en los pipelines autónomos no es el modelo de reconocimiento en sí, sino la fidelidad lingüística del paso de reverstraliteración. Mejorar esta etapa específica (por ejemplo, mediante mejores prompts o correcciones basadas en reglas para pares ortográficos específicos) ofrece una vía de mejora sin necesidad de reentrenar todo el modelo.

Los autores concluyen que este marco ofrece un camino escalable para la digitalización de archivos otomanos, particularmente donde los anotadores expertos son escasos, y que el trabajo futuro debería centrarse en extender esto a otros estilos caligráficos (Ta'liq, Dîvânî) y refinar el manejo ortográfico en el pipeline de generación de datos.