📄 other

Cross-Lingual Transfer Learning and Autonomous Data Bootstrapping for VLM-Based Ottoman Turkish Handwritten Text Recognition

Este artigo apresenta o Azra, um framework de Modelo de Visão-Linguagem para o reconhecimento de textos manuscritos em turco otomano que alcança o estado da arte por meio de ajuste fino via LoRA em dados curados e demonstra que o bootstrapping autônomo de dados pode equivaler efetivamente a abordagens curadas, reduzindo significativamente os custos de anotação.

Autores originais: Gökhan Usta, Oğuz Alpoğlu, Fatih Günaydın

Publicado 2026-07-24

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Gökhan Usta, Oğuz Alpoğlu, Fatih Günaydın

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine tentar ler o diário de um bisavô, mas a caligrafia é uma confusão de curvas e traços emendados, a língua mudou completamente e o alfabeto parece um código secreto. Esta é a realidade diária para historiadores que tentam decifrar milhões de documentos do Império Otomano. Por séculos, esses registros foram escritos em uma escrita bela, porém complexa, chamada turco otomano, que flui da direita para a esquerda e mistura palavras turcas com nuances árabes e persas. O problema? O alfabeto foi substituído por um moderno alfabeto latino em 1928, deixando pouquíssimas pessoas hoje que realmente consigam ler o conteúdo antigo.

Para resolver isso, cientistas estão construindo "detetives digitais" chamados Inteligência Artificial. Especificamente, eles estão usando um tipo de IA conhecido como Modelo de Visão-Linguagem (VLM). Pense em um VLM como um robô superinteligente que leu milhões de livros e viu milhões de imagens. Ele não apenas "vê" um rabisco em uma página; ele entende que o rabisco é uma letra, e que essa letra faz parte de uma palavra com um significado específico. A grande questão que os pesquisadores estão fazendo é: Podemos ensinar esses robôs a ler esses manuscritos antigos e desordenados sem precisar que um especialista humano se sente para digitar cada palavra para eles? Se conseguirmos, poderemos desbloquear a história em uma velocidade que nenhuma equipe humana jamais alcançaria.

Este artigo apresenta uma nova estratégia de duas partes para ensinar um robô chamado "Azra" a ler a caligrafia do turco otomano. Os pesquisadores começaram com um robô que já era muito bom em ler caligrafia árabe e inglesa moderna. Em seguida, tentaram duas formas diferentes de ensinar a ele as peculiaridades específicas do estilo otomano.

O primeiro método, que eles chamam de Azra 1, foi como uma sala de aula tradicional. A equipe reuniu uma pequena coleção de alta qualidade de 1.306 linhas de texto que foram cuidadosamente verificadas e digitadas por especialistas humanos. Eles também adicionaram cerca de 2.000 páginas de documentos de teses onde estudantes já haviam traduzido a escrita antiga para letras turcas modernas. O robô estudou esses exemplos cuidadosamente curados e aprendeu a reconhecer o estilo fluido específico da escrita "Riqa" (uma caligrafia cursiva rápida usada em escritórios governamentais). Quando testado em caligrafias semelhantes, o Azra 1 tornou-se incrivelmente preciso, cometendo menos de um erro para cada cinco caracteres lidos. Ele até superou uma ferramenta comercial popular usada por historiadores hoje.

O segundo método, Azra 2, foi um experimento ousado de "autoaprendizado". Os pesquisadores queriam ver se o robô poderia aprender sem que especialistas humanos digitassem as respostas. Eles pegaram milhares de páginas dos mesmos documentos antigos e deixaram o primeiro robô (Azra 1) adivinhar o que o texto dizia. Depois, usaram uma poderosa ferramenta de linguagem (uma IA chamada Gemini) para traduzir esses palpites de volta para a escrita antiga. Por fim, usaram um programa de computador para verificar se o palpite do robô correspondia à página original. Se o palpite estivesse próximo o suficiente, eles o mantinham como um novo exemplo de treinamento. Esse processo criou um conjunto massivo de dados de mais de 23.000 linhas de texto, todos gerados por máquinas, com zero anotação humana.

Os resultados foram fascinantes e revelaram uma compensação. O Azra 1 (o robô ensinado por humanos) foi o campeão ao ler o estilo específico para o qual foi treinado. No entanto, quando os pesquisadores o testaram em um estilo de caligrafia completamente diferente e mais formal, chamado "Naskh", ele tropeçou um pouco. Ele havia memorizado o visual específico da escrita Riqa tão bem que ficou confuso com qualquer coisa nova.

O Azza 2 (o robô autoaprendiz) foi um pouco menos perfeito na escrita familiar, mas foi muito mais flexível. Como tinha visto uma variedade maior de exemplos gerados através de seu próprio processo de bootstrapping, ele lidou com o novo estilo "Naskh" quase tão bem quanto o robô ensinado por humanos, e às vezes até melhor. Isso sugere que ter um monte enorme e diversificado de dados — mesmo que tenha sido feito por máquinas — pode tornar uma IA mais robusta e menos propensa a se confundir com novos estilos de caligrafia.

A equipe também analisou de perto os erros que os robôs cometeram. Eles descobriram que os erros não eram aleatórios; eram "confusões" específicas causadas pela forma como as máquinas traduziam o texto de ida e volta. Por exemplo, a IA às vezes confundia três letras muito parecidas que diferem apenas pelo posicionamento de um pequeno ponto, ou trocava uma letra histórica por uma moderna porque a ferramenta de tradução não conhecia as regras antigas. Esta é uma descoberta crucial: significa que o problema não é que o robô não consegue "ver" as letras, mas que o "tradutor" no meio do processo precisa ser mais inteligente sobre a história específica da língua.

Em resumo, o artigo mostra que podemos construir ferramentas poderosas para ler a história. Embora os dados verificados por humanos ainda sejam o padrão ouro para precisão perfeita em estilos específicos, um método autônomo e inteligente pode criar uma quantidade massiva de dados de treinamento que torna a IA mais adaptável a diferentes estilos de caligrafia. O caminho a seguir não é apenas alimentar o robô com mais imagens; é ensinar o robô a entender as regras históricas sutis da escrita para que ele pare de confundir essas letras complicadas e sem pontos.

Resumo Técnico: Aprendizado de Transferência Cross-Lingual e Bootstrapping Autônomo de Dados para HTR de Texto Manuscrito em Turco Otomano Baseado em VLM

1. Definição do Problema

A transcrição automatizada de manuscritos em turco otomano histórico permanece um desafio significativo devido à severa escassez de recursos e às complexidades linguísticas únicas. O corpus é caracterizado por:

Complexidade do Script: Escrita árabe cursiva, da direita para a esquerda, onde as formas das letras variam conforme a posição (inicial, medial, final, isolada).
Hibridismo Linguístico: Uma síntese da sintaxe turca com um extenso vocabulário árabe e persa, exigindo uma compreensão contextual profunda.
Ambiguidade Ortográfica: Grafia não fonética, omissão frequente de vogais e densos empilhamentos verticais de caracteres (especialmente no estilo caligráfico Riqa), que dificultam os mecanismos de OCR padrão.
Escassez de Dados: O abandono do script otomano em 1928 levou a uma escassez de anotadores especialistas, enquanto modelos modernos de Reconhecimento de Texto Manuscrito (HTR) são desproporcionalmente focados em línguas baseadas no alfabeto latino.

Soluções existentes, como a plataforma comercial Osmanlica.com, frequentemente dependem de pipelines de múltiplos estágios (detecção seguida de reconhecimento) que falham quando a detecção de texto é imperfeita, e têm dificuldade com as nuances específicas da escrita cursiva histórica.

2. Metodologia

Os autores propõem um framework de Modelo de Visão-Linguagem (VLM) de ponta a ponta construído sobre a arquitetura Qwen2.5-VL-3B-Instruct. A estratégia central envolve o Aprendizado de Transferência Cross-Lingual de um modelo de caligrafia Árabe-Inglês e o Bootstrapping Autônomo de Dados para superar os gargalos de anotação.

Adaptação do Modelo Base:
A fundação é o modelo sherif1313/Arabic-English-handwritten-OCR-v3, uma variante do Qwen2.5-VL ajustada via LoRA. Os autores identificaram que habilitar tie_word_embeddings=True foi crítico para a estabilidade da convergência. Este modelo base fornece priors para características visuais de escrita árabe (ligaduras, diacríticos) que se sobrepõem significamente ao turco otomano.

Dois Variantes de Modelo:

Azra 1 (Ajuste Fino Curado):
- Dados: Um corpus misto de 1.306 amostras de nível de linha verificadas por humanos do Osmanlica.com (estilo Riqa) e 2.000 amostras de nível de página de teses do Conselho de Ensino Superior (YÖK).
- Processamento: As teses da YÖK contêm transliterações em script latino. Estas foram convertidas de volta para o script árabe usando a API do Google Gemini 3.1 Flash Lite para gerar o ground truth.
- Objetivo: Estabelecer uma linha de base de alto desempenho utilizando dados verificados por humanos.
Azra 2 (Bootstrapping Autônomo):
- Dados: Derivados exclusivamente do corpus de teses da YÖK (23.072 linhas), sem sobreposição com o corpus do Osmanlica.com usado no Azra 1.
- Pipeline:
  1. Segmentação: Imagens de página inteira foram segmentadas em caixas delimitadoras de nível de linha usando o modelo Hedrax/AHDoc, baseado em DBNet.
  2. Rascunho (Drafting): O Azra 1 gerou transcrições de rascunho para estas linhas.
  3. Alinhamento e Filtragem: Um algoritmo de janela deslizante dinâmica (difflib.SequenceMatcher) alinhou o texto do rascunho da linha contra o texto de referência de nível de página (gerado pelo Gemini).
  4. Seleção: Apenas pares com uma razão de alinhamento $\ge$ 0,60 foram retidos, resultando em um conjunto de treinamento de alta confiança e totalmente autônomo, sem anotação humana.

Configuração de Treinamento:
Ambos os modelos utilizaram Low-Rank Adaptation (LoRA). O Azra 2 empregou uma configuração LoRA mais extensa (Rank 32 vs 16) e incluiu a camada de projeção do conector visual-linguagem, aumentando os parâmetros treináveis para 2,14% do total.

3. Principais Contribuições

Framework Inovador: Uma abordagem VLM de ponta a ponta especificamente adaptada para HTR de turco otomano, aproveitando a transferência cross-lingual de modelos de caligrafia árabe.
Bootstrapping Autônomo: Uma metodologia para gerar pares de treinamento de nível de linha a partir de dados de nível de página sem anotação humana, utilizando retro-transliteração baseada em LLM e filtragem de alinhamento de strings.
Benchmarking Sistemático: Uma avaliação abrangente comparando dados curados vs. bootstrapped, e generalização in-distribution (Riqa) vs. out-of-distribution (Naskh), contra uma linha de base comercial (Osmanlica.com) e baselines zero-shot.
Análise de Erro: Uma análise granular de nível de caractere rastreando erros sistemáticos até estágios específicos do pipeline de retro-transliteração, em vez de ruído genérico de reconhecimento.

4. Resultados Experimentais

Os modelos foram avaliados em dois conjuntos de teste: um conjunto Riqa in-distribution (112 linhas) e um conjunto OpenITI MAKHZAN out-of-distribution (142 linhas, predominantemente estilo Naskh).

Desempenho In-Distribution (Riqa):

O Azra 1 alcançou uma Taxa de Erro de Caractere (CER) de 0,208, representando uma redução relativa de 69,2% sobre o modelo base (0,677) e superando o sistema comercial Osmanlica.com (0,360).
O Azra 2 obteve uma pontuação maior (CER 0,410) neste conjunto específico, provavelmente devido à falta de exposição ao corpus do Osmanlica.com usado no conjunto de teste e ao ruído inerente ao bootstrapping autônomo.

Desempenho Out-of-Distribution (MAKHZAN/Naskh):

O Azra 2 demonstrou generalização superior, alcançando um CER de 0,360 comparado ao 0,357 do Azra 1 (estatisticamente comparável), mas com uma Taxa de Erro de Palavra (WER) e pontuações chrF++ significativamente melhores.
O Azra 1 mostrou sinais de overfitting ao estilo Riqa, com uma degradação relativa de 71,6% no CER ao mudar para Naskh.
O corpus mais heterogêneo e amplo do Azra 2 atuou como um regularizador, permitindo que ele generalizasse melhor para tradições caligráficas não vistas do que o modelo curado.
Ambos os VLMs superaram o Osmanlica.com no conjunto MAKHZAN (CER 0,510), destacando as limitações de pipelines baseados em detecção em scripts diversos.

Achados da Análise de Erro:
Erros sistemáticos foram rastreados até o pipeline de retro-transliteração (Gemini):

Variantes de Ya: Confusão entre o yā (ی) otomano, o yā (ي) padrão árabe e o alif maqsura (ى). O Azra 2 herdou vieses do modelo base, enquanto o Azra 1 e o Osmanlica.com compartilharam um padrão de viés espelhado.
Kef/Sağır Kef: O Azra 2 exibiu uma sobrecorreção específica do kef (ڭ) arcaico otomano para o kaf (ك) padrão, um resultado direto da falta de conhecimento ortográfico histórico do LLM.
Instabilidade de Nível de Script: O modelo base mostrou instabilidade significativa, frequentemente produzindo caracteres latinos ou diacríticos excessivos, o que foi amplamente mitigado pelo ajuste fino.

5. Significância e Alegações

O artigo postula que o bootstrapping autônomo é uma estratégia viável para scripts históricos de baixo recurso, capaz de se aproximar do desempenho do ajuste fino curado enquanto reduz drasticamente os custos de anotação. Especificamente:

Qualidade de Dados vs. Quantidade: Embora os dados curados produzam um desempenho superior in-distribution, os dados autonomamente bootstrapped (Azra 2) fornecem melhor robustez e generalização para estilos out-of-distribution (Naskh), sugerindo que a diversidade de dados é crítica para HTR histórico.
Transferência Cross-Lingual: Aproveitar modelos de caligrafia árabe como fundação para o turco otomano é eficaz, embora exija o tratamento cuidadoso de nuances ortográficas específicas do script.
Gargalos de Pipeline: A principal fonte de erro em pipelines autônomos não é o modelo de reconhecimento em si, mas a fidelidade linguística da etapa de retro-transliteração. Melhorar esta etapa específica (ex: via prompts melhores ou correções baseadas em regras para pares ortográficos específicos) oferece um caminho para melhoria sem necessidade de retreinar todo o modelo.

Os autores concluem que este framework oferece um caminho escalável para a digitalização de arquivos otomanos, particularmente onde anotadores especialistas são escassos, e que o trabalho futuro deve focar na extensão para outros estilos caligráficos (Ta'liq, Dîvânî) e no refinamento do tratamento ortográfico no pipeline de geração de dados.