KazakhOCR: A Synthetic Benchmark for Evaluating Multimodal Models in Low-Resource Kazakh Script OCR

Visão Geral e Problema

O artigo aborda a lacuna crítica na área de Reconhecimento Óptico de Caracteres (OCR) para a língua cazaque, especificamente para seus scripts de baixo recurso: Árabe e Latino. Embora o cazaque seja uma língua turca falada por 16 milhões de pessoas, seu uso de três sistemas de escrita distintos (Cirílico, Latino e Árabe) cria complexidades únicas para a OCR.

• Contexto: O script Cirílico é o padrão na Ásia Central e possui algum suporte em pesquisas anteriores. No entanto, os scripts Árabe (usado na China, Afeganistão, Paquistão e Irã) e Latino (usado na Europa, América e Turquia) carecem de benchmarks, conjuntos de dados e ferramentas de OCR dedicadas.
• O Problema: Não existem benchmarks públicos ou imagens reais para treinar ou avaliar modelos de OCR nos scripts Árabe e Latino do cazaque. Além disso, os modelos de linguagem multimodal (MLLMs) atuais não foram testados adequadamente nessas variantes de baixo recurso, especialmente aquelas baseadas em Abjad (sistemas de escrita consonânticos como o Árabe).

Metodologia

Os autores desenvolveram uma abordagem sistemática para criar dados sintéticos e avaliar modelos de ponta:

1. Construção do Dataset Sintético (KazakhOCR):

   • Corpus de Texto: Coletaram textos autênticos. Para o script Árabe, utilizaram o corpus MC² (o primeiro corpus cazaque em Árabe). Para o Cirílico, usaram a Wikipédia cazaque, que foi limpa e transliterada para o Latino usando o pacote QazNLTK.
   • Balanceamento: Devido à disparidade no tamanho dos dados (o texto Árabe era muito mais longo), aplicaram uma subamostragem balanceada aleatória, resultando em 2.417 textos em Árabe, 2.402 em Cirílico e 2.400 em Latino.
   • Geração de Imagens: Criaram 7.219 imagens sintéticas utilizando a biblioteca Pillow (Python) para simular tarefas reais de OCR. As variações incluíram:
     • Fontes: 2.491 fontes do Google Fonts filtradas por compatibilidade (135 para Árabe, 431 para Cirílico, 1.376 para Latino), com tamanhos variados de 24 a 56.
     • Ruído e Distorção: Adição de ruído aleatório (4-18), desfoque (0-0.8) e rotação aleatória (-3 a 3 graus).
     • Cores: Duas paletas de 40 cores cada, garantindo uma relação de contraste mínima de 4.5.
   • Disponibilidade: O dataset completo foi publicado no Hugging Face.

2. Avaliação de Modelos:

   • MLLMs Testados: Avaliaram três modelos de linguagem multimodal de grande porte (MLLMs) em uma subamostra de 600 imagens (200 por script):
     • Gemma-3-12B-it
     • Qwen2.5-VL-7B-Instruct
     • Llama-3.2-11B-Vision-Instruct
   • Baseline Clássico: Utilizaram o motor de OCR Tesseract (com modelos pré-treinados para Árabe, Latino e Cirílico) como linha de base, sem ajuste fino (fine-tuning).
   • Métricas: Taxa de Erro de Caracteres (CER), Taxa de Erro de Palavras (WER) e precisão na identificação da língua.

Resultados Principais

Os resultados revelaram disparidades significativas no desempenho dos modelos:

• Desempenho por Script:
  • Cirílico: Todos os modelos tiveram o melhor desempenho nesta variante. O Qwen2.5-VL alcançou um CER de 5,3% e WER de 13,4%.
  • Latino e Árabe: O desempenho degradou drasticamente.
    • Latino: CER variou de 21,6% a 31,0%.
    • Árabe: CER variou de 35,5% a 72,5% (o pior desempenho foi no Gemma-3).
• Falha na Identificação de Língua:
  • Os modelos falharam quase completamente em identificar o script Árabe como cazaque. As taxas de identificação correta variaram de 0,0% a 1,1%.
  • O script Árabe cazaque foi frequentemente mal classificado como Árabe padrão, Farsi ou Curdo.
  • No script Latino, o Qwen teve 99,4% de precisão, enquanto Llama e Gemma tiveram baixa precisão (13,5% a 31,1%), confundindo frequentemente o cazaque com Tártaro ou Quirguiz.
• MLLMs vs. OCR Clássico:
  • O Tesseract superou consistentemente os MLLMs em todas as variantes, apresentando CERs menores.
  • A lacuna foi mais pronunciada no script Árabe: Tesseract teve CER de 15,0%, enquanto os MLLMs oscilaram entre 35,5% e 72,5%.
  • Isso indica que, apesar das capacidades gerais de raciocínio dos MLLMs, eles não igualam a precisão de sistemas de OCR tradicionais em scripts de baixo recurso.

Contribuições Chave

1. KazakhOCR: A criação do primeiro benchmark sintético de OCR para os três scripts do cazaque, preenchendo uma lacuna crítica de dados para línguas de baixo recurso.
2. Avaliação de MLLMs: A primeira análise sistemática de como modelos multimodais de última geração lidam com scripts cazaques baseados em Abjad (Árabe) e Latino, revelando falhas graves na identificação e transcrição.
3. Linha de Base Comparativa: Estabelecimento de uma comparação clara entre abordagens modernas (MLLMs) e tradicionais (Tesseract), mostrando que, para tarefas de OCR específicas em línguas minoritárias, métodos clássicos ainda são superiores.
4. Recurso Público: Disponibilização do dataset e dos códigos para fomentar pesquisas futuras e modelos mais inclusivos.

Significado e Conclusão

O estudo demonstra que os MLLMs atuais possuem lacunas significativas no processamento de scripts de baixo recurso, especialmente aqueles baseados em sistemas de escrita não-latinos e não-cirílicos.

• Impacto Social: A incapacidade de reconhecer o script Árabe do cazaque é particularmente preocupante para falantes na China, Afeganistão, Paquistão e Irã, excluindo essas populações de ferramentas de digitalização e acessibilidade.
• Direção Futura: Os autores concluem que há uma necessidade urgente de processos de treinamento inclusivos que suportem especificamente os scripts Latino e Árabe do cazaque. Futuras pesquisas devem focar em engenharia de prompts para OCR, uso de dados autênticos (não apenas sintéticos) e desenvolvimento de modelos que não apenas "alucinem" textos em línguas vizinhas (como Farsi ou Curdo), mas reconheçam a especificidade do cazaque.

Em suma, o KazakhOCR serve como um alerta sobre a desigualdade tecnológica em NLP para línguas minoritárias e um catalisador para o desenvolvimento de modelos multimodais verdadeiramente equitativos.