DohaScript: A Large-Scale Multi-Writer Dataset for Continuous Handwritten Hindi Text

O artigo apresenta o DohaScript, um grande conjunto de dados multiescritor de texto manuscrito contínuo em hindi, composto por 531 contribuidores que transcrevem os mesmos poemas tradicionais, visando superar a escassez de recursos padronizados para análise e reconhecimento de escrita em Devanagari.

O essencial

Imagine que você quer ensinar um robô a ler a letra manuscrita de alguém. Se você der ao robô apenas letras soltas ou palavras curtas, ele vai aprender a reconhecer "A", "B" ou "Casa". Mas, na vida real, quando escrevemos, as letras se conectam, se misturam e formam um fluxo contínuo, como um rio que não para.

No caso do hindi (escrito em Devanagari), esse "rio" é ainda mais complexo: todas as letras de uma palavra são conectadas por uma linha horizontal no topo, chamada shirorekha. É como se todas as letras usassem o mesmo chapéu e andassem de mãos dadas.

O problema é que, até agora, não tínhamos um "manual de instruções" grande o suficiente para ensinar computadores a ler essa letra manuscrita complexa. Os bancos de dados existentes eram pequenos, focados em letras soltas ou tinham poucos escritores diferentes.

É aqui que entra o DohaScript.

O Que é o DohaScript?

Pense no DohaScript como uma gigantesca biblioteca de caligrafia. Os pesquisadores reuniram 531 pessoas diferentes de toda a Índia e pediram que todas escrevessem exatamente a mesma coisa: seis poemas tradicionais chamados dohas (que são como pequenas estrofes de rimas).

A Grande Ideia (O "Truque" do Experimento):
Imagine que você convida 500 pessoas para pintar o mesmo quadro. Se todos pintarem a mesma paisagem, você consegue ver perfeitamente a diferença entre o estilo de cada um: quem usa traços grossos, quem é mais rápido, quem faz curvas suaves.

No DohaScript, como todos escreveram as mesmas palavras, os pesquisadores podem isolar a "assinatura" da escrita de cada pessoa. Eles podem estudar a personalidade da letra sem se preocupar com o significado do texto. É como ter um laboratório perfeito para estudar a "personalidade" da escrita.

Por que isso é tão importante?

1. O Desafio da "Linha de Chapéu": No hindi, as letras são ligadas. Para um computador, separar uma palavra da outra é como tentar separar fios de cabelo emaranhados. O DohaScript oferece exemplos reais desse emaranhado, ajudando a criar inteligência artificial que não se perde quando as letras se misturam.

2. Diversidade Real: O banco de dados inclui pessoas de todas as idades, gêneros e regiões da Índia. É como ter uma amostra de "todo o mundo" em um único lugar. Isso ajuda a garantir que o robô aprenda a ler a letra de um idoso de uma aldeia rural e a de um jovem de uma grande cidade, não apenas a letra perfeita de um calígrafo.

3. Qualidade e "Dificuldade": Os pesquisadores não apenas coletaram os papéis; eles os organizaram como se fossem um jogo de níveis:

   • Fácil: Letras bem espaçadas, claras, fáceis de ler.
   • Médio: Algumas letras se tocam, o espaçamento varia.
   • Complexo: Letras muito apertadas, linhas que se sobrepõem, como se o escritor tivesse pressa ou estivesse em um trem balançando.

   Isso permite testar se a inteligência artificial consegue ler mesmo quando a escrita está "bagunçada" ou difícil.

Como eles garantiram que os dados eram bons?

Eles não confiaram apenas em olhos humanos. Usaram uma espécie de "detector de borrão" automático (uma inteligência artificial treinada) para analisar cada folha de papel.

• Se a foto estava muito embaçada, a tinta muito fraca ou a luz ruim, o sistema marcava como "precisa de ajuda".
• Eles separaram os dados em um "conjunto de ouro" (letras muito claras para treinar o robô) e um "conjunto de desafio" (letras difíceis para testar se o robô é realmente inteligente).

Para que serve tudo isso?

O DohaScript é como um campo de treinamento olímpico para a tecnologia de leitura de documentos:

• OCR (Reconhecimento de Texto): Transformar fotos de documentos manuscritos em texto digital editável.
• Identificação de Autoria: Descobrir quem escreveu um bilhete anônimo analisando apenas o estilo da letra.
• Geração de Texto: Ensinar computadores a "escrever" como humanos, criando novas frases que parecem feitas à mão.

Em resumo

O DohaScript é um presente para a tecnologia. Ele resolve o problema de "falta de dados" para a escrita hindi, oferecendo um conjunto de dados massivo, organizado e realista. Em vez de tentar adivinhar como a escrita funciona, os cientistas agora têm um mapa detalhado e completo para navegar por esse mundo complexo de letras conectadas, ajudando a criar ferramentas que respeitam e entendem a rica diversidade da escrita humana na Índia.

Resumo técnico

Título: DohaScript: Um Dataset de Grande Escala Multi-Escritor para Texto Hindi Manuscrito Contínuo

1. O Problema

Apesar de o Devanagari (o script utilizado para escrever Hindi, Marathi, Nepali, Sânscrito e Konkani) ser usado por centenas de milhões de falantes, ele permanece severamente sub-representado em conjuntos de dados de referência públicos para análise de escrita à mão. As limitações principais dos recursos existentes incluem:

• Escala e Escopo Limitados: A maioria dos datasets foca em caracteres isolados ou palavras curtas, falhando em capturar a natureza contínua e complexa do texto manuscrito real.
• Falta de Diversidade de Escritores: Poucos datasets possuem cobertura demográfica ampla e variada de escritores.
• Complexidade Estrutural: Diferente dos scripts latinos, o Devanagari possui uma estrutura complexa onde os caracteres são conectados por uma linha horizontal contínua (shirorekha) e formam ligaduras (conjunções) ricas. Isso torna a segmentação e o reconhecimento baseados em métodos latinos ineficazes.
• Fragmentação da Pesquisa: A falta de um dataset padronizado força pesquisadores a usar coleções privadas, impedindo comparações justas e o estabelecimento de benchmarks confiáveis.

2. Metodologia

Os autores introduziram o DohaScript, um dataset de grande escala projetado para superar essas lacunas através de uma abordagem controlada e sistemática:

• Coleta de Dados:

  • Participantes: 531 escritores únicos recrutados de diversas instituições educacionais em toda a Índia (incluindo colégios estaduais e escolas primárias), garantindo diversidade demográfica (idade, gênero, região).
  • Conteúdo Textual: Todos os participantes transcreveram o mesmo conjunto fixo de seis dohas (versos poéticos tradicionais) em Hindi. Isso cria um "corpus estilístico paralelo", onde a variação linguística é eliminada, isolando puramente a variação do estilo de escrita.
  • Estatísticas: O corpus total contém 89 palavras e 361 caracteres (excluindo espaços), cobrindo 55 caracteres distintos, incluindo todas as classes de vogais, consoantes, diacríticos e conjunções comuns do Devanagari.
  • Formato: Cada participante forneceu uma página A4 digitalizada ou fotografada, totalizando 531 páginas.

• Curação e Validação de Qualidade:

  • Avaliação Automática: Foi desenvolvido um sistema automatizado para filtrar a qualidade das imagens.
  • Métricas: Utilizou-se a variância da Laplaciana para medir a nitidez (blur score) e classificadores CNN (Redes Neurais Convolucionais) treinados para discriminar a qualidade visual baseada em características de pixels (densidade de tinta, ruído de fundo, continuidade do traço).
  • Filtragem: O dataset foi dividido em subconjuntos de alta qualidade (288 imagens) e um subconjunto desafiador/degradado (243 imagens) para simular condições do mundo real.

• Anotação de Dificuldade de Segmentação:

  • Além da qualidade visual, os autores anotaram a dificuldade de segmentação de linhas em nível de página (Fácil, Médio, Complexo).
  • Isso foi feito analisando a estabilidade da linha base, o espaçamento entre linhas e a continuidade da shirorekha, identificando que mesmo amostras visualmente limpas podem apresentar desafios estruturais para algoritmos de segmentação.

3. Principais Contribuições

1. DohaScript Dataset: O primeiro dataset de grande escala, multi-escritor e de texto contínuo focado especificamente em Hindi/Devanagari, contendo 531 amostras de páginas completas.
2. Design de Corpus Paralelo: A estratégia de usar o mesmo texto para todos os escritores permite a análise isolada de estilos de escrita, essencial para tarefas como identificação de escritor e síntese de escrita.
3. Metadados Demográficos Não Identificáveis: Inclui informações sobre idade, gênero e estado regional, permitindo análises sociolinguísticas e de variabilidade populacional.
4. Anotações de Qualidade e Dificuldade:
   • Classificação de qualidade baseada em CNN (Baixa, Média, Boa, Excelente).
   • Anotações de dificuldade de layout (Fácil, Médio, Complexo) para benchmarking estratificado de modelos de segmentação.
5. Reprodutibilidade: Disponibilização pública do dataset (Google Drive) e de todo o código de pré-processamento, avaliação de qualidade e experimentos (GitHub).

4. Resultados e Desempenho

• Classificação de Qualidade: O classificador binário (Baixa/Média vs. Alta qualidade) alcançou 96,26% de precisão no conjunto de teste, demonstrando a eficácia da filtragem automática.
• Análise de Segmentação: Ao testar a segmentação de linhas em todo o dataset (N=531):
  • Apenas 29,57% das páginas tiveram segmentação perfeita (12/12 linhas detectadas).
  • A maioria das páginas (52,7%) foi classificada como Complexa, devido a sobreposição de traços, espaçamento irregular e flutuações na linha base.
  • Isso confirma que a variabilidade estrutural intrínseca à escrita manual é um desafio significativo, mesmo em amostras visualmente nítidas.
• Generalização: Experimentos de linha de base mostraram que o dataset permite uma separação clara de qualidade e forte generalização para escritores não vistos, validando sua utilidade para treinar modelos robustos.

5. Significância e Impacto

O DohaScript preenche uma lacuna crítica na pesquisa de visão computacional para scripts indianos. Sua importância reside em:

• Avanço em OCR/HTR: Permite o desenvolvimento e avaliação de modelos de reconhecimento de texto contínuo (HTR) que lidam com a complexidade estrutural do Devanagari, indo além do reconhecimento de caracteres isolados.
• Biometria e Identificação: Facilita estudos de identificação de escritor e análise de estilo, essenciais para segurança e forense.
• Modelos Generativos: A estrutura de texto repetido com estilos variados é ideal para treinar modelos de síntese de escrita e transferência de estilo.
• Padronização: Estabelece um benchmark reprodutível e justo, permitindo que a comunidade científica compare métodos de forma eficaz e acelere o progresso em cenários de recursos limitados (low-resource settings).

Em resumo, o DohaScript não é apenas um repositório de dados, mas uma ferramenta estruturada para investigar a interseção entre variabilidade linguística, estilo de escrita individual e desafios estruturais de layout em um dos scripts mais complexos e amplamente utilizados do mundo.