CER-HV: A Human-in-the-Loop Framework for Cleaning Datasets Applied to Arabic-Script HTR

O artigo apresenta o CER-HV, um quadro de trabalho com intervenção humana que combina deteção de ruído baseada em CER e verificação humana para identificar e limpar erros em conjuntos de dados de reconhecimento de texto manuscrito em escrita árabe, demonstrando melhorias significativas na precisão e estabelecendo novos baselines de desempenho.

O essencial

Imagine que você é um professor tentando ensinar uma criança a ler. Se você entregar a ela um livro onde as palavras estão escritas de forma errada, com letras faltando, viradas de cabeça para baixo ou misturadas com desenhos de carros, a criança vai aprender errado. Ela vai tentar memorizar os erros, e quando for fazer uma prova, vai falhar não porque é burra, mas porque o "livro" estava ruim.

É exatamente isso que os pesquisadores deste artigo descobriram ao estudar a Reconhecimento de Texto Manuscrito (HTR) para idiomas que usam o alfabeto árabe (como Árabe, Persa, Pashto, Urdu e Ajami).

Aqui está a explicação do trabalho deles, traduzida para uma linguagem simples e cheia de analogias:

1. O Problema: O "Livro de Exercícios" Cheio de Erros

Até hoje, a tecnologia para ler textos manuscritos em inglês (alfabeto latino) é muito boa, quase perfeita. Mas para os idiomas que usam o alfabeto árabe, a tecnologia ainda tropeça muito.

Os cientistas achavam que o problema era a "dificuldade" da escrita árabe (que é cursiva, as letras mudam de forma dependendo da posição, etc.). Mas este estudo descobriu que o verdadeiro vilão não é a escrita em si, mas sim a qualidade dos dados usados para treinar as máquinas.

Muitos dos "livros de exercícios" (conjuntos de dados) que os pesquisadores usavam estavam cheios de erros invisíveis:

• Transcrição errada: A máquina "lê" a palavra como "Casa", mas o humano escreveu "Cama".
• Corte errado: A imagem cortou metade da linha de texto.
• Virado de cabeça para baixo: O texto está de lado ou invertido.
• Língua errada: O texto é em inglês ou números, mas foi marcado como sendo em Pashto.
• Coisas que não são texto: Carimbos, assinaturas ou manchas de tinta que a máquina tentou ler como letras.

2. A Solução: O Detetive "CER-HV"

Para consertar isso, os autores criaram um sistema chamado CER-HV. Pense nele como um Detetive de Qualidade que trabalha em duas etapas:

Etapa 1: O Robô Inteligente (A Triagem Automática)
Eles treinaram um robô (uma rede neural chamada CRNN) para tentar ler todos os textos. O robô não é perfeito, mas ele é rápido.

• Se o robô lê a palavra e a resposta dele é muito diferente do que está escrito no "livro de respostas" (o rótulo), o sistema marca aquele exemplo como "Suspeito".
• É como se o robô dissesse: "Ei, eu tentei ler isso e não bateu com a resposta. Ou eu sou burro, ou a resposta está errada. Vamos marcar para o humano ver."
• Eles usam uma métrica chamada CER (Taxa de Erro de Caracteres) para classificar os suspeitos. Quanto maior a taxa de erro, mais provável é que o rótulo esteja errado.

Etapa 2: O Humano no Comando (A Verificação)
Aqui entra a parte "Humana no Loop" (Human-in-the-Loop). O robô não consegue ter certeza absoluta (às vezes ele erra porque a letra é muito feia, não porque o rótulo está errado).

• Então, o sistema pega apenas os pioras suspeitos (os que o robô mais errou) e mostra para um humano.
• O humano olha e diz: "Ah, sim, aqui o texto está de cabeça para baixo, vamos corrigir" ou "Não, o texto está certo, só que é difícil de ler mesmo".
• Isso economiza tempo! Em vez de um humano revisar 10.000 linhas, ele só revisa as 500 mais problemáticas.

3. O Resultado: Limpar a Casa antes de Decorar

Quando eles aplicaram esse sistema de limpeza:

1. Descobriram muitos erros: Em alguns conjuntos de dados, quase 10% das linhas estavam com problemas graves (como texto virado ou cortado).
2. Melhorou a performance: Depois de limpar os dados (tirar os erros e corrigir os rótulos), a máquina ficou muito mais inteligente.
   • Em alguns casos, a precisão melhorou em até 1,8%. Parece pouco? Em tecnologia de reconhecimento de texto, isso é uma diferença gigantesca, como passar de uma nota 7 para uma nota 9,5.
3. O Robô Simples venceu: Eles mostraram que, com dados limpos, um modelo de inteligência artificial "simples" e bem configurado (o CRNN) consegue bater modelos super complexos e caros (como os baseados em Transformers) que usam dados sujos.

A Analogia Final: O Chef e os Ingredientes

Pense na Inteligência Artificial como um Chef de Cozinha e nos dados como os Ingredientes.

• O Cenário Antigo: Os chefs (pesquisadores) tentavam criar pratos cada vez mais sofisticados (modelos de IA mais complexos) para cozinhar com ingredientes estragados (dados sujos). O prato nunca ficava bom, e eles culparam a receita.
• O Cenário Novo (CER-HV): Os autores disseram: "Esperem, o problema não é a receita, são os tomates podres e o sal errado!". Eles criaram um processo para selecionar e lavar os ingredientes antes de cozinhar.
• O Resultado: Com ingredientes frescos e limpos, até um chef com uma faca simples consegue fazer um prato de 5 estrelas.

Conclusão

A mensagem principal do artigo é: Não adianta ter o carro mais rápido do mundo se o combustível está sujo.

Para avançar a tecnologia de leitura de manuscritos em idiomas árabes, precisamos parar de focar apenas em criar modelos mais complexos e começar a focar na limpeza e qualidade dos dados. O sistema deles (CER-HV) é uma ferramenta prática para fazer essa limpeza de forma eficiente, garantindo que as futuras pesquisas sejam baseadas em fatos reais e não em erros de anotação.

Resumo técnico

1. Problema Investigado

O reconhecimento de texto manuscrito (HTR - Handwritten Text Recognition) para idiomas com script árabe (como Árabe, Persa, Urdu, Pashto e Ajami) ainda fica aquém do desempenho alcançado para scripts latinos, apesar dos avanços recentes em arquiteturas de modelos e benchmarks.

Os autores identificam que a qualidade dos dados é um fator limitante crítico, frequentemente negligenciado em favor de melhorias arquiteturais. Muitos conjuntos de dados públicos contêm erros de rótulo não reportados anteriormente, originados de processos semi-automáticos de construção de dados. Esses erros incluem:

• Transcrição incorreta: O texto anotado não corresponde à imagem.
• Erros de segmentação: Linhas truncadas ou múltiplas linhas em uma única imagem.
• Erros de orientação: Texto rotacionado incorretamente.
• Mistura de scripts: Conteúdo em scripts diferentes (ex: latim ou numérico) em conjuntos de dados árabes.
• Conteúdo não textual: Carimbos, assinaturas ou elementos irrelevantes.

Esses erros prejudicam o treinamento de redes neurais profundas (que tendem a memorizar rótulos ruidosos) e distorcem a avaliação e a seleção de modelos, levando a benchmarks irreprodutíveis e otimismos enganosos.

2. Metodologia: Framework CER-HV

O artigo propõe o CER-HV (CER-based Ranking with Human Verification), um framework de duas etapas para detectar e limpar erros de rótulo em conjuntos de dados de HTR.

A. Etapa 1: Detecção Automática Baseada em CER

Diferente de métodos anteriores que usam a perda de treinamento (loss) para detectar ruído (comum em classificação), o CER-HV adapta a detecção de ruído baseada em dinâmicas de aprendizado para tarefas de sequência (Seq2Seq) usando CTC (Connectionist Temporal Classification).

• Modelo Base: Utiliza uma arquitetura CRNN (Convolutional Recurrent Neural Network) configurada com práticas recomendadas (Best Practices), incluindo camadas residuais profundas, normalização em lote e um ramo auxiliar de CTC para melhor convergência.
• Métrica de Pontuação: Em vez de usar a loss do CTC (que é influenciada pela incerteza de alinhamento e comprimento da sequência), o framework calcula a Taxa de Erro de Caracteres (CER) entre a previsão do modelo e o rótulo original para cada amostra.
• Parada Antecipada (Early Stopping): Para evitar que o modelo memorize amostras ruidosas, o treinamento é interrompido no ponto de convergência (onde a CER de validação para de melhorar). As amostras são então pontuadas com base no CER desse modelo convergido.
• Ranking: As amostras com os maiores valores de CER são classificadas como potenciais candidatos a erro.

B. Etapa 2: Verificação Humana (HITL)

Como amostras corretamente rotuladas, mas visualmente difíceis, também podem ter CER alto, o framework incorpora uma etapa de verificação humana.

• Limiar: Amostras com CER > 0,25 são selecionadas para revisão humana.
• Ação Humana: Revisores classificam as amostras em categorias (Erro de Transcrição, Segmentação, Orientação, Mismatch de Script, Conteúdo Irrelevante ou "Válido mas Difícil").
• Limpeza: Amostras com erros são removidas ou corrigidas; amostras "válidas mas difíceis" são mantidas para garantir que o modelo aprenda casos complexos.

3. Principais Contribuições

1. Análise Sistemática: Primeira análise abrangente de erros de rótulo e conteúdo em conjuntos de dados de HTR com script árabe, definindo uma taxonomia prática de erros.
2. Framework CER-HV: Introdução de um método geral para inspecionar e validar a qualidade de rótulos em datasets de HTR, adaptando a detecção de ruído baseada em aprendizado para o contexto CTC.
3. Baseline CRNN de Alta Performance: Estabelecimento de um baseline forte usando CRNN (sem Transformers ou dados sintéticos) que atinge resultados State-of-the-Art (SOTA) em cinco dos seis datasets avaliados.
4. Novos Benchmarks: Criação e liberação de divisões de teste limpas e benchmarks atualizados para datasets de Pashto (PHTI), Persa (PHTD) e Ajami.
5. Recursos Abertos: Disponibilização pública do código, divisões de dados limpas e anotações de erros verificadas por humanos.

4. Resultados Experimentais

Os experimentos foram realizados em seis datasets cobrindo cinco idiomas: KHATT (Árabe), Muharaf (Árabe histórico), PHTI (Pashto), PHTD (Persa), NUST-UHWR (Urdu) e Ajami (Hausa/Fulfulde).

Desempenho do Modelo (Sem Limpeza)

O CRNN proposto alcançou desempenho superior ou comparável a sistemas complexos (como Transformers) sem usar dados sintéticos:

• KHATT: 8,45% de CER (SOTA).
• PHTI (Pashto): 8,26% de CER (redução drástica de 20,7% para 8,26% em relação a trabalhos anteriores).
• Muharaf: 10,11% de CER.
• Ajami: 10,66% de CER (superando resultados anteriores de 64-84%).
• PHTD (Persa): Estabelecimento de um novo baseline de 11,3% de CER.

Impacto da Limpeza de Dados

A aplicação do CER-HV revelou que muitos datasets contêm erros significativos:

• Precisão da Detecção: O detector identificou erros com alta precisão (até 90% no conjunto de teste de Muharaf e 80-86% no PHTI).
• Redução de CER:
  • Em datasets mais limpos (KHATT, NUST-UHWR), a limpeza trouxe melhorias modestas (0,3–0,6%).
  • Em datasets mais ruidosos (Muharaf, Ajami), a limpeza resultou em reduções de CER de 1,0% a 1,8% nos conjuntos de avaliação.
• Análise de Erros: O dataset Ajami mostrou a maior densidade de erros (até 9,2% nas divisões de teste), incluindo erros de segmentação e orientação que afetam diretamente o alinhamento visual-texto. O dataset Muharaf apresentou muitos erros de script mismatch (conteúdo em scripts não árabes).

5. Significância e Conclusão

O estudo demonstra que a qualidade dos dados é tão crucial quanto o design do modelo para o avanço do HTR em scripts árabes.

• Reprodutibilidade: A existência de erros não reportados em benchmarks públicos distorce a comparação de modelos. A limpeza sistemática é essencial para avaliações justas.
• Eficiência: O framework CER-HV mostra que é possível identificar e corrigir erros de forma eficiente, combinando pontuação automática (CER) com uma pequena quantidade de verificação humana, tornando o processo viável para datasets de tamanho moderado (milhares de linhas).
• Generalização: Embora focado em scripts árabes, a metodologia é aplicável a outras tarefas de reconhecimento de texto onde a anotação é cara e propensa a erros.

Em suma, o trabalho argumenta que o progresso no HTR de scripts árabes depende não apenas de arquiteturas mais complexas, mas fundamentalmente da confiabilidade dos dados, e oferece ferramentas práticas para garantir essa confiabilidade.