💻 computer science

Multi-Head Attention based interaction-aware architecture for Bangla Handwritten Character Recognition: Introducing a Primary Dataset

Os autores apresentam um novo conjunto de dados balanceado de caracteres manuscritos em bengali e propõem uma arquitetura híbrida de aprendizado profundo baseada em atenção multi-cabeça, que integra EfficientNetB3, Vision Transformer e Conformer, alcançando alta precisão na reconhecimento desses caracteres.

Autores originais: Mirza Raquib, Asif Pervez Polok, Kedar Nath Biswas, Farida Siddiqi Prity, Saydul Akbar Murad, Nick Rahimi

Publicado 2026-04-15

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mirza Raquib, Asif Pervez Polok, Kedar Nath Biswas, Farida Siddiqi Prity, Saydul Akbar Murad, Nick Rahimi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um computador a ler a letra de uma pessoa, mas não é qualquer letra: é a letra bengali (da língua Bangla), que é conhecida por ser complexa, cheia de curvas, traços que se conectam e detalhes minúsculos que mudam completamente o significado de uma palavra.

Este artigo é como a história de uma equipe de cientistas que decidiu resolver dois grandes problemas nessa área: a falta de bons "livros de exemplos" e a dificuldade de criar um "cérebro" de computador inteligente o suficiente para entender tudo isso.

Aqui está a explicação, usando analogias do dia a dia:

1. O Problema: Um Quebra-Cabeça com Peças Confusas

Antes, os pesquisadores tinham dois grandes obstáculos:

O "Livro de Exemplos" (Dataset) era ruim: As coleções de letras que existiam eram como se tivessem sido escritas apenas por 10 pessoas da mesma idade e estilo. Era como tentar aprender a dirigir vendo apenas carros de corrida, sem nunca ter visto um caminhão ou um carro popular. Faltava diversidade (crianças, idosos, canhotos, destros, diferentes níveis de escolaridade).
O "Cérebro" (Modelo) era limitado: Os computadores anteriores olhavam para as letras de um jeito muito simples. Eles viam os traços locais (como um pincel), mas não conseguiam entender a estrutura global (como a arquitetura de um prédio). Para a língua Bangla, onde uma vírgula ou um traço extra muda tudo, isso não era suficiente.

2. A Solução: Criando a "Biblioteca Definitiva"

A primeira grande contribuição do trabalho foi criar um novo banco de dados, que chamaremos de a "Grande Biblioteca da Diversidade".

O que eles fizeram: Eles reuniram 1.700 pessoas de todas as idades (de estudantes do ensino fundamental a idosos) e de diferentes classes sociais.
O resultado: Eles criaram 50.700 imagens de letras, cobrindo 78 tipos diferentes (letras simples, letras compostas que são como "casais" de letras, e números).
A analogia: É como se, em vez de treinar um aluno apenas com a caligrafia de um professor, você o colocasse para ler a letra de 1.700 pessoas diferentes. Assim, quando ele vê uma letra nova, ele não se confunde, porque já viu mil variações dela.

3. A Arquitetura: O "Comitê de Especialistas"

Para ler essas letras, eles não usaram apenas um tipo de "cérebro" de computador. Eles criaram um sistema híbrido, que é como ter um comitê de três especialistas trabalhando juntos em paralelo:

O Especialista em Detalhes (EfficientNet): Ele é como um detetive de microscópio. Ele olha para os traços finos, as curvas e onde o traço começa e termina. Ele é ótimo em ver o "pó" e os detalhes locais.
O Especialista na Estrutura (Vision Transformer): Ele é como um arquiteto. Ele dá um passo para trás e olha para a letra inteira, entendendo como as partes se conectam e a forma global da palavra. Ele vê o "quadro completo".
O Especialista Híbrido (Conformer): Ele é o generalista que combina os dois anteriores, entendendo tanto os detalhes quanto a estrutura ao mesmo tempo.

4. O Grande Truque: A "Fusão por Atenção Mútua"

Aqui está a parte mais genial. Em modelos antigos, esses especialistas apenas jogavam suas respostas numa pilha (como colocar três relatórios numa mesa e somar os números).

Neste novo modelo, eles usam um mecanismo chamado "Multi-Head Cross-Attention" (Atenção Cruzada Multi-Cabeça).

A Analogia: Imagine que os três especialistas estão em uma sala de reuniões. Em vez de apenas lerem seus próprios relatórios, eles discutem entre si.
- O "Detetive" diz: "Olha, esse traço é muito fino, cuidado!"
- O "Arquiteto" responde: "Sim, mas a estrutura geral sugere que é uma letra 'A', não um 'O'."
- O "Generalista" concorda e ajusta a visão dos dois.
O Resultado: Eles se ajudam a corrigir erros. Se um está confuso, o outro o ajuda a focar no lugar certo. Isso cria uma decisão final muito mais precisa.

5. Os Resultados: Um Sucesso Estrondoso

O que aconteceu quando eles testaram esse sistema?

Precisão: O sistema acertou 98,84% das letras no novo banco de dados deles. Isso é quase perfeito!
Generalização: Eles testaram o sistema em outro banco de dados (o CHBCR), que eles não tinham visto antes, e ele ainda acertou 96,49%. Isso prova que o sistema não apenas "decorou" as letras, mas realmente aprendeu a ler.
Visibilidade (Grad-CAM): Eles usaram uma técnica para "iluminar" a imagem e mostrar onde o computador estava olhando. As imagens mostraram que o computador estava focando exatamente nos traços importantes da letra, ignorando o fundo ou manchas de tinta. É como se o computador estivesse apontando para a parte da letra que define o que ela é.

Resumo Final

Este trabalho é como a construção de uma escola de leitura de elite para computadores.

Eles criaram a melhor turma de alunos (o banco de dados diverso).
Eles contrataram três professores especialistas (a arquitetura híbrida).
Eles ensinaram os professores a trabalhar em equipe e debater (a atenção cruzada).

O resultado é um sistema que pode digitalizar documentos escritos à mão em Bangla com uma precisão incrível, abrindo portas para arquivamento de documentos históricos, automação de correios e processamento de linguagem muito mais eficiente para essa língua.

Título: Arquitetura Interativa Baseada em Atenção Multi-Cabeça para Reconhecimento de Caracteres Manuscritos em Bangla: Introdução de um Dataset Primário

1. Problema e Contexto

O reconhecimento óptico de caracteres (OCR) é fundamental para a digitalização de documentos, mas o Reconhecimento de Caracteres Manuscritos em Bangla (BHCR) apresenta desafios únicos e complexos:

Complexidade Estrutural: O script Bangla possui vogais, consoantes, numerais e caracteres compostos (Juktobarno). Muitos caracteres diferem apenas por pequenos traços ou matras (diacríticos), aumentando a similaridade inter-classe e reduzindo a separabilidade.
Variabilidade de Escrita: Existem grandes disparidades entre escritores devido a idade, nível educacional, hábitos de escrita e preferência manual (canhoto vs. destro).
Limitações de Dados Existentes: Os datasets atuais são frequentemente desbalanceados, possuem pouca diversidade de estilos de escrita, são coletados de grupos demográficos restritos e carecem de documentação adequada sobre a metodologia de coleta. Isso limita a generalização dos modelos.
Limitações Arquitetônicas: Modelos anteriores baseados em CNNs focam em campos receptivos locais e falham em capturar dependências de longo alcance. Modelos híbridos existentes muitas vezes usam concatenação simples de características, não capturando explicitamente como representações heterogêneas interagem.

2. Metodologia Proposta

O trabalho propõe uma solução dupla: um novo dataset balanceado e uma arquitetura de rede neural profunda híbrida e interativa.

A. Novo Dataset (Bangla Handwritten Character Dataset)

Escala e Diversidade: Contém 50.700 amostras distribuídas em 78 classes (50 caracteres básicos, 10 numerais e 18 caracteres compostos).
Coleta de Dados: Realizada em 4 fases principais com 1.700 participantes de diversas faixas etárias (estudantes do ensino fundamental ao superior e profissionais) e gêneros.
Inclusividade: Inclui tanto escritores destros (88,82%) quanto canhotos (11,18%), garantindo uma representação realista da variabilidade natural da escrita.
Pré-processamento: As imagens passam por um pipeline rigoroso que inclui redução de ruído (filtro Gaussiano), correção de inclinação (Transformada de Hough), dilatação morfológica, normalização de brilho/contraste e redimensionamento para 128x128 pixels.

B. Arquitetura de Rede Neural (MHCAF-Net)
A arquitetura proposta é um sistema híbrido paralelo que integra três ramos distintos, conectados por um mecanismo de fusão interativo:

Ramo CNN (Local): Utiliza o EfficientNetB3 pré-treinado para extrair características locais de traços finos (curvas, interseções). É aprimorado pelo módulo CBAM (Convolutional Block Attention Module), que aplica atenção de canal e espacial para suprimir ruídos e destacar regiões discriminativas.
Ramo Vision Transformer (Global): Utiliza um Vision Transformer (ViT) para capturar dependências de longo alcance e a estrutura global do caractere, dividindo a imagem em patches e aplicando auto-atenção.
Ramo Conformer (Híbrido): Utiliza blocos Conformer que combinam auto-atenção e convolução em uma estrutura Macaron, capturando simultaneamente padrões locais e globais.
Mecanismo de Fusão (O Diferencial): Em vez de simples concatenação, o modelo emprega um Módulo de Fusão por Atenção Cruzada Multi-Cabeça (Multi-Head Cross-Attention).
- As saídas dos três ramos ( $F_{eff}$ , $F_{vit}$ , $F_{conf}$ ) interagem entre si.
- Cada ramo atua como Query para os outros (Key e Value), permitindo que as representações de características se refinem mutuamente.
- Isso permite que o modelo aprenda tanto os detalhes locais dos traços quanto as restrições estruturais globais, essencial para distinguir caracteres visualmente similares.
Classificação: As características fundidas passam por camadas totalmente conectadas com Dropout e normalização, finalizando em uma camada Softmax para as 78 classes.

3. Principais Contribuições

Dataset Balanceado e Rico: Criação de um dataset público com 50.700 amostras, cobrindo 78 classes e uma vasta diversidade demográfica e estilística, superando as limitações de datasets anteriores.
Arquitetura Interativa: Proposta de uma arquitetura híbrida paralela (EfficientNetB3 + ViT + Conformer) que utiliza atenção cruzada para permitir a interação dinâmica entre diferentes tipos de representações de características.
Modelagem Unificada: Integração bem-sucedida de padrões de traços locais e dependências estruturais globais em um único framework.
Validação Rigorosa: Avaliação extensiva incluindo análise de backbone, estudos de pré-processamento, validação cruzada de 5 dobras e teste em datasets externos.

4. Resultados Experimentais

O modelo foi avaliado usando métricas como precisão, recall, F1-score, MCC e Kappa.

Desempenho no Dataset Proposto: O modelo alcançou uma acurácia de 98,84% no conjunto de teste, com uma taxa de erro de apenas 1,16%.
Generalização (Dataset Externo): Ao ser testado no dataset externo CHBCR, o modelo manteve um desempenho robusto com 96,49% de acurácia, demonstrando forte capacidade de generalização para diferentes estilos de escrita não vistos durante o treinamento.
Comparação com Estado da Arte:
- Superou modelos anteriores baseados apenas em CNN (como VashaNet-V1 e V2) que atingiram ~94-95% de acurácia.
- Superou arquiteturas híbridas simples (concatenação) e modelos backbone individuais (ViT, Conformer, EfficientNet isolados).
- A ablação mostrou que a fusão por atenção cruzada é o componente crítico para o ganho de desempenho.
Análise de Explicabilidade (Grad-CAM): As visualizações confirmaram que o modelo foca corretamente nas áreas discriminativas dos caracteres, como curvas de traço, posição de matras e interseções, ignorando o ruído de fundo.

5. Significância e Impacto

Este trabalho oferece uma solução viável e de alto desempenho para o reconhecimento de caracteres manuscritos em Bangla, um idioma considerado de "baixo recurso" em termos de dados digitais de alta qualidade.

Aplicações Práticas: O sistema pode ser integrado em sistemas de OCR para digitalização de documentos históricos, processamento bancário, serviços postais e sistemas de avaliação automatizada de exames.
Avanço Científico: Demonstra que a interação explícita entre representações locais e globais via atenção cruzada é superior à simples fusão de características, estabelecendo um novo padrão para tarefas de classificação fina (fine-grained classification) em scripts complexos.
Reprodutibilidade: O dataset e o código-fonte foram disponibilizados publicamente, facilitando pesquisas futuras na área de processamento de linguagem natural e visão computacional para o idioma Bangla.