Enhancing Oracle Bone Inscription Recognition via Multi-Scale Layer Attention

Resumo Técnico: Aprimorando o Reconhecimento de Inscrições em Ossos Oraculares via Atenção de Camada Multiescala

Declaração do Problema
As Inscrições em Ossos Oraculares (OBIs) representam a forma mais antiga e sistematizada da escrita chinesa, carregando um profundo significado histórico. No entanto, seu reconhecimento automático permanece altamente desafiador devido às estruturas de caracteres complexas, irregulares, fragmentadas e frequentemente degradadas. Embora o aprendizado profundo tenha avançado no reconhecimento de imagens gerais, os métodos existentes têm dificuldade em capturar os detalhes finos e as variações sutis inerentes às OBIs. Especificamente, o artigo identifica uma limitação crítica nos mecanismos recentes de "atenção de camada": eles operam tipicamente em um número muito limitado de tokens (frequentemente menos de 5 em backbones ResNet padrão) ao modelar interações entre camadas. Essa escassez de tokens restringe a diversidade da troca de informações, impedindo que o modelo capture efetivamente as dependentes estruturais intrincadas necessárias para o reconhecimento preciso de OBIs.

Metodologia: Atenção de Camada Multiescala (MSLA)
Para enfrentar as limitações da escassez de tokens na atenção de camada convencional, os autores propõem a MSLA (Multi-Scale Layer Attention). Este novo paradigma modela explicitamente as interações de características multiescala e entre camadas. Os componentes principais da MSLA incluem:

1. Extração de Tokens Multiescala: Diferente da atenção de camada padrão que trata cada camada como um único token, a MSLA enriquece o conjunto de tokens extraindo características em múltiplas escalas espaciais a partir do mapa de características de entrada.

   • Tokens Globais: Gerados via pooling de média global para capturar informações contextuais holísticas.
   • Tokens Locais: Gerados ao particionar o mapa de características em uma grade de patches não sobrepostos ($P \times P$) e aplicar pooling médio adaptativo. Isso captura estruturas espaciais de grão fino.
   • Estes são concatenados para formar um conjunto de tokens multiescala $X_{multi}$.

2. Acumulação Progressiva de Chave-Valor: O mecanismo emprega uma estratégia de acumulação progressiva onde as representações de chave ($K$) e valor ($V$) de todas as camadas precedentes são concatenadas. Isso permite que a camada atual preste atenção a um repositório crescente de tokens multiescala de toda a profundidade da rede, em vez de apenas aos predecessores imediatos.

3. Atenção de Múltiplas Cabeças e Refinamento de Características: A consulta ($Q$) da camada atual é derivada de seus tokens multiescala, enquanto o $K$ e $V$ acumulados das camadas anteriores são usados para computar os pesos de atenção. A saída de atenção resultante é agregada ao longo da dimensão do token para criar um descritor por canal, que é então usado para refinar o mapa de características original via multiplicação elemento a elemento.

Principais Contribuições

1. Novo Paradigma de Atenção: O artigo introduz a MSLA, um mecanismo de atenção de camada projetado especificamente para superar a escassez inerente de tokens na atenção de camada convencional para o reconhecimento de OBI.
2. Estratégia de Enriquecimento de Tokens: Ao introduzir uma estratégia de enriquecimento de tokens multiescala e acumulação progressiva, o método permite que cada camada preste atenção a um conjunto de tokens progressivamente expandido, derivado tanto de representações globais quanto locais. Isso aumenta substancialmente a capacidade do modelo de capturar detalhes de grão fino e dependências estruturais complexas.
3. Validação Empírica: Os autores conduzem experimentos extensivos em quatro conjuntos de dados de larga escala de OBI (Oracle-MNIST, OBC306, HUST-OBS e EVOBC), demonstrando que a MSLA supera consistentemente outros mecanismos de atenção de última geração, mantendo uma alta eficiência computacional.

Resultados Experimentais
O método proposto foi avaliado contra vários baselines, incluindo modelos tradicionais de aprendizado de máquina, CNNs padrão e mecanismos de atenção recentes (ex: SENet, CBAM, ECANet, MRLA, DLA).

• Oracle-MNIST: A MSLA alcançou 96,05% de acurácia com ResNet-20 e 96,30% com ResNet-56, superando a ResNet vanilla e outras variantes de atenção com um aumento mínimo de parâmetros (ex: +0,02M de parâmetros para ResNet-20).
• OBC306: A MSLA atingiu 91,29% de acurácia com ResNet-20, superando a ResNet-20 vanilla em 3,56% e superando outros métodos de interação de camada como MRLA-L e DLA-L. Notavelmente, a MSLA-20 superou a ResNet-56 vanilla, apesar de possuir significativamente menos parâmetros.
• HUST-OBS: A MSLA alcançou 94,12% de acurácia com ResNet-50, melhorando o baseline vanilla (93,74%) e superando significativamente o MRLA-B (92,94%).
• EVOBC: Neste conjunto de dados altamente desafiador com 13.714 classes, a MSLA alcançou 49,45% de acurácia com ResNet-50, superando todos os outros métodos testados, incluindo aqueles que tiveram desempenho inferior ao baseline vanilla.

Estudos de ablação confirmaram que um tamanho de patch ($P$) de 3 produz o desempenho ideal e que a inclusão de tokens globais é crucial para capturar o contexto holístico, visto que a remoção destes leva à degradação do desempenho.

Significância e Alegações
O artigo alega que a MSLA fornece uma solução mais precisa e robusta para o reconhecimento de OBI ao modelar explicitamente a interação entre características multiescala e dependências entre camadas. Os autores afirmam que sua abordagem aborda efetivamente as limitações dos mecanismos de atenção existentes na captura de detalhes de grão fino, o que é crítico para decifrar escritas antigas e degradadas. Os resultados demonstram que a MSLA não é apenas eficaz para OBIs, mas também escalável e genericamente aplicável a outras tarefas desafiadoras de reconhecimento de grão fino, oferecendo um equilíbrio entre alto desempenho e eficiência computacional. O trabalho visa avançar a compreensão automatizada da cultura chinesa antiga, fornecendo uma ferramenta confiável para reconhecer essas inscrições de grande importância histórica.