Zero-Shot Chinese Character Recognition via Global-Local Dual-Branch Alignment and Hierarchical Inference

Resumo Técnico: Reconhecimento de Caracteres Chineses Zero-Shot via Alinhamento Dual de Ramo Global-Local e Inferência Hierárquica

Declaração do Problema
O reconhecimento de caracteres chineses zero-shot (ZS-CCR) aborda o desafio de identificar caracteres que não estavam presentes durante o treinamento, uma ocorrência frequente em cenários de mundo aberto, como a digitalização de documentos antigos e a normalização de caracteres variantes. Embora os caracteres chineses sejam construídos a partir de um conjunto limitado de radicais e regras de composição espacial, os métodos existentes baseados em recuperação frequentemente lutam com caracteres não vistos. As abordagens atuais, inspiradas em frameworks do estilo CLIP, tipicamente codificam imagens de caracteres e suas Sequências de Descrição Ideográfica (IDS) em vetores globais únicos para correspondência holística. Este paradigma frequentemente submodela diferenças de componentes locais e variações composicionais de granularidade fina, levando a uma discriminação instável em casos envolvendo substituições locais ou componentes visualmente similares. Além disso, a aplicação direta de interação de granularidade fina no nível de patch-token em todo o espaço de candidatos introduz dois problemas críticos: (1) operadores estruturais na IDS (que descrevem relações espaciais) carecem de entidades visuais concretas, introduzindo ruído durante o alinhamento local; e (2) o custo computacional da recuperação de granularidade fina de todos os candidatos é proibitivamente alto para aplicações em grande escala.

Metodologia: Rede de Percepção Hierárquica Global-Local (GL-HPN)
Para abordar essas limitações, os autores propõem a GL-HPN, um framework unificado de alinhamento multimodal que aprende conjuntamente representações globais e locais através de uma arquitetura de ramo duplo.

1. Representação de Ramo Duplo:

   • Ramo Global: Codifica imagens de caracteres e sequências IDS em vetores holísticos. Para imagens, aplica-se um pooling global médio ao mapa de características; para IDS, as características de tokens são médias. Este ramo captura informações estruturais estáveis em nível de sequência para suportar a recuperação eficiente de candidatos.
   • Ramo Local: Modela a correspondência de granularidade fina entre patches de imagem e tokens IDS. As características da imagem são projetadas em uma sequência de patches, e os tokens IDS são projetados individualmente. Este ramo aprende explicitamente o alinhamento entre regiões visuais específicas e tokens de radical.

2. Máscara de Filtragem Estrutural (SFM):
   Reconhecendo que a IDS contém tanto tokens de radical (componentes visuais concretos) quanto operadores estruturais (relações espaciais abstratas), os autores introduzem uma Máscara de Filtragem Estrutural. Esta máscara suprime explicitamente os operadores estruturais durante a agregação de similaridade local. Ao excluir tokens não-entidade da interação patch-token, o modelo previne que respostas dispersas e não informativas interfiram na contribuição discriminativa dos tokens de radical.

3. Objetivo de Treinamento:
   O modelo é treinado usando um objetivo de múltiplas perdas combinando uma Perda Global e uma Perda Local.

   • A Perda Global utiliza um objetivo contrastivo padrão do estilo CLIP para alinhar representações de imagem e texto holísticas.
   • A Perda Local adota uma agregação de resposta máxima do estilo FILIP, calculando a similaridade entre patches de imagem e tokens válidos (radicais) apenas, guiada pela SFM.
   • Um cronograma de ponderação estilo currículo é empregado durante o treinamento: o modelo inicialmente enfatiza o alinhamento global estável (alta ponderação na Perda Global) e fortalece progressivamente a discriminação local de granularidade fina (aumento da ponderação na Perda Local) à medida que as épocas de treinamento avançam.

4. Inferência Hierárquica de Grosso para Fino:
   Para equilibrar precisão e eficiência, o processo de inferência segue uma estratégia de dois estágios:

   • Recuperação Grossa: Pontuações de similaridade global são computadas entre a imagem de entrada e as representações globais de todo o conjunto de candidatos. Os Top-K candidatos são selecionados.
   • Reclassificação Fina: A interação local de granularidade fina é realizada apenas nos Top-K candidatos para computar pontuações de reclassificação.
   • Fusão: As pontuações posteriores globais e locais são normalizadas e fundidas através de uma operação multiplicativa sem parâmetros para produzir a decisão final.

Principais Contribuições

• Framework Dual de Ramo Global-Local: O artigo propõe uma arquitetura inovadora que equilibra a modelagem estrutural holística com a discriminação em nível de componente local, evitando as fraquezas de abordagens puramente globais ou puramente locais.
• Máscara de Filtragem Estrutural (SFM): Um mecanismo para suprimir explicitamente o ruído causado por operadores estruturais da IDS na correspondência de granularidade fina local, estabilizando assim o alinhamento local.
• Inferência Hierárquica de Grosso para Fino: Uma estratégia que restringe interações locais computacionalmente caras a um pequeno conjunto de candidatos de alta confiança, alcançando um compromisso favorável entre precisão de reconhecimento e eficiência de inferência.

Resultados Experimentais
O método foi avaliado em conjuntos de dados de caracteres chineses manuscritos (CASIA-HWDB1.0-1.1 e ICDAR2013) sob várias divisões zero-shot (variando de 500 a 2755 classes vistas).

• Desempenho: A GL-HPN alcançou precisão Top-1 competitiva em todas as divisões. Notavelmente, demonstrou desempenho superior em configurações de baixo recurso (por exemplo, 36,19% de precisão com apenas 500 classes vistas), superando baselines fortes como FT-CLIP, CCR-CLIP e GRSTR por margens significativas (por exemplo, +10,02% sobre o FT-CLIP na configuração de 500 classes).
• Estudos de Ablação: Experimentos confirmaram que o design de ramo duplo sozinho é insuficiente sem a SFM (o desempenho caiu sem a máscara). A SFM mostrou-se crítica para estabilizar o alinhamento local e melhorar a precisão.
• Eficiência: A estratégia de inferência hierárquica permitiu que o modelo alcançasse precisão estável com um pequeno conjunto de candidatos (K=30 ou K=50), reduzindo significativamente a latência de inferência em comparação com a interação local de todos os candidatos, mantendo altas taxas de recuperação.

Significado
O artigo afirma que a GL-HPN aborda efetivamente os desafios específicos do reconhecimento de caracteres chineses zero-shot, particularmente o ruído introduzido por operadores estruturais abstratos na IDS e o alto custo da recuperação de granularidade fina em grande escala. Ao desacoplar a modelagem global e local e empregar uma estratégia de inferência hierárquica, o método alcança generalização robusta para caracteres não vistos, especialmente em cenários com dados de treinamento limitados, enquanto reduz substancialmente a sobrecarga computacional associada à recuperação de candidatos em grande escala.