AMR-CCR: Anchored Modular Retrieval for Continual Chinese Character Recognition

O artigo apresenta o AMR-CCR, um framework de recuperação modular ancorada que resolve o reconhecimento contínuo de caracteres chineses antigos em cenários de crescimento incremental de classes e diversidade de estilos, introduzindo também o benchmark EvoCON para avaliação sistemática.

O essencial

Imagine que você é um bibliotecário encarregado de organizar uma coleção de livros antigos e misteriosos que estão sendo descobertos dia após dia. O problema é que esses livros não são todos iguais: alguns são escritos em uma caligrafia antiga e estranha, outros em uma caligrafia mais moderna, e, pior ainda, o mesmo "personagem" (ou palavra) pode ser escrito de dez maneiras diferentes dependendo de quem o escreveu ou em que material (pedra, bronze, bambu) ele foi gravado.

Aqui está a explicação do artigo AMR-CCR como se fosse uma história sobre como resolver esse caos, usando analogias do dia a dia:

1. O Problema: A Biblioteca que Nunca Para de Crescer

Normalmente, quando ensinamos um computador a reconhecer caracteres antigos, fazemos como se tivéssemos uma lista fixa de palavras (como um dicionário de 100 palavras) e treinamos o computador apenas com essas. Mas, na vida real, arqueólogos continuam achando novos materiais.

• A Metáfora: É como se você estivesse ensinando um aluno a reconhecer apenas 100 frutas. De repente, alguém traz uma nova fruta que nunca viu antes. O aluno precisa aprender essa nova fruta sem esquecer as 100 anteriores. E, para complicar, essa nova fruta pode parecer muito com uma fruta antiga, ou a mesma fruta pode ter formatos muito diferentes (uma maçã vermelha, uma verde, uma cortada).
• O Desafio: Se você tentar ensinar tudo de uma vez, o computador fica confuso. Se você tentar ensinar um por um, ele esquece o que aprendeu antes (isso se chama "esquecimento catastrófico").

2. A Solução: Em vez de "Decidir", o Computador "Consulta um Dicionário"

A maioria dos sistemas antigos tenta "adivinhar" qual é a palavra baseada em um teste de múltipla escolha. O AMR-CCR muda a estratégia. Em vez de ser um professor que dá uma prova, ele se torna um bibliotecário que consulta um dicionário gigante.

• Como funciona:
  1. O sistema transforma cada imagem de um caractere antigo em uma "impressão digital" matemática (um código).
  2. Ele guarda essas impressões digitais em um grande arquivo (o Dicionário).
  3. Quando chega um novo caractere, o sistema não tenta "adivinhar". Ele olha no dicionário e diz: "Olha, esse novo aqui se parece muito com aquele que guardamos lá na página 50".
  4. Vantagem: Se aparecer um novo caractere amanhã, você só precisa adicionar uma nova página ao dicionário. Não precisa reescrever todo o livro ou reensinar o computador do zero.

3. Os Dois Grandes Truques (Inovações)

Para fazer esse "dicionário" funcionar bem com caracteres que mudam de estilo, eles criaram duas ferramentas mágicas:

A. O "Óculos de Corrigir Estilo" (Módulo SIA+SAR)

Imagine que você tem um amigo que escreve muito bem, mas quando ele escreve em caneta azul, a letra fica diferente da caneta preta. Se você tentar ensinar um robô a ler as duas, ele vai ficar confuso.

• A Solução: O sistema usa um "óculos mágico" (o módulo SIA) que ajusta a leitura dependendo de qual "estilo de escrita" (script) está sendo usado.
• O Truque: Existe um "gerente" (o módulo SAR) que olha para a imagem e diz: "Ei, isso parece ser escrito em Bronze! Vamos colocar os óculos de Bronze". Isso garante que o robô não se confunda ao mudar de um tipo de escrita para outro, mantendo a memória de tudo o que aprendeu antes.

B. A "Ficha com Múltiplas Fotos" (Dicionário Multi-Protótipo)

Imagine que você quer ensinar alguém a reconhecer "cachorros". Se você mostrar apenas uma foto de um Golden Retriever, a pessoa pode achar que todo cachorro é dourado e grande. Mas e se o cachorro for um Poodle preto?

• O Problema: Um caractere antigo pode ter sido escrito por 50 pessoas diferentes, cada uma com um estilo único. Guardar apenas uma "média" de como ele é feito não funciona.
• A Solução: Em vez de guardar apenas uma "foto média" do caractere no dicionário, o sistema guarda várias fotos (múltiplos protótipos). Ele diz: "Aqui está como esse caractere parece quando escrito por um mestre, e aqui está como parece quando escrito por um iniciante". Assim, quando o robô vê uma variação estranha, ele encontra a foto correspondente no dicionário e reconhece corretamente.

4. O Novo Campo de Treino: EvoCON

Para testar se essa ideia funciona, os autores criaram um novo "campo de provas" chamado EvoCON.

• É como um jogo de videogame onde você começa com um nível fácil (escrita Clerical) e vai subindo para níveis mais difíceis e antigos (como os caracteres em ossos de tartaruga), adicionando novos tipos de escrita a cada fase.
• Eles também adicionaram uma "prova de fogo": o Zero-Shot. Imagine chegar em um caractere que o robô nunca viu na vida, mas você lhe dá uma descrição escrita (ex: "este caractere significa 'água' e tem três traços"). O robô precisa usar essa descrição para adivinhar qual é o caractere, mesmo sem ter visto uma foto dele antes.

Resumo Final

O AMR-CCR é como um sistema de reconhecimento de caracteres antigos que:

1. Não tenta "decorar" todas as respostas, mas sim consultar um dicionário inteligente.
2. Usa óculos ajustáveis para entender diferentes estilos de escrita sem se confundir.
3. Guarda várias versões de cada caractere para não se enganar com variações de estilo.
4. Aprende continuamente, adicionando novos caracteres ao dicionário sem esquecer os antigos.

Isso permite que a digitalização do patrimônio cultural (como livros antigos e inscrições em pedra) seja feita de forma mais rápida, precisa e sem a necessidade de reescrever todo o sistema a cada nova descoberta arqueológica.

Resumo técnico

Título: AMR-CCR: Recuperação Modular Ancorada para Reconhecimento Contínuo de Caracteres Chineses

1. Definição do Problema

O artigo aborda o desafio do Reconhecimento Contínuo de Caracteres Chineses Antigos (Continual CCR). Diferente dos cenários tradicionais de classificação fechada (onde o conjunto de classes é fixo), o fluxo de trabalho real de digitalização de patrimônio cultural é não estacionário:

• Crescimento Incremental de Classes: Novos materiais escavados são constantemente incorporados, introduzindo novos scripts (estilos de escrita) e novas classes de caracteres dentro de scripts existentes.
• Desafios Específicos:
  1. Escalabilidade e Diferenças Sutis: O número de classes cresce continuamente, mas as diferenças inter-classe podem ser extremamente sutis, e os dados incrementais são frequentemente escassos.
  2. Diversidade Intrínseca: Um único caractere pode exibir uma vasta diversidade de estilos de escrita (intra-classe) devido a variações entre escribas e condições de suporte (ex: ossos, bronze, pedra).
• Limitação das Abordagens Atuais: A classificação convencional baseada em redes neurais sofre com "catastrophic forgetting" (esquecimento catastrófico) ao expandir o espaço de classes e falha em modelar a diversidade de estilos dentro de uma mesma classe, exigindo retreinamento completo ou causando distorção nas fronteiras de decisão.

2. Metodologia: AMR-CCR

Os autores propõem o AMR-CCR (Anchored Modular Retrieval for Continual Chinese Character Recognition), um framework de recuperação baseado em dicionário que opera em um espaço de incorporação multimodal compartilhado, em vez de classificação direta.

Principais Componentes:

• Paradigma de Recuperação por Dicionário:

  • Em vez de treinar um classificador com cabeças de saída fixas, o sistema trata o reconhecimento como uma correspondência de similaridade (matching) em um espaço de embedding multimodal (imagem-texto).
  • O conhecimento das classes é armazenado explicitamente como entradas em um dicionário. Novas classes são adicionadas simplesmente estendendo este dicionário, evitando o retreinamento do modelo base.

• Ancoragem e Adaptação Modular (SIA + SAR):

  • Ancoragem (Stability Anchor): O backbone de visão-linguagem (Qwen3-VL-Embedding) é mantido congelado para preservar a geometria do espaço de embedding compartilhado entre os estágios.
  • SIA (Script-Interface Adapter): Módulos leves e condicionados ao script que realizam uma calibração específica para novos scripts. Eles injetam offsets de baixo rank nos embeddings para adaptar o modelo a novos estilos sem deslocar o espaço global.
  • SAR (Script-Aware Routing): Um roteador leve que, durante a inferência (quando o script é desconhecido), seleciona automaticamente o adaptador (SIA) mais adequado para o caractere de entrada, garantindo que a calibração correta seja aplicada antes da recuperação.

• Dicionário Multi-Protótipo Derivado de Imagem:

  • Para lidar com a alta variabilidade intra-classe (diferentes estilos de escrita), o sistema não usa um único protótipo médio por classe.
  • Utiliza um algoritmo de agrupamento (clustering) automático (SphKMeans) para gerar múltiplos protótipos por classe, cobrindo diferentes modos de estilo e reduzindo a confusão entre classes quase duplicatas.

• Protocolo de Treinamento em Duas Fases:

  1. Fase I (Adaptação ao Novo Script): Treina apenas o SIA do script atual usando dados do novo script, mantendo o backbone e adaptadores anteriores congelados.
  2. Fase II (Replay Buffer): Usa um buffer de memória com amostras de scripts anteriores para alinhar os adaptadores, reduzir o esquecimento e treinar o roteador SAR.

3. Contribuições Principais

1. Formulação do Problema (Continual CCR): Formalizam o reconhecimento de caracteres antigos como um problema incremental de classes, organizado por estágios de scripts, desafiando o paradigma de classificação fechada.
2. Framework AMR-CCR: Propõem uma arquitetura de recuperação ancorada que permite a adição plug-and-play de novas classes, mantém a compatibilidade entre estágios via injeção condicional (SIA+SAR) e modela a diversidade de estilos via dicionário multi-protótipo.
3. Benchmark EvoCON: Criaram um novo conjunto de dados e protocolo de avaliação de seis estágios, baseado no EVOBC, mas enriquecido com descrições de significado e forma (texto) e uma divisão explícita para tarefas zero-shot (desafio de decifração de caracteres nunca vistos).

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark EvoCON, cobrindo seis scripts chineses antigos (OBC, BI, SS, SAC, WSC, CS) em um protocolo de seis estágios.

• Desempenho Geral: O AMR-CCR superou significativamente os métodos de fine-tuning sequencial (Seq FT) e métodos de continual learning clássicos (como ER, LwF, EWC, DER++).
  • Precisão (AA6): O modelo AMR-CCR (8B) alcançou 58.59% de precisão média no último estágio, superando o melhor baseline (DER++) em +12.74 pontos.
  • Esquecimento (FGT): O método manteve um esquecimento muito baixo (1.85%), comparado a ~9.5% no Seq FT e ~2.5% no DER++, demonstrando estabilidade superior.
• Tarefa Zero-Shot: O modelo foi capaz de realizar decifração zero-shot (reconhecer caracteres sem exemplos de imagem de treino) utilizando descrições textuais de significado, alcançando resultados competitivos (ZS@1 de 15.2%).
• Ablação:
  • A remoção dos módulos SIA e SAR causou uma queda drástica no desempenho, confirmando a necessidade de adaptação condicional ao script.
  • O uso de um dicionário de múltiplos protótipos foi crucial para lidar com a confusão entre classes de alta similaridade, superando o uso de um único protótipo médio.
  • O alinhamento visão-linguagem (uso de descrições de significado/forma) foi essencial tanto para a recuperação padrão quanto para a tarefa zero-shot.

5. Significado e Impacto

• Viabilidade para Digitalização Real: O trabalho oferece uma solução prática para a digitalização contínua de patrimônio cultural, onde novos dados surgem constantemente e não podem ser tratados como um conjunto estático.
• Superação da Classificação Fechada: Demonstra que a recuperação baseada em dicionário multimodal é superior à classificação tradicional para cenários de crescimento infinito de classes e alta variabilidade intra-classe.
• Eficiência e Escalabilidade: A abordagem permite adicionar novas classes sem retrainar o modelo inteiro, apenas atualizando o dicionário e os adaptadores leves, tornando o sistema escalável para grandes coleções de caracteres históricos.
• Padrão de Avaliação: O benchmark EvoCON estabelece um novo padrão para avaliar algoritmos de aprendizado contínuo e tarefas de decifração zero-shot em linguagens históricas.

Em resumo, o AMR-CCR representa um avanço significativo na interseção entre aprendizado contínuo, recuperação multimodal e humanidades digitais, permitindo sistemas de reconhecimento de caracteres antigos que são robustos, escaláveis e adaptáveis à evolução natural dos dados arqueológicos.