Specializing Large Models for Oracle Bone Script Interpretation via Component-Grounded Multimodal Knowledge Augmentation

1. Problema e Contexto

A decifração do Script de Ossos de Oráculo (OBS), o sistema de escrita mais antigo conhecido da China, é uma tarefa extremamente desafiadora. Embora existam mais de 4.500 caracteres identificados, apenas cerca de um terço foi decifrado.

• Limitações das Abordagens Atuais: Os métodos existentes tratam a decifração como um problema de reconhecimento de imagem em conjunto fechado (closed-set image recognition). Essa abordagem ignora a natureza estrutural e semântica do script, falhando em capturar nuances contextuais e levando a "alucinações visuais" ou falta de profundidade linguística em modelos de Visão-Linguagem (VLMs) padrão.
• A Lacuna de Interpretação: Os caracteres OBS são compostos por um conjunto limitado de componentes pictográficos recorrentes (radicais) que carregam significados semânticos transferíveis. As abordagens atuais não exploram essa lógica estrutural para inferir o significado de caracteres desconhecidos a partir de seus componentes conhecidos.

2. Metodologia Proposta

Os autores propõem um framework Agentic Retrieval-Augmented Generation (Agentic RAG) orientado por agentes, que integra VLMs para fundamentação visual precisa com um agente baseado em LLM para raciocínio estruturado. O pipeline consiste em quatro módulos principais:

1. Identificação de Componentes: Utiliza um codificador Vision Transformer (DINOv2) e classificadores baseados em protótipos (Prototypical Networks) para identificar e segmentar os radicais (componentes) dentro de uma imagem de caractere OBS.
2. Recuperação de Conhecimento em Grafo (Graph RAG): Um agente de LLM orquestra a recuperação de informações de um Grafo de Conhecimento (KG) construído a partir do novo dataset. O agente consulta explicações de componentes e caracteres relacionados, sintetizando evidências semânticas.
3. Inferência de Relações entre Componentes: Um VLM analisa a estrutura visual e as informações recuperadas para determinar o tipo de inscrição (ideográfico, pictográfico ou fonético-semântico) e inferir como os componentes interagem para formar o significado.
4. Geração de Interpretação: O sistema gera uma explicação semântica completa. O framework suporta dois modos:
   • Modo VLM: Fusão direta de características visuais e conhecimento recuperado.
   • Modo Multi-Agente: Separa a recuperação (Agente de Recuperação) do raciocínio (Agente de Raciocínio Semântico), aumentando a robustez e a interpretabilidade.

3. Contribuições Chave

• OB-Radix (Novo Dataset): A criação de um dataset anotado por especialistas, focado em nível de componente, contendo:
  • 1.022 imagens de caracteres (934 únicos).
  • 1.853 imagens de componentes de alta granularidade (478 componentes distintos).
  • Explicações semânticas verificadas por especialistas, mapeando regiões visuais a entidades no grafo de conhecimento.
• Framework Agentic RAG: A reformulação da tarefa de decifração de um problema puramente visual para uma tarefa de raciocínio baseada em componentes e estrutura, integrando pistas visuais de nível de componente com recuperação baseada em grafos.
• Avaliação Abrangente: Desenho de três benchmarks progressivos para avaliar a capacidade do sistema em: (1) recuperação de componentes, (2) inferência de relações e (3) geração de interpretação.

4. Resultados Experimentais

Os experimentos demonstraram que o framework proposto supera significativamente as linhas de base (VLMs padrão sem RAG):

• Recuperação de Componentes: O modelo alcançou alta precisão (Top-1: 77,95%; Top-5: 91,57%), provando a eficácia na identificação de radicais.
• Inferência de Relações: O pipeline orientado a componentes superou os baselines em todas as métricas (BERTScore, MoverScore, ROUGE-1 e avaliação por LLM). O modelo Qwen3-VL alcançou a maior acurácia de classificação (59,9%).
• Geração de Interpretação: A abordagem Agentic RAG melhorou consistentemente a coerência semântica e a precisão factual. Por exemplo, o GPT-5 com RAG atingiu um escore de 0,558 na avaliação "LLM-as-a-Judge", contra 0,102 do baseline.
• Validação Humana: Uma avaliação com dois doutorandos em arqueologia confirmou a hierarquia de desempenho: Pipeline Multi-Agente (3,43/5) > Pipeline RAG (2,13/5) > Baseline (1,37/5), com alta concordância entre os avaliadores (ICC3 = 0,71).
• Ablação: A remoção da recuperação de conhecimento (RAG) degradou consistentemente o desempenho, especialmente em métricas de coerência semântica, confirmando que o conhecimento estruturado é essencial.

5. Significado e Impacto

Este trabalho representa um avanço significativo na aplicação de IA para humanidades digitais e paleografia:

• Superação da "Caixa Preta": Ao decompor caracteres em componentes semânticos e usar raciocínio estruturado, o sistema fornece interpretações explicáveis e linguisticamente precisas, alinhadas com o conhecimento de especialistas humanos.
• Generalização para Desconhecidos: A abordagem permite inferir o significado de caracteres nunca vistos antes, baseando-se na lógica composicional dos componentes, superando a limitação de reconhecimento de conjunto fechado.
• Padrão para Dados Estruturados: O dataset OB-Radix e o Grafo de Conhecimento associado estabelecem um novo padrão para pesquisas em OBS, fornecendo a estrutura de dados necessária para treinar modelos especializados em domínios de baixo recurso.

Em suma, o artigo demonstra que a combinação de fundamentação visual de componentes, recuperação de conhecimento estruturado e agentes de raciocínio é a chave para desbloquear a decifração automática e interpretável de escritas antigas complexas como os Ossos de Oráculo.