Resumo Técnico: Além do Caractere Único: Avaliando MLLMs para a Compreensão de Inscrições em Ossos Oraculares em Nível de Sentença

Declaração do Problema

A pesquisa existente sobre o reconhecimento e a compreensão de Inscrições em Ossos Oraculares (OBI - Oracle Bone Inscriptions) concentrou-se predominantemente em tarefas de nível de caractere, como detecção, classificação ou decifração de glifos isolados. Embora essas tarefas sejam fundamentais, elas falham em avaliar a capacidade de um modelo de compreender a coerência estrutural, os papéis semânticos e as dependências contextuais inerentes a charges divinatórias completas. Um registro de OBI completo não é meramente uma coleção de caracteres isolados; ele segue uma forma estruturada envolvendo componentes como datas, adivinhos, charges e resultados. Os atuais Modelos de Linguagem de Grande Escala Multimodais (MLLMs) carecem de frameworks de avaliação robustos para determinar se podem ir além do reconhecimento de caracteres isolados para alcançar a compreensão de inscrições em nível de sentença, o que requer a integração de percepção de glifos, ordem de caracteres e contexto divinatório.

Metodologia

1. A Construção do Benchmark S-OBI

Para enfrentar a escassez de dados de OBI limpos e em nível de sentença, bem como o ruído inerente às rubricas tradicionais, os autores introduzem o S-OBI, um benchmark diagnóstico.

• Fonte de Dados: O benchmark é construído com base em 95 rubricas originais de OBI sentenciais que foram identificadas, corrigidas e verificadas por especialistas.
• Síntese via Substituição de Glifos: Em vez de usar rubricas ruidosas e incompletas como entrada visual direta, o S-OBI sintetiza imagens de nível de sentença claras e padronizadas. O processo envolve:
  1. Extrair caracteres individuais de imagens de origem verificadas por especialistas.
  2. Mapear esses caracteres para categorias correspondentes usando conjuntos de dados de OBI de larga escala (ex: OBC306, HUST-OBC).
  3. Substituir os glifos originais por amostras de glifos limpas e de alta qualidade desses conjuntos de dados, preservando estritamente o conteúdo semântico e a estrutura inscriptional original.
• Racional: Esta substituição mitiga distorções visuais de baixo nível (ruído, rachaduras, vazamento de tinta) encontradas nas rubricas originais, permitindo uma avaliação focada na compreensão de nível de sentença em vez da robustez visual de baixo nível.

2. Design de Tarefas

O S-OBI compreende 695 pares de pergunta-resposta através de três níveis distintos de tarefas projetados para avaliar diferentes níveis de compreensão:

• T1: Correspondência Semântica:
  • Seleção de Significado: Dada uma imagem de OBI de nível de sentença, o modelo seleciona o significado semântico holístico correto entre múltiplas escolhas.
  • Julgamento de Ordem Semântica: O modelo identifica a ordem de leitura correta das unidades semânticas dentro da inscrição.
• T2: Extração de Slot Semântico: O modelo deve recuperar uma estrutura de adivinhação (ex: sujeito, ação, objeto, tempo, resultado, preâmbulo, charge) a partir da imagem, exigindo a inferência de caracteres ambíguos baseada no contexto conhecido.
• T3: Raciocínio Contextual:
  • Complementação de Glifo Mascarado: 30% dos caracteres são mascarados; o modelo deve prever o caractere ausente a partir de opções baseadas no contexto.
  • Restauração de Pontuação: O modelo restaura fronteiras de pontuação em sequências não pontuadas.
  • Recuperação de Ordem: O modelo recupera a ordem de leitura correta a partir de sequências de caracteres embaralhadas.

3. Configuração Experimental

Os autores avaliaram 10 MLLMs de última geração, incluindo modelos proprietários (GPT-5.2, GPT-4o, Gemini 3.1 Pro, Qwen3.6-Plus) e de código aberto (DeepSeek-V4-Pro, Qwen3.6-35B, série InternVL3.5, etc.). As métricas de avaliação incluíram precisão geral, precisão média por tarefa e precisão por instância.

Principais Resultados

1. Teto de Desempenho Geral

Os atuais MLLMs demonstram um desempenho inferior na compreensão de OBI em nível de sentença.

• A melhor pontuação geral alcançada por qualquer modelo (Qwen3.6-Plus-thinking) foi de apenas 33,5%.
• A maioria dos modelos ficou abaixo de 30%, indicando que as capacidades gerais de OCR e o seguimento de instruções multimodais amplas são insuficientes para esta tarefa.

2. Disparidades Específicas de Tarefa

• Ordem vs. Significado: Os modelos apresentam desempenho significativamente melhor na seleção de ordem de unidades semânticas (média de ~79,6%) comparado à correspondência de significado holístico (média de ~22,6%). Isso suglete que os modelos exploram regularidades de sequência visíveis (ordenação formulaica) em vez de interpretação semântica profunda.
• Falha de Raciocínio Estruturado: A extração de slots semânticos continua sendo um grande gargalo, com o melhor modelo alcançando apenas 27,2% e todos os modelos falhando em atingir uma correspondência exata de 100% no quadro de slots completo.
• Fraqueza de Raciocínio Contextual: A restauração de pontuação e a complementação de glifos mascarados são particularmente fracas. As pontuações de restauração de pontuação ficaram abaixo de 15% para todos os modelos, e as pontuações de complementação de glifos mascarados foram frequentemente inferiores ao nível de chance de 25% de uma tarefa de quatro escolhas.

3. Dependência de Reconhecimento de Nível de Caractere

Os experimentos revelam que a compreensão em nível de sentença nos modelos atuais é fortemente dependente do reconhecimento de nível de caractere. Erros de percepção visual em regiões não mascaradas propagam-se através da cadeia de raciocínio, levando a previsões errôneas para caracteres mascarados. Os modelos lutam para usar o contexto da sentença para recuperar glifos ausentes ou ambíguos quando a evidência visual local é incompleta.

4. Correlação de Dificuldade

• Sensibilidade ao Comprimento: O desempenho em T2 (Extração de Slot) degrada conforme o comprimento da inscrição aumenta, sugerindo que textos mais longos atuam como um teste de pressão para a atribuição de papéis estruturados.
• Independência de Tarefa: A análise de correlação mostra que as tarefas "Mascaradas" são ortogonais às tarefas de "Significado", indicando que o pareamento de padrões visuais locais não necessariamente correlaciona com lógica semântica de alto nível.

Principais Contribuições

1. Nova Definição de Tarefa: O artigo propõe uma tarefa de compreensão de OBI em nível de sentença, mudando a unidade de avaliação do glifo isolado para inscrições divinatórias completas, exigindo a consideração conjunta de percepção de glifo, ordem, papéis semânticos e contexto.
2. Benchmark S-OBI: Construção de um benchmark diagnóstico apresentando 695 pares de QA através de três tipos de tarefas (correspondência semântica, extração de slot, raciocínio contextual), utilizando a substituição de glifos para criar imagens de nível de sentença padronizadas e com redução de ruído.
3. Avaliação Abrangente: Uma avaliação sistemática de 10 MLLMs revelando que, embora os modelos possam lidar com seleção semântica grosseira, eles falham em recuperação semântica estruturada, restauração de pontuação e complementação de glifos mascarados.

Significância e Alegações

O artigo posiciona a compreensão de escritas antigas em nível de sentença como um problema de avaliação multimodal distinto e desafiador. Os autores afirmam que o S-OBI serve como um benchmark diagnóstico para determinar se os MLLMs podem transitar do reconhecimento de caracteres isolados para a compreensão estruturada em nível de inscrição.

Os achados indicam que os atuais MLLMs ainda não desenvolveram uma habilidade robusta para modelar a estrutura e o contexto de inscrições divinatórias completas. A lacuna significativa entre a seleção de ordem e o raciocínio semântico sugere que os modelos existentes dependem de regularidades formulaicas em vez de verdadeira decifração contextual. Consequentemente, o artigo argumenta que a compreensão de OBI em nível de sentença permanece um desafio crítico não resolvido para o campo, destacando a necessidade de modelos que possam integrar características visuais de glifos com raciocínio semântico e estrutural profundo.