Resumo Técnico: OracleAnalyser

1. Definição do Problema

O deciframento dos Escritos em Ossos Oraculares (OBS), o sistema de escrita maduro mais antigo da China, permanece um desafio significativo na arqueologia e filologia. Embora mais de 4.500 caracteres tenham sido identificados, apenas aproximadamente 1.600 estão decifrados. As abordagens de inteligência artificial existentes para este domínio, incluindo modelos de aprendizagem profunda e benchmarks atuais, concentram-se predominantemente em tarefas de reconhecimento (identificar o caractere). Esses métodos frequentemente negligenciam o aspecto igualmente crucial do raciocínio analítico — o processo de interpretar a estrutura pictográfica e o significado semântico do script. Os benchmarks atuais carecem de métricas para avaliar a capacidade de um modelo em gerar raciocínio analítico intermediário, limitando a interpretabilidade e a eficácia da IA na decifração de caracteres desconhecidos.

2. Metodologia

Os autores propõem o OracleAnalyser, um framework de raciocínio para análise de ossos oraculares baseado em técnicas de pós-treinamento aplicadas a Modelos de Linguagem de Grande Escala Multimodais (MLLMs). O framework opera através de três estágios primários:

A. Construção do Conjunto de Dados

• Conjunto de Dados de Raciocínio de Ossos Oraculares: Construído a partir do conjunto de dados EVOBC, filtrado para incluir 2.807 caracteres válidos. Os autores utilizam o Qwen-VL-MAX para gerar descrições analíticas baseadas em perspectivas pictográficas, condicionadas ao respectivo caractere chinês moderno para garantir a precisão. Essas descrições são refinadas pelo Qwen-3 e verificadas manualmente por especialistas, resultando em um conjunto de dados de aproximadamente 5.500 amostras (5.000 para treinamento, 500 para teste intra-domínio e 500 para teste fora do domínio).
• Conjunto de Dados de Preferência de Ossos Oraculares: Gerado utilizando o modelo de ajuste fino supervisionado (OracleAnalyser-SFT) para realizar múltiplas traçagens de inferência em imagens de ossos oraculares. As amostras positivas são análises de verdade fundamental (ground-truth), enquanto as amostras negativas são selecionadas a partir dos próprios erros sistemáticos do modelo (traçagens de reconhecimento incorretas). Isso resulta em mais de 3.400 pares de preferência de alta qualidade após filtragem manual.

B. Pipeline de Treinamento

1. Ajuste Fino Supervisionado (SFT): O modelo base, Qwen2.5-VL-3B-Instruct, é ajustado finamente no conjunto de dados de raciocínio. Este estágio equipa o modelo com capacidades fundamentais de reconhecimento de padrões visuais e raciocínio analítico, servindo como uma inicialização estável para os passos subsequentes.
2. Otimização de Preferência de Foco Estável (SFPO): Para abordar as limitações da Otimização de Preferência Direta (DPO) padrão neste domínio (especificamente, o risco de sobreajuste a preferências ruidosas e a tendência de interpretar excessivamente pares difíceis de classificar), os autores propõem o SFPO.
   • Componente de Foco ($L_F$): Adapta o conceito de Focal Loss para reduzir o peso de pares de preferência "difíceis de classificar", onde o modelo tem dificuldade em distinguir entre o raciocínio correto e o incorreto, evitando que o modelo aprenda distinções espúrias.
   • Componente de Estabilidade ($L_S$): Introduz um termo de divergência Kullback-Leibler (KL) reversa para restringir a divergência entre o modelo de política ($\pi_\theta$) e o modelo de referência ($\pi_{ref}$), garantindo um treinamento estável e evitando o desvio excessivo.
   • A função de perda final combina esses componentes: $L_{SFPO} = L_F + \lambda L_S$.

C. Benchmark de Avaliação

Os autores introduzem um novo benchmark composto por avaliações intra-domínio e fora do domínio. Diferente de benchmarks anteriores que focam apenas na precisão de reconhecimento, este benchmark avalia:

• Qualidade Analítica: Medida via pontuações BLEU-1, BLEU-4, ROUGE-1 e ROUGE-L contra a análise de verdade fundamental.
• Precisão de Reconhecimento: Para tarefas intra-domínio.
• Pontuação Sentence-BERT (SBS): Para tarefas fora do domínio, medindo a similaridade semântica entre a análise gerada pelo modelo e a verdade fundamental para avaliar a generalização em caracteres não vistos.

3. Principais Contribuições

• Datasets e Benchmark: O lançamento do primeiro conjunto de dados de raciocínio de ossos oraculares, o primeiro conjunto de dados de preferência de ossos oraculares e um novo benchmark projetado para avaliar sistematicamente capacidades analíticas em vez de apenas reconhecimento.
• Framework OracleAnalyser: Um novo framework que integra raciocínio explícito com múltiplas estratégias de pós-treinamento (SFT e SFPO) especificamente adaptadas para a análise de ossos oraculares.
• Algoritmo SFPO: Um novo algoritmo de otimização de preferência que estabiliza o treinamento e foca em amostras valiosas ao mitigar os efeitos negativos de pares de preferência ruidosos e ambíguos.
• Desempenho: Demonstração de que um modelo de 3 bilhões de parâmetros pode alcançar desempenho analítico superior comparado a modelos significativamente maiores (até 241 bilhões de parâmetros) e modelos especializados de reconhecimento.

4. Resultados Experimentais

Experimentos extensivos foram conduzidos tanto em conjuntos de teste intra-domínio quanto fora do domínio:

• Desempenho Intra-Domínio: O OracleAnalyser alcançou uma precisão de reconhecimento de 39,6% e superou significativamente todos os modelos concorrentes (incluindo o InternVL-3.5-241B e modelos especializados como o OBSD) em métricas analíticas (BLEU e ROUGE). Por exemplo, alcançou uma pontuação BLEU-4 de 72,77, comparado à pontuação de ~4,32 do próximo melhor MLLM geral.
• Generalização Fora do Domínio: Em caracteres não vistos, o OracleAnalyser alcançou a maior Pontuação Sentence-BERT (70,35), indicando que suas análises geradas são semanticamente mais próximas da verdade fundamental do que as de modelos maiores.
• Estudos de Ablação:
  • Filtragem de Dados: A remoção de pares de preferência ambíguos melhorou o desempenho, confirmando que a qualidade dos dados é mais crítica do que a quantidade.
  • Estratégia de Treinamento: A combinação de SFT, Focal Loss ($L_F$) e Stability Loss ($L_S$) (ou seja, SFPO) produziu os melhores resultados. O DPO padrão forneceu melhoria limitada, e a omissão do termo de estabilidade ($L_S$) levou ao colapso do treinamento em estágios tardios.
• Análise Visual: Resultados qualitativos mostram que o modelo pode decompor glifos com precisão e associar componentes a entidades do mundo real, demonstrando capacidades aprendidas de análise pictográfica.

5. Significância

O artigo afirma que o OracleAnalyser representa uma mudança do reconhecimento puro para o raciocínio analítico no campo da pesquisa de escritas em ossos oraculares. Ao alavancar técnicas de pós-treinamento e um novo algoritmo de otimização, o framework permite que um modelo relativamente pequeno (3 bilhões de parâmetros) supere modelos muito maiores em tarefas de decifração. Os autores argumentam que esta abordagem oferece uma solução mais interpretável e eficaz para a preservação do patrimônio cultural, oferecendo um método para estreitar o espaço de busca para paleógrafos ao enfrentarem scripts desconhecidos. O trabalho é apresentado como o primeiro a integrar raciocínio explícito com múltiplas estratégias de pós-treinamento especificamente para a análise de ossos oraculares.