Specializing Large Models for Oracle Bone Script Interpretation via Component-Grounded Multimodal Knowledge Augmentation

1. Il Problema: La Sfida della Decifrazione dell'Oracolo

La decifrazione dello Script dell'Oracolo (OBS - Oracle Bone Script), il più antico sistema di scrittura cinese maturo, rappresenta una sfida complessa per l'intelligenza artificiale.

• Stato dell'arte: Su oltre 4.500 caratteri identificati, solo circa un terzo è stato decifrato. Il resto rimane un mistero, portando con sé frammenti perduti di istituzioni, tecnologie e credenze antiche.
• Limiti degli approcci attuali: I metodi esistenti trattano la decifrazione come un problema di riconoscimento di immagini a set chiuso (closed-set image recognition). Questo approccio ignora la natura strutturale e semantica dello script, fallendo nel colmare il "gap interpretativo".
• Il problema della generalizzazione: I modelli attuali soffrono di allucinazioni visive e mancanza di profondità linguistica quando affrontano caratteri rari o nuovi, poiché non sfruttano la logica strutturale intrinseca dello script: ogni carattere è composto da un insieme limitato di componenti pittografici ricorrenti che trasportano significati semantici trasferibili.

2. Metodologia: Un Framework Agentic RAG Multimodale

Gli autori propongono un nuovo framework guidato da agenti (Agentic RAG) che trasforma l'interpretazione da un semplice riconoscimento visivo a un ragionamento strutturato basato sui componenti. Il sistema integra un Modello Linguaggio-Visivo (VLM) per l'ancoraggio visivo preciso e un agente LLM per automatizzare una catena di ragionamento.

Il processo si articola in quattro fasi principali (illustrate nella Figura 4 del paper):

1. Identificazione dei Componenti:

   • Utilizza un encoder visivo basato su DINOv2 (Vision Transformer) per creare uno spazio di caratteristiche per i componenti.
   • Impiega un classificatore basato su Prototypical Networks per identificare i radicali (componenti) all'interno di un'immagine di un carattere sconosciuto, mappandoli su un set di prototipi noti.

2. Recupero della Conoscenza Guidato da Agenti (Agent-Driven Graph Retrieval):

   • Viene costruito un Grafo della Conoscenza (Knowledge Graph - KG) basato sul dataset OB-Radix.
   • Un agente LLM orchesta il recupero: una volta identificati i componenti, l'agente interroga il KG per ottenere spiegazioni semantiche dei componenti e cercare altri caratteri che li contengono.
   • L'agente esegue anche una sintesi vincolata, integrando evidenze interne (come mappature tra caratteri moderni e antichi) se il recupero diretto è debole.

3. Inferenza delle Relazioni tra Componenti:

   • Un modulo VLM analizza le relazioni strutturali tra i componenti identificati e le informazioni semantiche recuperate.
   • Il modello predice il tipo di iscrizione (ideografico, pittografico o fonosemantico) e genera una traccia di ragionamento che spiega come i componenti interagiscono per formare il significato.

4. Generazione dell'Interpretazione:

   • Il sistema supporta due modalità:
     • VLM Inference: Fusione diretta delle caratteristiche visive con la conoscenza recuperata.
     • Multi-Agent Inference: Separa le funzioni di recupero e ragionamento in agenti specializzati (un agente per il recupero del grafo e uno per il ragionamento semantico), migliorando la robustezza e riducendo la propagazione degli errori.

3. Contributi Chiave

• OB-Radix (Nuovo Dataset):

  • Un dataset annotato da esperti che sposta il focus dal carattere intero ai suoi componenti costitutivi.
  • Comprende 1.022 immagini di caratteri (934 unici) e 1.853 immagini di componenti (478 componenti distinti).
  • Ogni componente è accompagnato da spiegazioni semantiche verificate da esperti e da un'annotazione di segmentazione precisa (maschere semantiche).
  • A differenza dei dataset precedenti, fornisce relazioni esplicite tra componenti e significati, essenziali per il ragionamento strutturale.

• Framework Agentic RAG per OBS:

  • Prima formulazione che tratta la decifrazione come un compito di ragionamento basato su componenti e struttura, integrando cue visivi a livello di componente con il recupero basato su grafi.

• Valutazione Completa:

  • Progettazione di tre benchmark progressivi: recupero a livello di componente, inferenza delle relazioni tra componenti e generazione dell'interpretazione completa.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre task principali, confrontando il metodo proposto con baseline (modelli VLM standard senza recupero di conoscenza):

• Recupero dei Componenti: Il modello ha raggiunto un'accuratezza Top-1 del 77,95%, dimostrando efficacia nel riconoscere le unità strutturali di base.
• Inferenza delle Relazioni: Il framework proposto ha superato tutte le baseline (GPT, Claude, GLM, Qwen) in tutte le metriche (BERTScore, MoverScore, ROUGE-1, LLM-as-a-Judge). Ad esempio, con il modello Qwen, l'accuratezza di classificazione è passata dal 35% al 59,9%.
• Generazione dell'Interpretazione:
  • L'approccio Agentic RAG ha mostrato miglioramenti significativi rispetto alla generazione diretta.
  • Per il modello GPT-5, il punteggio LLM-as-a-Judge è migliorato da 0,102 (baseline) a 0,558 (RAG).
  • L'analisi di ablazione ha confermato che la rimozione del recupero dal grafo della conoscenza degrada le prestazioni, specialmente nella coerenza semantica e nell'accuratezza fattuale.
• Valutazione Umana: Due dottorandi in archeologia hanno valutato le interpretazioni. La pipeline Multi-Agent ha ottenuto il punteggio medio più alto (3,433 su 5), superando nettamente la pipeline RAG (2,133) e la baseline (1,367). Le interpretazioni generate erano più allineate con le annotazioni degli esperti.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nell'applicazione dell'IA alle scienze umanistiche digitali:

1. Superamento del "Black Box": Trasforma la decifrazione da un riconoscimento opaco a un processo interpretabile e trasparente, dove il ragionamento umano può seguire la logica dei componenti.
2. Gestione dei Dati Scarsi: Dimostra come l'uso di grafi della conoscenza e ragionamento strutturato possa compensare la scarsità di dati etichettati per caratteri rari o non decifrati.
3. Validazione Scientifica: L'introduzione di OB-Radix e la rigorosa valutazione umana forniscono nuove basi standard per la ricerca futura sulla paleografia cinese.
4. Limiti e Futuro: Il paper riconosce che la precisione del riconoscimento dei componenti non è ancora perfetta e che molti caratteri mancano di interpretazioni accettate universalmente. Tuttavia, il framework offre una via promettente per supportare, non sostituire, il giudizio degli esperti, aprendo la strada a sistemi più autonomi man mano che i modelli di base acquisiranno una maggiore comprensione del dominio.

In sintesi, gli autori hanno dimostrato che ancorare i grandi modelli linguistici a una conoscenza strutturata e visiva di livello componente è la chiave per decifrare con successo e in modo interpretabile antichi sistemi di scrittura complessi come l'Oracolo cinese.