Riepilogo Tecnico: Oltre il Singolo Carattere: Valutazione degli MLLM per la Comprensione delle Iscrizioni su Ossa Oracolari a Livello di Frase

Definizione del Problema

La ricerca esistente sul riconoscimento e sulla comprensione delle Iscrizioni su Ossa Oracolari (OBI) si è concentrata prevalentemente su compiti a livello di carattere, come il rilevamento, la classificazione o la decifrazione di glifi isolati. Sebbene questi compiti siano fondamentali, essi non riescono a valutare la capacità di un modello di comprendere la coerenza strutturale, i ruoli semantici e le dipendenze contestuali intrinseche nelle complete formule divinatorie. Un record OBI completo non è semplicemente una collezione di caratteri isolati; esso segue una forma strutturata che comprende componenti quali date, divinatori, formule (charges) e risultati. Gli attuali Modelli Linguistici Multimodali Grandi (MLLM) mancano di framework di valutazione robusti per determinare se possano andare oltre il riconoscimento del singolo carattere per raggiungere una comprensione delle iscrizioni a livello di frase, la quale richiede l'integrazione della percezione dei glifi, dell'ordine dei caratteri e del contesto divinatorio.

Metodologia

1. Costruzione del Benchmark S-OBI

Per affrontare la scarsità di dati OBI puliti a livello di frase e il rumore inerente alle tradizionali rubbings (impronte), gli autori introducono S-OBI, un benchmark diagnostico.

• Fonte dei Dati: Il benchmark è costruito su 95 rubbings OBI originali a livello di frase che sono stati identificati, corretti e verificati da esperti.
• Sintesi tramite Sostituzione di Glifi: Invece di utilizzare rubbings rumorosi e incompleti come input visivo diretto, S-OBI sintetizza immagini a livello di frase chiare e standardizzate. Il processo prevede:
  1. Estrazione dei singoli caratteri da immagini sorgente verificate da esperti.
  2. Mappatura di questi caratteri su categorie corrispondenti utilizzando dataset OBI su larga scala (es. OBC306, HUST-OBC).
  3. Sostituzione dei glifi originali con campioni di glifi puliti e di alta qualità da questi dataset, preservando rigorosamente il contenuto semantico originale e la struttura inscriptiva.
• Razionale: Questa sostituzione mitiga le distorsioni visive di basso livello (rumore, crepe, sbavature d'inchiostro) presenti nelle rubbings originali, permettendo una valutazione focalizzata sulla comprensione a livello di frase piuttosto che sulla robustezza visiva di basso livello.

2. Design dei Task

S-OBI comprende 695 coppie domanda-risposta attraverso tre distinti livelli di task progettati per valutare diversi gradi di comprensione:

• T1: Corrispondenza Semantica:
  • Selezione del Significato: Dato un'immagine OBI a livello di frase, il modello seleziona il significato semantico olistico corretto tra diverse opzioni.
  • Giudizio dell'Ordine Semantico: Il modello identifica l'ordine di lettura corretto delle unità semantiche all'interno dell'iscrizione.
• T2: Estrazione di Slot Semantici: Il modello deve recuperare una struttura divinatoria completa (es. soggetto, azione, oggetto, tempo, risultato, prefisso, formula) dall'immagine, richiedendo l'inferenza di caratteri ambigui basata sul contesto noto.
• T3: Ragionamento Contestuale:
  • Completamento del Glifo Mascherato: Il 30% dei caratteri è mascherato; il modello deve predire il carattere mancante tra le opzioni basandosi sul contesto.
  • Restauro della Punteggiatura: Il modello ripristina i confini della punteggiatura in sequenze non punteggiate.
  • Recupero dell'Ordine: Il modello recupera l'ordine di lettura corretto da sequenze di caratteri rimescolate.

3. Setup Sperimentale

Gli autori hanno valutato 10 MLLM allo stato dell'arte, inclusi modelli proprietari (GPT-5.2, GPT-4o, Gemini 3.1 Pro, Qwen3.6-Plus) e open-source (DeepSeek-V4-Pro, Qwen3.6-35B, serie InternVL3.5, ecc.). Le metriche di valutazione includevano l'accuratezza complessiva, l'accuratezza media per task e l'accuratezza per istanza.

Risultati Chiave

1. Tetto delle Prestazioni Complessive

Gli attuali MLLM dimostrano una performance inferiore nella comprensione OBI a livello di frase.

• Il miglior punteggio complessivo raggiunto da qualsiasi modello (Qwen3.6-Plus-thinking) è stato solo del 33,5%.
• La maggior parte dei modelli è scesa sotto il 30%, indicando che le capacità OCR generali e il seguimento di istruzioni multimodali ampie sono insufficienti per questo compito.

2. Disparità Specifiche per Task

• Ordine vs. Significato: I modelli performano significativamente meglio sulla selezione dell'ordine delle unità semantiche (media ~79,6%) rispetto all'appaiamento del significato olistico (media ~22,6%). Ciò suggerisce che i modelli sfruttano regolarità sequenziali visibili (ordinamento formulare) piuttosto che una profonda interpretazione semantica.
• Fallimento del Ragionamento Strutturato: L'estrazione dello slot semantico rimane un collo di bottiglia principale, con il miglior modello che raggiunge solo il 27,2% e tutti i modelli che falliscono nel raggiungere un match esatto al 100% sull'intero frame dello slot.
• Debolezza del Ragionamento Contestuale: Il restauro della punteggiatura e il completamento del glifo mascherato sono particolarmente deboli. I punteggi di restauro della punteggiatura sono stati inferiori al 15% per tutti i modelli, e i punteggi di completamento del glifo mascherato sono stati spesso inferiori al livello di probabilità del 25% di un compito a quattro opzioni.

3. Dipendenza dal Riconoscimento a Livello di Carattere

Gli esperimenti rivelano che la comprensione a livello di frase nei modelli attuali è fortemente dipendente dal riconoscimento a livello di carattere. Gli errori di percezione visiva nelle regioni non mascherate si propagano attraverso la catena di ragionamento, portando a predizioni errate per i caratteri mascherati. I modelli faticano a usare il contesto della frase per recuperare glifi mancanti o ambigui quando l'evidenza visiva locale è incompleta.

4. Correlazione della Difficoltà

• Sensibilità alla Lunghezza: La performance sul T2 (Estrazione dello Slot) degrada all'aumentare della lunghezza dell'iscrizione, suggerendo che i testi più lunghi fungano da test di pressione per l'assegnazione del ruolo strutturato.
• Indipendenza dei Task: L'analisi di correlazione mostra che i task "Mascherati" sono ortogonali ai task di "Significato", indicando che il matching dei pattern visivi locali non correla necessariamente con una logica semantica di alto livello.

Contributi Chiave

1. Nuova Definizione di Task: Il paper propone un task di comprensione OBI a livello di frase, spostando l'unità di valutazione dai glifi isolati alle complete iscrizioni divinatorie, richiedendo la considerazione congiunta di percezione del glifo, ordine, ruoli semantici e contesto.
2. Benchmark S-OBI: Costruzione di un benchmark diagnostico composto da 695 coppie QA attraverso tre tipi di task, utilizzando la sostituzione dei glifi per creare immagini a livello di frase standardizzate e prive di rumore.
3. Valutazione Comprensiva: Una valutazione sistematica di 10 MLLM che rivela come, sebbene i modelli possano gestire la selezione semantica grossolana, falliscano nel recupero semantico strutturato, nel restauro della punteggiatura e nel completamento del glifo mascherato.

Significato e Rivendicazioni

Il paper posiziona la comprensione di antichi script a livello di frase come un problema di valutazione multimodale distinto e impegnativo. Gli autori affermano che S-OBI funge da benchmark diagnostico per determinare se gli MLLM possano transire dal riconoscimento di caratteri isolati alla comprensione strutturata dell'iscrizione.

I risultati indicano che gli attuali MLLM non hanno ancora sviluppato una capacità robusta di modellare la struttura e il contesto delle complete iscrizioni divinatorie. Il significativo divario tra la selezione dell'ordine e il ragionamento semantico suggerisce che i modelli esistenti si affidino a regolarità formulari piuttosto che a una vera decifrazione contestuale. Di conseguenza, il paper sostiene che la comprensione OBI a livello di frase rimanga una sfida critica non ancora risolta per il settore, evidenziando la necessità di modelli che possano integrare le caratteristiche visive dei glifi con un profondo ragionamento semantico e strutturale.