Sintesi Tecnica: OracleAnalyser

1. Definizione del Problema

La decifrazione dei caratteri delle ossa oracolari (OBS), il primo sistema di scrittura maturo della Cina, rimane una sfida significativa per l'archeologia e la filologia. Sebbene siano stati identificati oltre 4.500 caratteri, solo circa 1.600 sono stati decifrati. Gli approoli di intelligenza artificiale esistenti in questo dominio, inclusi i modelli di deep learning e gli attuali benchmark, sono prevalentemente focalizzati sui compiti di riconoscimento (identificazione del carattere). Questi metodi trascurano spesso l'aspetto altrettanto cruciale del ragionamento analitico — il processo di interpretazione della struttura pittografica e del significato semantico della scrittura. I benchmark attuali mancano di metriche per valutare la capacità di un modello di generare un ragionamento analitico intermedio, limitando l'interpretabilità e l'efficacia dell'IA nella decifrazione di caratteri sconosciuti.

2. Metodologia

Gli autori propongono OracleAnalyser, un framework di ragionamento per l'analisi delle ossa oracolari basato su tecniche di post-training applicate a Modelli Linguistici Multimodali Grandi (MLLM). Il framework opera attraverso tre fasi primarie:

A. Costruzione del Dataset

• Dataset di Ragionamento sulle Ossa Oracolari: Costruito a partire dal dataset EVOBC, filtrato per includere 2.807 caratteri validi. Gli autori utilizzano Qwen-VL-MAX per generare descrizioni analitiche basate su prospettive pittografiche, condizionate dal corrispondente carattere cinese moderno per garantirne l'accuratezza. Queste descrizioni sono perfezionate da Qwen-3 e verificate manualmente da esperti, risultando in un dataset di circa 5.500 campioni (5.000 per l'addestramento, 500 per il testing in-domain e 500 per il testing out-of-domain).
• Dataset di Preferenza sulle Ossa Oracolari: Generato utilizzando il modello sottoposto a fine-tuning supervisionato (OracleAnalyser-SFT) per eseguire molteplici tracce di inferenza su immagini di ossa oracolari. I campioni positivi sono analisi di verità fondamentale (ground-truth), mentre i campoli negativi sono selezionati dagli errori sistematici del modello stesso (tracce di riconoscimento errate). Ciò produce oltre 3.400 coppie di preferenza di alta qualità dopo il filtraggio manuale.

B. Pipeline di Addestramento

1. Fine-Tuning Supervisionato (SFT): Il modello base, Qwen2.5-VL-3B-Instruct, è sottoposto a fine-tuning sul dataset di ragionamento. Questa fase equipaggia il modello con capacità fondamentali di riconoscimento dei pattern visivi e di ragionamento analitico, fungendo da inizializzazione stabile per i passaggi successivi.
2. Stable Focal Preference Optimization (SFPO): Per affrontare i limiti della standard Direct Preference Optimization (DPO) in questo dominio (specificamente, il rischio di overfitting su preferenze rumorose e la tendenza a sovra-interpretare coppie difficili da classificare), gli autori propongono SFPO.
   • Componente Focal ($L_F$): Adatta il concetto di Focal Loss per ridurre il peso delle coppie di preferenza "difficili da classificare" dove il modello fatica a distinguere tra ragionamenti corretti e errati, impedendo al modello di apprendere distinzioni spurie.
   • Componente di Stabilità ($L_S$): Introduce un termine di divergenza Kullback-Leibler (KL) inversa per vincolare la divergenza tra il modello di policy ($\pi_\theta$) e il modello di riferimento ($\pi_{ref}$), garantendo un addestramento stabile e prevenendo un eccessivo deriva (drift).
   • La funzione di perdita finale combina questi componenti: $L_{SFPO} = L_F + \lambda L_S$.

C. Benchmark di Valutazione

Gli autori introducono un nuovo benchmark composto da valutazioni in-domain e out-of-domain. A differenza dei precedenti benchmark focalizzati esclusivamente sull'accuratezza del riconoscimento, questo benchmark valuta:

• Qualità Analitica: Misurata tramite i punteggi BLEU-1, BLEU-4, ROUGE-1 e ROUGE-L rispetto all'analisi di verità fondamentale.
• Accuratezza del Riconoscimento: Per i compiti in-domain.
• Punteggio Sentence-BERT (SBS): Per i compiti out-of-domain, misurando la similarità semantica tra l'analisi generata dal modello e la verità fondamentale per valutare la generalizzazione su caratteri non visti.

3. Contributi Chiave

• Dataset e Benchmark: Il rilascio del primo dataset di ragionamento sulle ossa oracolari, del primo dataset di preferenza sulle ossa oracolari e di un nuovo benchmark progettato per valutare sistematicamente le capacità analitiche piuttosto che il semplice riconoscimento.
• Framework OracleAnalyser: Un nuovo framework che integra il ragionamento esplicito con molteplici strategie di post-training (SFT e SFPO) specificamente adattate per l'analisi delle ossa oracolari.
• Algoritmo SFPO: Un nuovo algoritmo di ottimizzazione delle preferenze che stabilizza l'addestramento e si concentra sui campioni di valore mitigando gli effetti negativi delle coppie di preferenza rumorose e ambigue.
• Performance: Dimostrazione che un modello da 3 miliardi di parametri può raggiungere prestazioni analitiche superiori rispetto a modelli significativamente più grandi (fino a 241 miliardi di parametri) e modelli specializzati nel riconoscimento.

4. Risultati Sperimentali

Esperimenti estesi sono stati condotti sia sui set di test in-domain che out-of-domain:

• Performance In-Domain: OracleAnalyser ha raggiunto un'accuratezza di riconoscimento del 39,6% e ha superato significativamente tutti i modelli concorrenti (inclusi InternVL-3.5-241B e modelli specializzati come OBSD) nelle metriche analitiche (BLEU e ROUGE). Ad esempio, ha ottenuto un punteggio BLEU-4 di 72,77 rispetto al punteggio del miglior MLLM generale successivo di circa 4,32.
• Generalizzazione Out-of-Domain: Sui caratteri non visti, OracleAnalyser ha ottenuto il più alto Sentence-BERT Score (70,35), indicando che le sue analisi generate sono semanticamente più vicine alla verità fondamentale rispetto a quelle dei modelli più grandi.
• Studi di Ablazione:
  • Filtraggio dei Dati: La rimozione delle coppie di preferenza ambigue ha migliorato le prestazioni, confermando che la qualità dei dati è più critica della quantità.
  • Strategia di Addestramento: La combinazione di SFT, Focal Loss ($L_F$) e Stability Loss ($L_S$) (ovvero, SFPO) ha prodotto i migliori risultati. La DPO standard ha fornito un miglioramento limitato, e l'omissione del termine di stabilità ($L_S$) ha portato al collasso dell'addestramento nelle fasi finali.
• Analisi Visiva: I risultati qualitativi mostrano che il modello può decomporre accuratamente i glifi e associare i componenti a entità del mondo reale, dimostrando le capacità di analisi pittografica apprese.

5. Significato

L'articolo sostiene che OracleAnalyser rappresenti uno spostamento dal puro riconoscimento al ragionamento analitico nel campo della ricerca sulle ossa oracolari. Sfruttando tecniche di post-training e un nuovo algoritmo di ottimizzazione, il framework consente a un modello relativamente piccolo (3 miliardi di parametri) di superare modelli molto più grandi nei compiti di decifrazione. Gli autori sostengono che questo approccio fornisca una soluzione più interpretabile ed efficace per la preservazione del patrimonio culturale, offrendo un metodo per restringere lo spazio di ricerca per i paleografi di fronte a scritture sconosciute. Il lavoro è presentato come il primo a integrare il ragionamento esplicito con molteplici strategie di post-training specificamente per l'analisi delle ossa oracolari.