Technische Samenvatting: OracleAnalyser

1. Probleemstelling

De ontcijfering van de orakelbotenschriften (OBS), het vroegste volwassen schrift van China, blijft een aanzienlijke uitdaging in de archeologie en filologie. Hoewel meer dan 4.500 karakters zijn geïdentificeerd, zijn er slechts ongeveer 1.600 ontcijferd. Bestaande kunstmatige intelligentie-benaderingen in dit domein, inclusief deep learning-modellen en huidige benchmarks, zijn voornamelijk gericht op herkenningsopdrachten (het identificeren van het karakter). Deze methoden laten vaak het even cruciale aspect van analytisch redeneren over het hoofd — het proces van het interpreteren van de pictografische structuur en de semantische betekenis van het schrift. Huidige benchmarks missen metrieken om het vermogen van een model te evalueren om tussenliggende analytische redeneringen te genereren, wat de interpreteerbaarheid en effectiviteit van AI bij het ontcijferen van onbekende karakters beperkt.

2. Methodologie

De auteurs stellen OracleAnalyser voor, een redeneerkader voor de analyse van orakelboten gebaseerd op post-training technieken toegepast op Multimodale Grote Taalmodellen (MLLM's). Het kader werkt via drie primaire stadia:

A. Dataset Constructie

• Orakelboten Redeneerdataset: Geconstrueerd vanuit de EVOBC-dataset, gefilterd om 2.807 geldige karakters te bevatten. De auteurs maken gebruik van Qwen-VL-MAX om analytische beschrijvingen te genereren op basis van pictografische perspectieven, geconditioneerd op het overeenkomstige moderne Chinese karakter om nauwkeurigheid te garanderen. Deze beschrijvingen worden verfijnd door Qwen-3 en handmatig geverifieerd door experts, wat resulteert in een dataset van ongeveer 5.500 samples (5.000 voor training, 500 voor in-domain testen en 500 voor out-of-domain testen).
• Orakelboten Voorkeurdataset: Gegenereerd door de supervised fine-tuned model (OracleAnalyser-SFT) meerdere inferentie-traces uit te voeren op afbeeldingen van orakelboten. Positieve samples zijn de grondwaarheid-analyses, terwijl negatieve samples zijn geselecteerd uit de systematische fouten van het model zelf (onjuiste herkennings-traces). Dit levert meer dan 3.400 hoogwaardige voorkeursparen op na handmatige filtering.

B. Trainingspipeline

1. Supervised Fine-Tuning (SFT): Het basismodel, Qwen2.5-VL-3B-Instruct, wordt gefinetuned op de redeneerdataset. Deze fase rust het model uit met fundamentele visuele patroonherkenning en analytische redeneervaardigheden, wat dient als een stabiele initialisatie voor de daaropvolgende stappen.
2. Stable Focal Preference Optimization (SFPO): Om de beperkingen van standaard Direct Preference Optimization (DPO) in dit domein aan te pakken (specifiek het risico op overfitting op ruisachtige voorkeuren en de neiging tot over-interpretatie van moeilijk te rangschikken paren), stellen de auteurs SFPO voor.
   • Focal Component ($L_F$): Past het concept van Focal Loss aan om "moeilijk te rangschikken" voorkeursparen te devalueren waarbij het model moeite heeft om onderscheid te maken tussen correcte en incorrecte redeneringen, om te voorkomen dat het model spookachtige onderscheiden leert.
   • Stability Component ($L_S$): Introduceert een reverse Kullback-Leibler (KL) divergentieterm om de divergentie tussen het beleidsmodel ($\pi_\theta$) en het referentiemodel ($\pi_{ref}$) te beperken, wat zorgt voor stabiele training en excessieve drift voorkomt.
   • De uiteindelijke verliesfunctie combineert deze componenten: $L_{SFPO} = L_F + \lambda L_S$.

C. Evaluatie Benchmark

De auteurs introduceren een nieuwe benchmark bestaande uit in-domain en out-of-domain evaluaties. In tegenstelling tot eerdere benchmarks die uitsluitend focussen op herkenningsnauwkeurigheid, evalueert deze benchmark:

• Analytische Kwaliteit: Gemeten via BLEU-1, BLEU-4, ROUGE-1 en ROUGE-L scores ten opzichte van de grondwaarheid-analyse.
• Herkenningsnauwkeurigheid: Voor in-domain taken.
• Sentence-BERT Score (SBS): Voor out-of-domain taken, waarbij de semantische gelijkenis tussen de gegenereerde analyse van het model en de grondwaarheid wordt gemeten om de generalisatie op onbekende karakters te evalueren.

3. Belangrijkste Bijdragen

• Datasets en Benchmark: De release van de eerste orakelboten redeneerdataset, de eerste orakelboten voorkeurdataset, en een nieuwe benchmark ontworpen om analytische capaciteiten systematisch te evalueren in plaats van enkel herkenning.
• OracleAnalyser Framework: Een nieuw kader dat expliciet redeneren integreert met meerdere post-training strategieën (SFT en SFPO), specifiek afgestemd op orakelboten-analyse.
• SFPO Algoritme: Een nieuw voorkeursoptimalisatie-algoritme dat de training stabiliseert en zich richt op waardevolle samples door de negatieve effecten van ruisachtige en ambigue voorkeursparen te verzachten.
• Prestaties: Demonstratie dat een model met 3 miljard parameters een superieure analytische prestatie kan leveren vergeleken met aanzienlijk grotere modellen (tot 241 miljard parameters) en gespecialiseerde herkenningsmodellen.

4. Experimentele Resultaten

Uitgebreide experimenten werden uitgevoerd op zowel in-domain als out-of-domain testsets:

• In-Domain Prestaties: OracleAnalyser behaalde een herkenningsnauwkeurigheid van 39,6% en presteerde aanzienlijk beter dan alle concurrerende modellen (inclusief InternVL-3.5-241B en gespecialiseerde modellen zoals OBSD) op analytische metrieken (BLEU en ROUGE). Zo behaalde het een BLEU-4 score van 72,77 vergeleken met de score van ~4,32 van het op één na beste algemene MLLM.
• Out-of-Domain Generalisatie: Op onbekende karakters behaalde OracleAnalyser de hoogste Sentence-BERT Score (70,35), wat aangeeft dat de gegenereerde analyses semantisch dichter bij de grondwaarheid liggen dan die van grotere modellen.
• Ablatie-studies:
  • Data Filtering: Het verwijderen van ambigue voorkeursparen verbeterde de prestaties, wat bevestigt dat datakwaliteit belangrijker is dan kwantiteit.
  • Trainingsstrategie: De combinatie van SFT, Focal Loss ($L_F$) en Stability Loss ($L_S$) (d.w.z. SFPO) leverde de beste resultaten op. Standaard DPO bood beperkte verbetering, en het weglaten van de stabiliteitsterm ($L_S$) leidde tot trainingsinstabiliteit in latere stadia.
• Visuele Analyse: Kwalitatieve resultaten tonen aan dat het model glyphs accuraat kan deconstrueren en componenten kan associëren met real-world entiteiten, wat de geleerde pictografische analysecapaciteiten demonstreert.

5. Betekenis

Het artikel beweert dat OracleAnalyser een verschuiving vertegenwoordigt van pure herkenning naar analytisch redeneren in het veld van orakelboten-onderzoek. Door gebruik te maken van post-training technieken en een nieuw optimalisatie-algoritme, stelt het kader een relatief klein model (3 miljard parameters) in staat om veel grotere modellen te overtreffen in ontcijferingstaken. De auteurs stellen dat deze aanpak een interpreteerbaarder en effectieverere oplossing biedt voor het behoud van cultureel erfgoed, en een methode biedt om de zoekruimte voor paleografen te verkleinen wanneer zij geconfronteerd worden met onbekende schriften. Het werk wordt gepresenteerd als de eerste die expliciet redeneren integreert met meerdere post-training strategieën specifiek voor orakelboten-analyse.