Specializing Large Models for Oracle Bone Script Interpretation via Component-Grounded Multimodal Knowledge Augmentation

Probleemstelling

Het ontcijferen van het Chinese Oracle Bone Script (OBS), het oudste bekende schriftsysteem in China, is een uiterst uitdagende taak. Van de meer dan 4.500 geïdentificeerde tekens is slechts ongeveer een derde ontcijferd. Bestaande AI-benaderingen behandelen dit probleem vaak als een gesloten-set beeldherkenningsopgave (closed-set image recognition). Deze methoden falen echter omdat ze de structurele en semantische nuances van het schrift negeren. OBS-tekens zijn vaak uniek en zeldzaam, maar zijn opgebouwd uit een beperkte set van terugkerende, pictografische componenten (radicalen) die overdraagbare betekenis dragen. Zonder kennis van deze componenten en hun relaties lopen modellen vast in "visuele hallucinaties" of gebrek aan taalkundige diepgang, wat leidt tot onnauwkeurige interpretaties.

Methodologie

De auteurs stellen een Agent-Driven Vision-Language Model (VLM) framework voor, gebaseerd op Retrieval-Augmented Generation (RAG), dat de interpretatie van OBS herkaderd als een redeneertaak die is verankerd in componenten. Het systeem bestaat uit vier kernmodules:

1. Component Identificatie:

   • Er wordt een Vision Transformer (DINOv2) gebruikt om een feature space te bouwen voor OBS-componenten.
   • Een prototype-based classifier (Prototypical Networks) identificeert de radicale componenten in een invoerbeeld. Dit is effectief in low-data scenario's en generaliseert beter dan traditionele detectoren.

2. Agent-gestuurde Grafkennis Retrieval:

   • Een LLM-agent orchestreert de zoekopdrachten in een kennisgrafiek (Knowledge Graph - KG) die is opgebouwd uit de nieuwe dataset.
   • De agent gebruikt twee tools: één voor het ophalen van componentverklaringen en één voor het vinden van tekens die deze componenten bevatten.
   • Als directe bewijslast ontbreekt, voert de agent intern variantzoekopdrachten en mapping tussen modern Chinees en OBS uit om de context te verrijken.

3. Component Relatie Inference:

   • Een VLM analyseert de visuele embeddings en de opgehaalde semantische informatie om de structurele relatie tussen componenten te bepalen.
   • Het model voorspelt het type inscriptie (ideografisch, pictografisch of fonetisch-semantisch) en genereert een redeneertrace die uitlegt hoe de componenten samen de betekenis vormen.

4. Interpretatie Generatie:

   • Het systeem ondersteunt twee modi:
     • VLM Inference: Directe fusie van visuele features en opgehaalde kennis.
     • Multi-Agent Inference: Een gescheiden aanpak waarbij een "Retrieval Agent" bewijs verzamelt en een "Semantic Reasoning Agent" deze informatie synthetiseert tot een menselijk interpreteerbare uitleg. Dit vermindert foutpropagatie en verbetert de coherentie.

Belangrijkste Bijdragen

• OB-Radix Dataset: De auteurs hebben een nieuw, door experts geannoteerd dataset ontwikkeld. Dit bevat 1.022 afbeeldingen van Oracle-tekens (934 unieke tekens) en 1.853 fijnkorrelige componentafbeeldingen (478 unieke componenten). In tegenstelling tot eerdere datasets, bevat OB-Radix semantische verklaringen op componentniveau en is het ontworpen om structurele decompositie mogelijk te maken.
• Component-Grounded Framework: In plaats van een puur visueel herkenningsprobleem, wordt OBS-interpretatie geformuleerd als een redeneertaak die gebruikmaakt van de onderliggende compositiële logica van het schrift.
• Kennisgrafiek en Agenten: Integratie van een grafiekgebaseerde RAG met multi-agent systemen om domain-specifieke kennis dynamisch te benutten zonder de pre-trained parameters van het model te hoeven updaten.
• Uitgebreide Evaluatie: De introductie van drie progressieve benchmarks: (1) component-level retrieval, (2) inferentie van componentrelaties, en (3) generatie van OBS-interpretaties.

Resultaten

De experimenten tonen aan dat het voorgestelde framework aanzienlijk beter presteert dan bestaande baselines (zoals directe VLM-toepassing zonder RAG):

• Component Retrieval: Het model bereikte een Top-1 nauwkeurigheid van 77,95% en Top-5 van 91,57% bij het identificeren van componenten.
• Relatie Inference: Bij het voorspellen van het inscriptietype en het genereren van redeneringen, overtrof de component-bewuste pipeline alle baselines. Bijvoorbeeld, Qwen3-VL bereikte een classificatienauwkeurigheid van 59,9% (tegenover 35% bij de baseline) en verbeterde aanzienlijk op BERTScore en LLM-as-a-Judge-metrics.
• Interpretatie Generatie: De Agentic RAG-pijplijn leverde consistent betere resultaten op dan baselines. De LLM-as-a-Judge score steeg bijvoorbeeld van 0,076 naar 0,339 voor Qwen, en van 0,102 naar 0,558 voor GPT-5.
• Human Evaluation: Een evaluatie door twee doctoraatsstudenten in archeologie bevestigde de resultaten. Het Multi-Agent systeem behaalde de hoogste gemiddelde score op een 5-punts Likert-schaal (3,43), vergeleken met 2,13 voor de RAG-pijplijn en 1,37 voor de baseline.
• Ablatie Studies: Het uitschakelen van de kennisretrieval leidde tot een significante daling in prestaties, wat aantoont dat de grafiekkennis essentieel is voor semantische correctheid en niet alleen voor oppervlakkige gelijkenis.

Betekenis

Deze studie biedt een doorbraak in de digitale paleografie door de interpretatie van oude teksten te verschuiven van "zwarte doos" beeldherkenning naar een interpreteerbare, kennisgedreven redeneerproces. Door de structuur van het schrift (componenten) te benutten, kan het systeem betekenis afleiden voor onbekende tekens die niet in de trainingsdata staan, zolang de componenten maar herkend kunnen worden. Dit biedt een robuustere en nauwkeurigere methode voor het ontcijferen van OBS dan eerdere benaderingen, en stelt een nieuwe standaard voor het specialiseren van grote modellen in low-resource, gespecialiseerde domeinen. De auteurs benadrukken echter dat het systeem bedoeld is als ondersteuning voor experts en geen vervanging vormt voor menselijke paleografische oordelen.