💻 computer science

OracleAnalyser: Analysing Implicit Semantics of Oracle Bone Scripts through MLLMs with Post-training

Das Paper stellt OracleAnalyser vor, ein post-trainiertes Framework mit 3 Milliarden Parametern, das einen neuartigen Stable Focal Preference Optimization (SFPO)-Algorithmus sowie neue Datensätze nutzt, um die implizite semantische Analyse von Orakelknochen-Schriften über traditionelle Erkennungsaufgaben hinaus signifikant voranzutreiben.

Ursprüngliche Autoren: Zijia Song, Yelin Wang, Zhengyi Ma, Zitong Yu, Tianheng Wang, Jiahuan Zhang, Taorui Wang, Kaicheng Yu

Veröffentlicht 2026-06-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zijia Song, Yelin Wang, Zhengyi Ma, Zitong Yu, Tianheng Wang, Jiahuan Zhang, Taorui Wang, Kaicheng Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, antike Rätselbox aus Schildkrötenpanzern und Tierknochen. Dies sind Orakelknochen-Schriften, das älteste Schriftsystem Chinas, die vor tausenden von Jahren in Knochen geritzt wurden. Lange Zeit haben Experten versucht, diese seltsamen Bilder zu entschlüsseln. Bisher ist es ihnen gelungen, etwa 1.600 der über 4.500 Zeichen zu übersetzen, aber der Rest bleibt ein Mysterium.

Bis jetzt waren die meisten Computerprogramme, die versuchten, dieses Rätsel zu lösen, wie Fotokopierer. Man zeigt ihnen das Bild einer Knochengravur, und sie versuchen zu raten: „Ist dies das Zeichen ‚A‘ oder ‚B‘?“ Sie sind gut darin, Muster zu erkennen, die sie schon einmal gesehen haben, aber sie verstehen das Bild nicht wirklich. Sie memorieren einfach nur die Antwort.

Dieses Paper stellt eine neue KI namens OracleAnalyser vor. Anstatt nur ein Fotokopierer zu sein, ist der OracleAnalyser wie ein Detektiv oder ein Übersetzer, der tatsächlich die Hinweise betrachtet und erklärt, warum er glaubt, dass ein Zeichen eine bestimmte Bedeutung hat.

So haben sie diesen Detektiven gebaut, unter Verwendung einfacher Analogien:

1. Das Problem: „Blindes Raten“ vs. „Denken“

Frühere KI-Modelle waren wie Schüler, die den Lösungsschlüssel auswendig lernten, aber die Mathematik dahinter nicht verstanden. Wenn sie ein Zeichen sahen, das sie nicht auswendig gelernt hatten, raten sie einfach.

Der alte Weg: Man zeigt ein Bild eines Knochens mit der Zeichnung einer Person, die etwas auf dem Kopf trägt. Die KI rät: „Dies ist das Zeichen für ‚Himmel‘.“ Aber sie kann nicht erklären, warum.
Der neue Weg (OracleAnalyser): Die KI betrachtet dasselbe Bild und sagt: „Ich sehe eine stehende Person. Über ihrem Kopf befindet sich eine runde Form, als würde sie etwas Schweres tragen. Dies sieht aus wie das antike Symbol für ‚Himmel‘.“ Sie zerlegt das Bild in Einzelteile, bevor sie die Antwort gibt.

2. Das Training: Den Detektiven lehren

Die Forscher haben der KI nicht einfach nur mehr Bilder gefütet. Sie haben ihr beigebracht, in drei Schritten zu denken:

Schritt 1: Die Vorlesung (Supervised Fine-Tuning)
Sie nahmen eine intelligente KI (Qwen2.5-VL) und zeigten ihr tausende Beispiele, bei denen ein Experte das Bild erklärte, bevor er das Zeichen benannte. Es ist wie ein Lehrer, der einem Schüler zeigt: „Schau dir diese Linien an; sie sehen aus wie ein Dach. Das bedeutet ‚Haus‘.“ Die KI lernte, dieses logische Denken nachzuahmen.
Schritt 2: Die Probeprüfung (Generierung von Daten)
Die KI wurde gebeten, einen Test zu machen. Manchmal hatte sie die richtige Antwort, manchmal die falsere. Die Forscher sammelten diese Versuche.
- Die gute Antwort: „Dies sieht aus wie ein Baum mit Wurzeln.“ (Richtig)
- Die schlechte Antwort: „Dies sieht aus wie ein Stock.“ (Falsch)
  Sie nutzten diese Paare, um der KI den Unterschied zwischen einer guten Erklärung und einer schlechten zu lehren.
Schritt 3: Das spezielle Coaching (SFPO)
Dies ist die größte Innovation des Papers. Standardmäßige Trainingsmethoden können manchmal verwirrt sein, wenn die „schlechten“ Antworten eigentlich fast richtig sind (z. B. zu sagen, ein Baum sehe wie ein Stock aus, ist nicht völlig falsch, aber es ist nicht spezifisch genug).
Die Forscher entwickelten eine neue Coaching-Methode namens Stable Focal Preference Optimization (SFPO).
- Die Analogie: Stellen Sie sich einen Trainer vor, der nicht einfach bei jedem Fehler „Falsch!“ schreit. Stattdessen konzentriert sich der Trainer auf die wichtigsten Fehler und ignoriert die, die zu verwirrend oder trivial sind. Er stellt auch sicher, dass der Schüler nicht alles vergisst, was er in der ersten Vorlesung („Lecture“-Schritt) gelernt hat. Dies hält die KI stabil und fokussiert auf die wertvollsten Lektionen.

3. Das Ergebnis: Ein kleines Gehirn mit großer Intelligenz

Normalerweise benötigt man ein massives Computergehirn (ein riesiges KI-Modell), um schwierige Probleme zu lösen. Aber der OracleAnalyser ist überraschend klein – er hat nur 3 Milliarden Parameter (denken Sie an ein kleines, effizientes Gehirn im Vergleich zu den riesigen 70-Milliarden-Parameter-Gehirnen seiner Konkurrenten).

Trotz seiner geringeren Größe schnitt er besser ab als alle riesigen Modelle.

Bei bekannten Zeichen: Er war viel besser darin, die Bedeutung zu erklären und das Zeichen zu identifizieren.
Bei unbekannten Zeichen: Wenn ihm eine Knochengravur gezeigt wurde, die er noch nie gesehen hatte, konnte er immer noch das Bild betrachten, die Formen beschreiben (wie „sieht aus wie Rauch“ oder „sieht aus wie ein Dach“) und eine kluge Vermutung anstellen.

Zusammenfassung

Das Paper behauptet, dass durch die Lehre einer KI, ein Bild zuerst zu analysieren (wie ein Detektiv) anstatt nur das Muster zu erkennen (wie ein Fotokopierer), und durch die Anwendung einer speziellen, stabilen Trainingsmethode zur Vermeidung von Verwirrung, ein kleines, aber leistungsstarkes Werkzeug geschaffen wurde. Dieses Werkzeug hilft Forschern, die chinesische Geschichte zu verstehen, indem es die „Geschichte“ hinter den antiken Zeichnungen erklärt, anstatt nur den Namen des Zeichens zu erraten.

Technisches Resümee: OracleAnalyser

1. Problemstellung

Die Entzifferung der Orakelknochenschriften (OBS), Chinas frühestes ausgereiftes Schriftsystem, stellt nach wie vor eine erhebliche Herausforderung in der Archäologie und Philologie dar. Während über 4.500 Zeichen identifiziert wurden, sind erst etwa 1.600 entziffert. Bestehende KI-Ansätze in diesem Bereich, einschließlich Deep-Learning-Modelle und aktuelle Benchmarks, konzentrieren sich überwiegend auf Erkennungsaufgaben (die Identifizierung des Zeichens). Diese Methoden vernachlässigen oft den ebenso entscheidenden Aspekt des analytischen Denkens – den Prozess der Interpretation der piktografischen Struktur und der semantischen Bedeutung der Schrift. Aktuelle Benchmarks fehlen Metriken zur Bewertung der Fähigkeit eines Modells, zwischengeschaltete analytische Schlussfolgerungen zu generieren, was die Interpretierbarkeit und Effektivität von KI bei der Entzifferung unbekannter Zeichen einschränkt.

2. Methodik

Die Autoren schlagen OracleAnalyser vor, ein Framework zur Analyse von Orakelknochen, das auf Post-Training-Techniken angewendet wird, die auf Multimodalen Large Language Models (MLLMs) basieren. Das Framework operiert durch drei primäre Phasen:

A. Datensatzkonstruktion

Orakelknochen-Reasoning-Datensatz: Konstruiert aus dem EVOBC-Datensatz, gefiltert auf 2.807 gültige Zeichen. Die Autoren nutzen Qwen-VL-MAX, um analytische Beschreibungen aus piktografischer Perspektive zu generieren, die auf dem entsprechenden modernen chinesischen Zeichen basieren, um die Genauigkeit zu gewährleisten. Diese Beschreibungen werden durch Qwen-3 verfeinert und manuell durch Experten verifiziert, was zu einem Datensatz von etwa 5.500 Proben führt (5.000 für das Training, 500 für das In-Domain-Testing und 500 für das Out-of-Domain-Testing).
Orakelknochen-Preference-Datensatz: Generiert durch die Verwendung des Supervised Fine-Tuned Modells (OracleAnalyser-SFT), um multiple Inferenzspuren auf Bildern von Orakelknochen durchzuführen. Positive Proben sind Ground-Truth-Analysen, während negative Proben aus den systematischen Fehlern des Modells selbst (inkorrekte Erkennungsspuren) ausgewählt wurden. Dies ergibt über 3.400 hochwertige Präferenzpaare nach manueller Filterung.

B. Trainingspipeline

Supervised Fine-Tuning (SFT): Das Basismodell, Qwen2.5-VL-3B-Instruct, wird auf dem Reasoning-Datensatz feinabgestimmt. Diese Phase stattet das Modell mit grundlegender visueller Mustererkennung und analytischer Denkfähigkeit aus und dient als stabile Initialisierung für nachfolgende Schritte.
Stable Focal Preference Optimization (SFPO): Um die Einschränkungen der Standard-Direct-Preference-Optimization (DPO) in diesem Bereich zu adressieren (speziell das Risiko des Overfittings auf verrauschte Präferenzen und die Tendenz zur Überinterpretation schwer zu bewertender Paare), schlagen die Autoren SFPO vor.
- Fokale Komponente ( $L_F$ ): Adaptiert das Konzept des Focal Loss, um „schwer zu bewertende“ Präferenzpaare abzuwerten, bei denen das Modell Schwierigkeiten hat, zwischen korrekter und inkorrekter Argumentation zu unterscheiden, um zu verhindern, dass das Modell falsche Unterscheidungen lernt.
- Stabilitätskomponente ( $L_S$ ): Führt einen reversen Kullback-Leibler-Divergenz-Term ein, um die Divergenz zwischen dem Policy-Modell ( $\pi_\theta$ ) und dem Referenzmodell ( $\pi_{ref}$ ) zu begrenzen, was ein stabiles Training gewährleistet und übermäßiges Driften verhindert.
- Die finale Verlustfunktion kombiniert diese Komponenten: $L_{SFPO} = L_F + \lambda L_S$ .

C. Evaluation Benchmark

Die Autoren führen einen neuen Benchmark ein, der aus In-Domain- und Out-of-Domain-Evaluierungen besteht. Im Gegensatz zu bisherigen Benchmarks, die sich rein auf die Erkennungsgenauigkeit konzentrieren, bewertet dieser Benchmark:

Analytische Qualität: Gemessen via BLEU-1, BLEU-4, ROUGE-1 und ROUGE-L Scores gegenüber der Ground-Truth-Analyse.
Erkennungsgenauigkeit: Für In-Domain-Aufgaben.
Sentence-BERT Score (SBS): Für Out-of-Domain-Aufgaben, um die semantische Ähnlichkeit zwischen der generierten Analyse des Modells und der Ground Truth zu messen, um die Generalisierung auf unbekannte Zeichen zu bewerten.

3. Kernbeiträge

Datensätze und Benchmark: Veröffentlichung des ersten Orakelknochen-Reasoning-Datensatzes, des ersten Orakelknochen-Preference-Datensatzes und eines neuen Benchmarks, der darauf ausgelegt ist, analytische Fähigkeiten systematisch statt nur die Erkennung zu bewerten.
OracleAnalyser Framework: Ein neuartiges Framework, das explizites Reasoning mit multiplen Post-Training-Strategien (SFT und SFPO) integriert, die speziell auf die Analyse von Orakelknochen zugeschnitten sind.
SFPO Algorithmus: Ein neuer Algorithmus zur Präferenzoptimierung, der das Training stabilisiert und sich auf wertvolle Stichproben konzentriert, indem er die negativen Auswirkungen von verrauschten und mehrdeutigen Präferenzpaaren abmildert.
Performance: Demonstration, dass ein 3B-Parameter-Modell eine überlegene analytische Leistung im Vergleich zu signifikant größeren Modellen (bis zu 241B Parametern) und spezialisierten Erkennungsmodellen erzielen kann.

4. Experimentelle Ergebnisse

Umfangreiche Experimente wurden sowohl auf In-Domain- als auch auf Out-of-Domain-Testsets durchgeführt:

In-Domain Performance: OracleAnalyser erreichte eine Erkennungsgenauigkeit von 39,6 % und übertraf alle konkurrierenden Modelle (einschließlich InternVL-3.5-241B und spezialisierter Modelle wie OBSD) auf analytischen Metriken (BLEU und ROUGE) signifikant. Beispielsweise erreichte es einen BLEU-4-Score von 72,77 im Vergleich zum nächstbesten allgemeinen MLLM-Score von ~4,32.
Out-of-Domain Generalisierung: Bei unbekannten Zeichen erreichte OracleAnalyser den höchsten Sentence-BERT Score (70,35), was zeigt, dass seine generierten Analysen semantisch näher an der Ground Truth liegen als die größerer Modelle.
Ablationsstudien:
- Datenfilterung: Das Entfernen ambivalenter Präferenzpaare verbesserte die Leistung, was bestätigt, dass Datenqualität kritischer ist als Quantität.
- Trainingsstrategie: Die Kombination aus SFT, Focal Loss ( $L_F$ ) und Stability Loss ( $L_S$ ) (d. h. SFPO) lieferte die besten Ergebnisse. Standard-DPO bot nur begrenzte Verbesserungen, und das Weglassen des Stabilitäts-Terms ( $L_S$ ) führte in späteren Phasen zum Trainingskollaps.
Visuelle Analyse: Qualitative Ergebnisse zeigen, dass das Modell Glyphen korrekt zerlegen und Komponenten mit realen Entitäten assoziieren kann, was die erlernte piktografische Analysefähigkeit demonstriert.

5. Bedeutung

Das Paper behauptet, dass OracleAnalyser einen Paradigmenwechsel von reiner Erkennung hin zu analytischem Reasoning im Bereich der Orakelknochenforschung darstellt. Durch die Nutzung von Post-Training-Techniken und einem neuartigen Optimierungsalgorithmus ermöglicht das Framework ein relativ kleines Modell (3B Parameter), wesentlich größere Modelle bei Entzifferungsaufgaben zu übertreffen. Die Autoren argumenten, dass dieser Ansatz eine interpretierbarere und effektivere Lösung für die Bewahrung des kulturellen Erbes bietet und eine Methode bereitstellt, um den Suchraum für Paläografen beim Umgang mit unbekannten Schriften einzugrenzen. Die Arbeit wird als die erste präsentiert, die explizites Reasoning mit multiplen Post-Training-Strategien spezifisch für die Orakelknochenanalyse integriert.