💻 computer science

OracleAnalyser: Analysing Implicit Semantics of Oracle Bone Scripts through MLLMs with Post-training

L'article présente OracleAnalyser, un cadre post-entraîné de 3 milliards de paramètres utilisant un nouvel algorithme d'optimisation de préférence à foyer stable (SFPO) et de nouveaux ensembles de données pour faire progresser de manière significative l'analyse sémantique implicite des inscriptions sur os oraculaires au-delà des tâches de reconnaissance traditionnelles.

Auteurs originaux : Zijia Song, Yelin Wang, Zhengyi Ma, Zitong Yu, Tianheng Wang, Jiahuan Zhang, Taorui Wang, Kaicheng Yu

Publié 2026-06-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zijia Song, Yelin Wang, Zhengyi Ma, Zitong Yu, Tianheng Wang, Jiahuan Zhang, Taorui Wang, Kaicheng Yu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez une boîte à énigmes géante et antique, faite de carapaces de tortues et d'ossements d'animaux. Ce sont des Écritures sur Os Oraculaires, le plus ancien système d'écriture en Chine, gravé il y a des milliers d'années. Pendant longtemps, des experts ont tenté de comprendre la signification de ces étranges dessins. Jusqu'à présent, ils ont réussi à traduire environ 1 600 des 4 500+ caractères, mais le reste demeure un mystère.

Jusqu'à présent, la plupart des programmes informatiques essayant de résoudre ce puzzle étaient comme des photocopieuses. Vous leur montrez l'image d'une gravure sur un os, et elles essaient de deviner : « Est-ce le caractère 'A' ou 'B' ? ». Elles sont douées pour faire correspondre des motifs qu'elles ont déjà vus, mais elles ne comprennent pas vraiment l'image. Elles se contentent de mémoriser la réponse.

Ce document présente une nouvelle IA appelée OracleAnalyser. Au lieu d'être une simple photocopieuse, OracleAnalyser est comme un détective ou un traducteur qui examine réellement les indices et explique pourquoi il pense qu'un caractère signifie ce qu'il signifie.

Voici comment ils ont construit ce détective, en utilisant des analogies simples :

1. Le Problème : « Deviner aveuglément » vs « Réfléchir »

Les modèles d'IA précédents étaient comme des étudiants qui mémorisent le corrigé sans comprendre les mathématiques. S'ils voyaient un caractère qu'ils n'avaient pas mémorisé, ils se contentaient de deviner.

L'ancienne méthode : Montrez l'image d'un os avec le dessin d'une personne portant quelque chose sur la tête. L'IA devine : « C'est le caractère pour 'Ciel'. » Mais elle ne peut pas expliquer pourlement.
La nouvelle méthode (OracleAnalyser) : L'IA regarde la même image et dit : « Je vois une personne debout. Il y a une forme ronde au-dessus de sa tête, comme si elle portait quelque chose de lourd. Cela ressemble au symbole ancien pour 'Ciel'. » Elle décompose l'image en plusieurs parties avant de donner la réponse.

2. L'Entraînement : Enseigner au Détective

Les chercheurs n'ont pas seulement nourri l'IA avec plus d'images. Ils lui ont appris à réfléchir en trois étapes :

Étape 1 : Le Cours Magistral (Ajustement Fin Supervisé)
Ils ont pris une IA intelligente (Qwen2.5-VL) et lui ont montré des milliers d'exemples où un expert expliquait l'image avant de nommer le caractère. C'est comme un professeur montrant à un élève : « Regardez ces lignes ; elles ressemblent à un toit. Cela signifie 'Maison'. » L'IA a appris à imiter ce raisonnement.
Étape 2 : L'Examen Blanc (Génération de Données)
L'IA a été mise à l'épreuve. Parfois, elle trouvait la bonne réponse, parfois elle se trompait. Les chercheurs ont collecté ces tentatives.
- La bonne réponse : « Cela ressemble à un arbre avec des racines. » (Correct)
- La mauvaise réponse : « Cela ressemble à un bâton. » (Faux)
  Ils ont utilisé ces paires pour apprendre à l'IA la différence entre une bonne explication et une mauvaise.
Étape 3 : Le Coaching Spécial (SFPO)
C'est la plus grande innovation du papier. Les méthodes d'entraînement standard peuvent parfois s'embrouiller si les « mauvaises » réponses sont en fait plutôt proches de la vérité (par exemple, dire qu'un arbre ressemble à un bâton n'est pas totalement faux, mais ce n'est pas assez précis).
Les chercheurs ont créé une nouvelle méthode de coaching appelée Stable Focal Preference Optimization (SFPO).
- L'analogie : Imaginez un entraîneur qui ne se contente pas de crier « Faux ! » à chaque erreur. Au lieu de cela, l'entraîneur se concentre sur les erreurs les plus importantes et ignore celles qui sont trop confuses ou triviales. Il veille également à ce que l'étudiant n'oublie pas tout ce qu'il a appris lors du premier cours (l'étape du « Cours Magistral »). Cela permet de garder l'IA stable et concentrée sur les leçons les plus précieuses.

3. Le Résultat : Un petit cerveau avec de grandes capacités

Habituellement, pour résoudre des problèmes difficiles, il faut un cerveau informatique massif (un modèle d'IA géant). Mais OracleAnalyser est étonnamment petit — il n'a que 3 milliards de paramètres (considérez cela comme un petit cerveau efficace comparé aux cerveaux géants de 70 milliards de paramètres de ses concurrents).

Malgré sa petite taille, il est plus performant que tous les modèles géants.

Sur les caractères connus : Il était bien meilleur pour expliquer la signification et identifier le caractère.
Sur les caractères inconnus : Lorsqu'on lui montrait une gravure sur os qu'il n'avait jamais vue, il pouvait toujours regarder l'image, décrire les formes (comme « ressemble à de la fumée » ou « ressemble à un toit ») et faire une supposition intelligente.

Résumé

Le papier affirme qu'en apprenant à une IA à analyser l'image d'abord (comme un détective) plutôt qu'à simplement reconnaître le motif (comme une photocopieuse), et en utilisant une méthode d'entraînement spéciale et stable pour éviter la confusion, ils ont créé un outil petit mais puissant. Cet outil aide les chercheurs à comprendre l'histoire ancienne de la Chine en explant l'« histoire » derrière les dessins anciens, et non pas seulement en devinant le nom du caractère.

Résumé Technique : OracleAnalyser

1. Énoncé du Problème

Le déchiffrement des écritures sur os oraculaires (OBS), le premier système d'écriture mature de la Chine, demeure un défi majeur en archéologie et en philologie. Bien que plus de 4 500 caractères aient été identifiés, seuls environ 1 600 sont déchiffrés. Les approches actuelles de l'intelligence artificielle dans ce domaine, y compris les modèles d'apprentissage profond et les benchmarks existants, se concentrent principalement sur les tâches de reconnaissance (identifier le caractère). Ces méthodes négligent souvent l'aspect tout aussi crucial du raisonnement analytique — le processus d'interprétation de la structure pictographique et de la signification sémantique de l'écriture. Les benchmarks actuels manquent de métriques pour évaluer la capacité d'un modèle à générer un raisonnement analytique intermédiaire, limitant ainsi l'interprétabilité et l'efficacité de l'IA pour le déchiffrement de caractères inconnus.

2. Méthodologie

Les auteurs proposent OracleAnalyser, un cadre de raisonnement pour l'analyse des os oraculaires basé sur des techniques de post-entraînement appliquées aux Modèles de Langage Multimodaux (MLLM). Le cadre fonctionne à travers trois étapes principales :

A. Construction du Jeu de Données

Jeu de Données de Raisonnement sur les Os Oraculaires : Construit à partir du jeu de données EVOBC, filtré pour inclure 2 807 caractères valides. Les auteurs utilisent Qwen-VL-MAX pour générer des descriptions analytiques basées sur des perspectives pictographiques, conditionnées par le caractère chinois moderne correspondant pour garantir l'exactitude. Ces descriptions sont affinées par Qwen-3 et vérifiées manuellement par des experts, aboutissant à un jeu de données d'environ 5 500 échantillons (5 000 pour l'entraînement, 500 pour les tests en domaine, et 500 pour les tests hors domaine).
Jeu de Données de Préférence sur les Os Oraculaires : Généré en utilisant le modèle supervisé (OracleAnalyser-SFT) pour effectuer plusieurs traces d'inférence sur des images d'os oraculaires. Les échantillons positifs sont des analyses de vérité terrain, tandis que les échantillons négatifs sont sélectionnés parmi les propres erreurs systématiques du modèle (traces de reconnaissance incorrectes). Cela produit plus de 3 400 paires de préférence de haute qualité après filtrage manuel.

B. Pipeline d'Entraînement

Ajustement Supervisé (SFT) : Le modèle de base, Qwen2.5-VL-3B-Instruct, est affiné sur le jeu de données de raisonnement. Cette étape dote le modèle de capacités fondamentales de reconnaissance de motifs visuels et de raisonnement analytique, servant d'initialisation stable pour les étapes suivantes.
Optimisation de Préférence à Focalisation Stable (SFPO) : Pour répondre aux limites de l'optimisation directe de préférence (DPO) standard dans ce domaine (spécifiquement, le risque de surapprentissage des préférences bruitées et la tendance à la sur-interprétation des paires difficiles à classer), les auteurs proposent la SFPO.
- Composante de Focalisation ( $L_F$ ) : Adapte le concept de la perte focale (Focal Loss) pour réduire le poids des paires de préférence « difficiles à classer » où le modèle peine à distinguer le correct de l'incorrect, empêchant le modèle d'apprendre des distinctions fallacieuses.
- Composante de Stabilité ( $L_S$ ) : Introduit un terme de divergence de Kullback-Leibler inverse pour contraindre la divergence entre le modèle de politique ( $\pi_\theta$ ) et le modèle de référence ( $\pi_{ref}$ ), assurant un entraînement stable et empêchant une dérive excessive.
- La fonction de perte finale combine ces composantes : $L_{SFPO} = L_F + \lambda L_S$ .

C. Benchmark d'Évaluation

Les auteurs introduisent un nouveau benchmark comprenant des évaluations en domaine et hors domaine. Contraãment aux benchmarks précédents qui se concentrent uniquement sur la précision de la reconnaissance, ce benchmark évalue :

Qualité Analytique : Mesurée via les scores BLEU-1, BLEU-4, ROUGE-1 et ROUGE-L par rapport à l'analyse de vérité terrain.
Précision de Reconnaissance : Pour les tâches en domaine.
Score Sentence-BERT (SBS) : Pour les tâches hors domaine, mesurant la similitude sémantique entre l'analyse générée par le modèle et la vérité terrain afin d'évaluer la généralisation sur des caractères non vus.

3. Contributions Clés

Jeux de Données et Benchmark : La publication du premier jeu de données de raisonnement sur les os oraculaires, du premier jeu de données de préférence sur les os oraculaires, et d'un nouveau benchmark conçu pour évaluer systématiquement les capacités analytiques plutôt que la simple reconnaissance.
Cadre OracleAnalyser : Un nouveau cadre intégrant le raisonnement explicite avec plusieurs stratégies de post-entraînement (Selle et SFPO) spécifiquement adaptées à l'analyse des os oraculaires.
Algorithme SFPO : Un nouvel algorithme d'optimisation de préférence qui stabilise l'entraînement et se concentre sur les échantillons de valeur en atténuant les effets négatifs des paires de préférence bruitées et ambiguës.
Performance : Démonstration qu'un modèle de 3 milliards de paramètres peut atteindre une performance analytique supérieure à celle de modèles nettement plus grands (jusqu'à 241 milliards de paramètres) et de modèles de reconnaissance spécialisés.

4. Résultats Expérimentaux

Des expériences approfondies ont été menées sur les ensembles de test en domaine et hors domaine :

Performance en Domaine : OracleAnalyser a atteint une précision de reconnaissance de 39,6 % et a nettement surpassé tous les modèles concurrents (y compris InternVL-3.5-241B et les modèles spécialisés comme OBSD) sur les métriques analytiques (BLEU et ROUGE). Par exemple, il a obtenu un score BLEU-4 de 72,77 contre environ 4,32 pour le meilleur MLLM généraliste.
Généralisation Hors Domaine : Sur des caractères non vus, OracleAnalyser a obtenu le score Sentence-BERT le plus élevé (70,35), indiquant que ses analyses générées sont sémantiquement plus proches de la vérité terrain que celles des modèles plus grands.
Études d'Ablation :
- Filtrage des Données : Le retrait des paires de préférence ambiguës a amélioré les performances, confirmant que la qualité des données est plus critique que la quantité.
- Stratégie d'Entraînement : La combinaison de SFT, de la Perte de Focalisation ( $L_F$ ) et de la Perte de Stabilité ( $L_S$ ) (soit la SFPO) a donné les meilleurs résultats. La DPO standard offrait une amélioration limitée, et l'omission du terme de stabilité ( $L_S$ ) a conduit à un effondrement de l'entraînement lors des phases ultérieures.
Analyse Visuelle : Les résultats qualitatifs montrent que le modèle peut décomposer précisément les glyphes et associer les composants à des entités du monde réel, démontrant des capacités d'analyse pictographique apprises.

5. Signification

L'article affirme qu'OracleAnalyser représente un passage de la reconnaissance pure au raisonnement analytique dans le domaine de la recherche sur les os oraculaires. En exploitant les techniques de post-entraînement et un nouvel algorithme d'optimisation, le cadre permet à un modèle relativement petit (3 milliards de paramètres) de surpasser des modèles beaucoup plus vastes dans les tâches de déchiffrement. Les auteurs soutiennent que cette approche offre une solution plus interprétable et efficace pour la préservation du patrimoine culturel, offrant une méthode pour réduire l'espace de recherche des paléographes face à des écritures inconnues. Ce travail est présenté comme le premier à intégrer le raisonnement explicite avec plusieurs stratégies de post-entraînement spécifiquement pour l'analyse des os oraculaires.