Beyond Single Character: Evaluating MLLMs for Sentence-Level Oracle Bone Inscription Understanding
Ce document introduit S-OBI, un nouveau benchmark qui synthétise des instances d'inscriptions sur os oraculaires claires et standardisées au niveau de la phrase pour évaluer les modèles de langage multimodaux de grande taille, révélant que les modèles actuels peinent à comprendre les inscriptions structurées en raison d'une forte dépendance à la reconnaissance au niveau du caractère et de la propagation des erreurs de perception visuelle.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez d'apprendre à un robot à lire l'histoire de la Chine ancienne. Pendant longtemps, des chercheurs ont appris à ces robots à reconnaître des symboles anciens individuels, un peu comme on apprendrait à un enfant à reconnaître la lettre « A » ou le chiffre « 1 » de manière isolée. Ils peuvent pointer un symbole sculpté unique sur une carapace de tortue et dire : « Ça, c'est un "cheval" ».
Mais l'histoire réelle n'est pas seulement un tas de lettres aléatoires ; elle est pleine de phrases avec des histoires, des dates et des significations spécifiques. Cet article, intitulé « Beyond Single Character » (Au-delà du caractère unique), soutient que le fait qu'un robot puisse reconnaître les lettres ne signifie pas qu'il peut lire l'histoire.
Voici une décomposition simple de ce que les chercheurs ont fait et de ce qu'ils ont trouvé :
Le Problème : Le « Lego » contre le « Château »
Considérez les inscriptions sur les os oraculaires (l'écriture ancienne) comme un château fait de briques Lego.
- Les études précédentes testaient uniquement si le robot pouvait identifier une seule brique rouge ou une seule brique bleue.
- Cet article pose la question : « Le robot peut-il regarder le château entier et vous dire qui l'a construit, pourquoi il l'a construit et quelle est l'histoire ? »
Les chercheurs ont découvert que les modèles d'IA actuels (appelés Modèles de Langage de Grande Taille Multimodaux, ou MLLM) sont excellents pour repérer les briques individuelles, mais très mauvais pour comprendre le château. Ils peuvent savoir à quoi ressemble le symbole d'un « cheval », mais ils ne peuvent pas déterminer si la phrase parle d'un roi qui chasse un cheval ou d'un cheval qui s'enfuit.
La Solution : Construire un test « propre » (S-OBI)
Les archives anciennes sont vieilles, fissurées et sales (comme une photographie boueuse et déchirée). Pour tester l'IA de manière équitable, les chercheurs ont créé un nouveau référentiel appelé S-OBI.
Au lieu d'utiliser les photos originales et désordonnées, ils ont agi comme des restaurateurs numériques :
- Ils ont pris 95 phrases anciennes que des experts avaient déjà traduites et comprises.
- Ils ont pris les parties sales et floues des sculptures anciennes et les ont remplacées par des versions numériques cristallines et parfaites de ces mêmes symboles.
- Ils ont conservé la structure de la phrase exactement identique, mais ont rendu l'entrée visuelle « propre ».
C'est comme prendre une lettre boueuse et déchirée du XIXe siècle, la scanner, puis la retaper sur une feuille de papier propre avec une police de caractères parfaite, afin que l'IA ne soit pas distraite par la saleté et puisse se concentrer purement sur la signification de la phrase.
Le Test : Trois niveaux de difficulté
Ils ont conçu trois types de puzzles pour voir à quel point l'IA est réellement intelligente :
- Le test de l'« Essentiel » (Correspondance Sémantique) : « Voici une phrase ancienne. Laquelle de ces quatre résumés modernes la décrit le mieux ? »
- Résultat : L'IA était correcte sur ce point. Elle pouvait deviner l'ambiance générale.
- Le test de la « Structure » (Extraction de créneaux) : « Voici une phrase. Veuillez remplir un formulaire avec la Date, la Personne, l'Action et l'Objet. »
- Résultat : L'IA a eu du mal. Elle ne parvenait pas à organiser l'information correctement.
- Le test du « Détective » (Raisonnement contextuel) : « Voici une phrase où nous avons effacé un mot. En vous basant sur les autres mots, quel était le mot manquant ? » OU « Voici une phrase où nous avons mélangé les mots. Remettez-les dans le bon ordre. »
- Résultat : L'IA a échoué lamentablement. Elle ne pouvait pas utiliser les indices environnants pour deviner la pièce manquante.
La Grande Découverte
La découverte la plus surprenante est que l'IA est toujours bloquée au niveau du « caractère unique ».
Les chercheurs ont constaté que si l'IA commet une minuscule erreur de reconnaissance d'un petit symbole, cette erreur se répercute sur toute la phrase, poussant l'IA à deviner la mauvaise signification pour toute l'histoire. C'est comme si vous lisiez mal un mot dans une phrase, vous pourriez mal comprendre tout le paragraphe.
Même les modèles d'IA les plus intelligents testés (comme GPT-4o et Qwen) ont obtenu des scores très bas globalement (environ 33 % de réussite). Ils pouvaient parfois deviner l'ordre correct des mots (comme savoir qu'une phrase commence par une date), mais ils ne comprenaient pas réellement l' histoire que racontait la phrase.
La Conclusion
L'article conclut que, bien que l'IA s'améliore dans la reconnaissance des symboles anciens, elle n'a pas encore appris à les « lire » comme un langage cohérent. C'est comme avoir un dictionnaire mais ne pas savoir écrire un poème. Pour véritablement comprendre ces archives anciennes, l'IA doit dépasser la simple identification des briques individuelles et apprendre à construire (et à comprendre) le château entier.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.