Beyond Single Character: Evaluating MLLMs for Sentence-Level Oracle Bone Inscription Understanding
Dieses Paper stellt S-OBI vor, einen neuartigen Benchmark, der klare, standardisierte Satzebenen-Instanzen von Orakelknocheninschriften synthetisiert, um Multimodale Große Sprachmodelle zu evaluieren, wobei aufgezeigt wird, dass aktuelle Modelle aufgrund einer starken Abhängigkeit von der Zeichenebenen-Erkennung und der Fortpflanzung visueller Wahrnehmungsfehler Schwierigkeiten mit dem strukturierten Verständnis von Inschriften haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, die antike chinesische Geschichte zu lesen. Lange Zeit haben Forscher versucht, diesen Robotern beizubringen, einzelne antike Symbole zu erkennen – so als würde man einem Kind beibringen, den Buchstaben „A“ oder die Zahl „1“ isoliert zu erkennen. Sie können auf ein einzelnes, in eine Schildkrötenpanzer geritztes Symbol zeigen und sagen: „Das ist ein ‚Pferd‘“.
Aber echte Geschichte besteht nicht nur aus einem Haufen zufälliger Buchstaben; sie ist voller Sätze mit Geschichten, Daten und spezifischen Bedeutungen. Dieses Paper mit dem Titel „Beyond Single Character“ argumentiert, dass es nicht ausreicht, wenn ein Roboter zwar die Buchstaben erkennt, aber nicht die Geschichte dahinter versteht.
Hier ist eine einfache Aufschlüsselung dessen, was die Forscher gemacht und herausgefunden haben:
Das Problem: Das „Lego“ vs. das „Schloss“
Stellen Sie sich die Orakelknochen-Inschriften (die antike Schrift) wie ein Schloss aus Lego-Steinen vor.
- Bisherige Studien haben nur getestet, ob der Roboter einen einzelnen roten Stein oder einen einzelnen blauen Stein identifizieren kann.
- Dieses Paper fragt: „Kann der Roboter das ganze Schloss betrachten und Ihnen sagen, wer es gebaut hat, warum es gebaut wurde und was die Geschichte dahinter ist?“
Die Forscher fanden heraus, dass aktuelle KI-Modelle (genannt Multimodale Large Language Models, oder MLLMs) großartig darin sind, die einzelnen Steine zu entdecken, aber schrecklich darin, das ganze Schloss zu verstehen. Sie mögen zwar wissen, wie ein „Pferd“-Symbol aussieht, aber sie können nicht herausfinden, ob der Satz davon handelt, dass ein König ein Pferd jagt oder dass ein Pferd wegläuft.
Die Lösung: Einen „sauberen“ Test bauen (S-OBI)
Die antiken Aufzeichnungen sind alt, rissig und schmutzig (wie ein schlammiges, zerrissenes Foto). Um die KI fair zu testen, haben die Forscher einen neuen Benchmark namens S-OBI entwickelt.
Anstatt die unordentlichen Originalfotos zu verwenden, agierten sie wie digitale Restauratoren:
- Sie nahmen 95 antike Sätze, die bereits von Experten übersetzt und verstanden worden waren.
- Sie nahmen die schmutzigen, verschwommenen Teile der antiken Gravuren und ersetzten sie durch glasklare, perfekte digitale Versionen derselben Symbole.
- Sie behielten die Satzstruktur exakt bei, machten aber den visuellen Input „sauber“.
Dies ist so, als würde man einen schlammigen, zerrissenen Brief aus dem 19. Jahrhundert scannen und ihn dann auf einem sauberen Blatt Papier mit perfekter Schriftart neu tippen, damit die KI nicht durch den Schmutz abgelenkt wird, sondern sich rein auf das Verständnis der Bedeutung des Satzes konzentrieren kann.
Der Test: Drei Schwierigkeitsstufen
Sie entwarfen drei Arten von Rätseln, um zu sehen, wie klug die KI wirklich ist:
- Der „Gist“-Test (Semantische Übereinstimmung): „Hier ist ein antiker Satz. Welche dieser vier modernen Zusammenfassungen beschreibt ihn am besten?“
- Ergebnis: Die KI war ganz okay darin. Sie konnte die allgemeine Stimmung erraten.
- Der „Struktur“-Test (Slot-Extraktion): „Hier ist ein Satz. Bitte füllen Sie ein Formular mit Datum, Person, Handlung und Objekt aus.“
- Ergebnis: Die KI hatte Schwierigkeiten. Sie konnte die Informationen nicht korrekt organisieren.
- Der „Detektiv“-Test (Kontextuelles Denken): „Hier ist ein Satz, in dem wir ein Wort gelöscht haben. Welches Wort fehlte basierend auf den anderen Wörtern?“ ODER „Hier ist ein Satz, bei dem wir die Wörter vertauscht haben. Bringen Sie sie in die richtige Reihenfolge zurück.“
- Ergebnis: Die KI versagte kläglich. Sie konnte die umgebenden Hinweise nicht nutzen, um das fehlende Teil zu bestimmen.
Die große Entdeckung
Die überraschendste Erkenntnis ist, dass die KI immer noch auf der Ebene des „einzelnen Zeichens“ feststeckt.
Die Forscher fanden heraus, dass, wenn die KI einen winzigen Fehler bei der Erkennung eines kleinen Symbols macht, dieser Fehler durch den gesamten Satz kaskadiert und dazu führt, dass die KI die Bedeutung der gesamten Geschichte falsch errät. Es ist so, als würde man ein Wort in einem Satz falsch lesen und dadurch den gesamten Absatz missverstehen.
Selbst die klügsten getesteten KI-Modelle (wie GPT-4o und Qwen) schnitten insgesamt sehr schlecht ab (etwa 33 % korrekt). Sie konnten manchmal die richtige Reihenfolge der Wörter erraten (wie zum Beispiel zu wissen, dass der Satz mit einem Datum beginnt), aber sie konnten die Geschichte, die der Satz erzählte, nicht wirklich verstehen.
Das Fazament
Das Paper kommt zu dem Schluss, dass KI zwar besser darin wird, antike Symbole zu erkennen, aber noch nicht gelernt hat, sie als kohärente Sprache zu „lesen“. Es ist, als hätte man ein Wörterbuch, aber wüsste nicht, wie man ein Gedicht schreibt. Um diese antiken Aufzeichnungen wirklich zu verstehen, muss die KI über das bloße Identifizieren einzelner Steine hinausgehen und lernen, das ganze Schloss zu bauen (und zu verstehen).
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.