Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, eine Sprache zu lesen, in der jedes einzelne Wort eine winzige, komplizierte Zeichnung ist. Im Englischen werden Wörter aus einem kleinen Alphabet von 26 Buchstaben aufgebaut; wenn man die Buchstaben kennt, kann man oft erraten, was ein neues Wort bedeutet, indem man sich seine Teile ansieht. Aber im Chinesischen sind die „Buchstaben“ tausende von einzigartigen Schriftzeichen, und jedes einzelne ist ein komplexes Bild, das aus kleineren Formen zusammengesetzt ist, die übereinander gestapelt sind. Lange Zeit haben die klügsten Computergehirne (genannt KI-Modelle) diese Schriftzeichen wie Magie behandelt – wie unzerbrechliche Steine. Sie sahen nicht nach den kleinen Formen im Inneren; sie merkten sich einfach den ganzen Stein als Ganzes. Das funktionierte gut für häufige Wörter, aber wenn der Roboter auf ein seltenes oder seltsames Schriftzeichen traf, das er noch nie zuvor gesehen hatte, war er völlig verloren – wie jemand, der versucht, die Bedeutung einer Zeichnung zu erraten, die er noch nie gesehen hat, indem er eine leere Wand anstarrt.

Das Papier, das Sie gleich lesen werden, befasst sich genau mit diesem Problem. Es führt einen neuen Weg ein, um diesen KI-Modellen zu helfen, in die „magischen Steine“ hineinzublicken und die kleinen Formen zu sehen, aus denen sie bestehen. Die Forscher nennen ihr neues Werkzeug CNM-BERT. Anstatt nur das gesamte Schriftzeichen auswendig zu lernen, lernt dieses neue Modell, jedes Zeichen in einen Stammbaum seiner kleineren Teile zu zerlegen, ganz ähnlich wie ein Detektiv, der einen Tatort aus verstreuten Hinweisen rekonstruiert. Die große Entdeckung ist, dass das Modell durch das Lehren des Verständnisses darüber, wie diese Zeichen aufgebaut sind, viel besser darin wird, die Bedeutung seltener Wörter zu erraten, die es noch nie zuvor erlebt hat, ohne dabei die Fähigkeit zu beeinträchtigen, die gängigen Wörter, die es bereits kennt, zu verstehen.

Die Geschichte des „Drop-In“-Upgrades

Stellen Sie sich ein Standard-KI-Sprachmodell als einen superintelligenten Studenten vor, der eine riesige Bibliothek von Büchern gelesen hat. Dieser Student ist großartig darin, vorherzusagen, was als Nächstes in einem Satz kommt, weil er so viele Wörter zusammen gesehen hat. Wenn man ihm jedoch ein Schriftzeichen gibt, das er in seinem ganzen Leben noch nie gesehen hat, stößt er gegen eine Wand. Warum? Weil der Student so unterrichtet wurde, dass er jedes Schriftzeichen als eine einzige, atomare ID-Karte betrachtet. Er weiß nicht, dass das Schriftzeichen bian (was „streiten“ bedeutet) eigentlich aus drei kleineren Teilen besteht, die auf eine bestimmte Weise gestapelt sind. Er sieht nur einen schwarzen Klecks und hat keine Vorstellung davon, wie er ihn aufschlüssen kann.

Die Autoren dieses Papiers, Thomas und Liqian, beschlossen, diesem Studenten eine „strukturelle Brille“ zu geben. Sie wollten nicht das gesamte Gehirn des Studenten neu aufbauen (was langsam und teuer wäre). Stattdessen entwickelten sie ein Compositional Network Model (CNM), ein leichtgewichtiges Add-on, das als „Drop-in“-Upgrade fungiert. Es ist, als würde man dem Studenten ein neues, spezialisiertes Lehrbuch in den Rucksack schieben, ohne seinen Hauptlehrplan zu ändern.

So funktioniert die Magie:

1. Der Bauplan (IDS): Jedes chinesische Schriftzeichen besitzt einen verborgenen Bauplan, eine sogenannte „Ideographic Description Sequence“ (IDS). Es ist wie ein Rezept, das sagt: „Nimm diesen Teil, lege ihn oben auf jenen Teil und platziere einen dritten Teil in die Mitte.“
2. Der Tree-MLP: Das neue Modell nimmt dieses Rezept und verwandelt es in ein Baumdiagramm. Es betrachtet nicht nur die Zutaten; es betrachtet auch die Reihenfolge und die Struktur, wie sie zusammengesetzt sind. Es verwendet einen speziellen „Tree-MLP“ (eine Art mathematische Maschine), um diesen Baum von unten nach oben zu lesen und so zu verstehen, wie die kleinen Teile das große Ganze aufbauen.
3. Die Fusion: Dieses strukturelle Verständnis wird dann direkt am Anfang in das Hauptgehirn des Studenten gemischt. Nun, wenn das Modell ein Schriftzeichen sieht, sieht es sowohl die „ID-Karte“ als auch den „Bauplan“ zur gleichen Zeit.

Was sie herausgefunden haben

Die Forscher testeten dieses neue Modell gegen die stärksten existierenden KI-Gehirne, einschließlich eines Modells, das versucht, durch das Betrachten der tatsächlichen Pixel des Zeichens zu lernen (ähnlich wie ein Mensch, der auf ein verschwommenes Bild starrt). Sie verwendeten einen speziellen Test namens CCD (Chinese Character Dataset), der speziell darauf ausgelegt ist, zu prüfen, ob die KI die Struktur von Schriftzeichen versteht, und nicht nur deren Bedeutung in einem Satz.

Die Ergebnisse waren ein riesiger Sieg für den Ansatz der „strukturellen Brille“, besonders wenn es kompliziert wurde:

• Das Problem der seltenen Zeichen: Als der Test Zeichen verwendete, die die KI noch nie zuvor gesehen hatte (der „Out-of-Vocabulary“ oder OOV-Teil), brachen die alten Modelle zusammen. Sie lagen fast immer falsch, weil sie keine Daten hatten, auf die sie sich verlassen konnten.
• Die CNM-BERT Rettung: Das neue Modell brach nicht zusammen. Da es die Struktur verstand, konnte es das Layout und die Komponenten dieser unbekannten Zeichen mit überraschender Genauigkeit erraten.
  • Es verbesserte die Strukturgenauigkeit um +9,8 Punkte im Vergleich zum besten visuellen Modell.
  • Es verbesserte die Radical F1 (ein Maß für die Identifizierung der Kernelemente des Zeichens) um +7,7 Punkte.

Dies ist eine große Sache. Es beweist, dass man nicht jedes einzelne Schriftzeichen im Universum auswendig lernen muss, um sie zu verstehen. Wenn man die Regeln versteht, nach denen sie aufgebaut sind, kann man auch die seltenen Zeichen entschlüsseln.

Geht dadurch etwas anderes kaputt?

Eine häufige Befürchtung bei neuen KI-Tricks ist, dass das Modell in einer Sache intelligenter zu machen, es in anderen Dingen dümmer machen könnte. Die Forscher waren sehr sorgfältig darin, dies zu überprüfen. Sie testeten CNM-BERT bei zwölf Standardaufgaben wie Textverständnis, Nachrichtenklassifizierung und der Erkennung von Eigennamen im Text (NER).

Das Ergebnis? Es ging nichts kaputt.

• Das neue Modell schnitt bei diesen allgemeinen Aufgaben genauso gut oder sogar etwas besser ab als die besten existierenden Modelle.
• Es erreichte die höchste Durchschnittsbewertung beim CLUE Benchmark (ein Standardtest für das Verständnis der chinesischen Sprache) sowohl in kleinen als auch in großen Versionen.
• Im Gegensatz zu anderen Methoden, die versuchen, Schriftzeichen in kleinere Teile zu zerlegen (was die KI manchmal verwirren kann), hielt CNM-BERT das ursprüngliche Zeichensystem intakt und fügte lediglich die strukturelle Einsicht hinzu.

Das Fazit

Das Paper legt nahe, dass der Grund, warum KI mit seltenen chinesischen Schriftzeichen kämpft, nicht darin liegt, dass sie mehr Bücher lesen oder größer werden muss. Es liegt daran, dass die Art und Weise, wie sie derzeit gelehrt wird, auf die Zeichen zu blicken, fehlerhaft ist. Indem wir Schriftzeichen als unzerbrechliche Atome behandeln, werfen wir die wichtigste Information weg: ihre Struktur.

Die Autoren zeigen, dass wir, indem wir dieses strukturelle Wissen mithilfe ihres CNM-Werkzeugs direkt in das „Gehirn“ des Modells injizieren, diesen blinden Fleck für seltene Zeichen beheben können, ohne die Leistung bei gängigen Zeichen zu opfern. Es ist ein wenig so, als würde man einem Kind nicht nur das Lesen lehren, indem man ganze Wörter auswendig lernt, sondern indem man versteht, wie Buchstaben sich zu ihnen kombinieren. Das Ergebnis ist eine intelligentere, robustere KI, die in der Lage ist, den „Long Tail“ seltener Wörter mit Leichtigkeit zu bewältigen, während sie gleichzeitig nur sehr wenig zusätzliche Last für die Rechenleistung verursacht (nur etwa 5 % mehr Zeit für das Training).

Kurz gesagt argumentiert das Paper, dass für das Chinesische die Zukunft der KI nicht nur aus größeren Daten besteht, sondern daraus, der Maschine beizubringen, das Skelett innerhalb des Zeichens zu sehen.