Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, die menschliche Sprache zu sprechen. Um dies zu tun, müssen Sie jeden Satz in winzige Bausteine zerlegen, die man „Token“ nennt. Stellen Sie sich diese Token wie LEGO-Steine vor. Wenn Sie ein Standardset an Steinen verwenden, benötigen Sie vielleicht eine Million winziger Teile, um ein einfaches Haus zu bauen, was den Bau langsam und unordentlich macht. Jahrelang war die populärste Methode, diese Steine herzustellen (eine Methode namens Byte Pair Encoding oder BPE), das Zusammenkleben der am häufigsten vorkommenden Buchstabenpaare. Es war so, als würde man sagen: „Hey, 'th' und 'e' kommen oft vor, also machen wir einen 'the'-Stein.“ Aber dieser Ansatz hatte einen Fehler: Er liebte kurze, häufig vorkommende Wörter so sehr, dass er lange, bedeutungsvolle Phrasen ständig in winzige, ineffiziente Stücke zerlegte. Dies zwang den Roboter dazu, viel mehr Steine zu verarbeiten als nötig, was sein Denken verlangsamte und seinen Speicher aufzehrte.

Stellen Sie sich nun eine neue Art vor, diese LEGO-Sets zu bauen. Anstatt nur nach den am häufigsten vorkommenden Paaren zu suchen, fragt diese neue Methode: „Was wäre, wenn wir größere, intelligentere Steine bauen würden, die mehr Fläche abdecken?“ Dies ist der Kern einer neuen Studie der Forscher Dong Dong und Weijie Su von der University of Pennsylvania. Sie haben einen neuen Tokenizer namens Length-MAX eingeführt. Anstatt nur zu zählen, wie oft ein Wort vorkommt, belohnt Length-MAX längere Phrasen, die häufig genug vorkommen, um nützlich zu sein. Es ist die Erkenntnis, dass während „the“ zwar häufig vorkommt, die Phrase „the United States“ ein viel besserer Baustein ist als drei separate Teile. Durch den Austausch winziger, repetitiver Steine gegen weniger, längere und bedeutungsvollere Steine kann der Roboter seine Sätze schneller bauen, weniger Speicher verwenden und die Geschichte tatsächlich besser verstehen.

Das Problem mit zu vielen winzigen Steinen

Lange Zeit war die Standardmethode, um Computern Sprache beizubringen, Texte in kleine Stücke zu zerlegen, basierend darauf, wie oft sie vorkommen. Dies wird Byte Pair Encoding (BPE) genannt. Es funktioniert, indem es die zwei am häufigsten vorkommenden Symbole findet, die nebeneinander liegen, und sie zu einem neuen Token verschmilzt. Es ist ein wenig wie ein Spiel, bei dem man die beliebtesten Nachbarn immer weiter kombiniert, bis man keine Züge mehr hat.

Das Problem ist, dass dieses Spiel kurze, hochfrequente Fragmente bevorzugt. Es behandelt eine lange, kohärente Phrase wie „in the midst of a historic snowstorm“ als eine Sammlung winziger, unverbundener Teile. Da moderne KI-Modelle jedem einzelnen Teil Aufmerksamkeit schenken müssen, um den gesamten Satz zu verstehen, führt eine zu große Anzahl winziger Teile zu einer explosionsartigen Komplexität der Mathematik. Es ist, als würde man versuchen, ein Buch zu lesen, in dem jedes Wort in drei Silben zerlegt ist; man muss dreimal so viele „Wörter“ lesen, um dieselbe Bedeutung zu erfassen. Dies verlangsamt das Training, macht die KI langsamer bei der Beantwortung von Fragen und erfordert mehr Computerspeicher.

Hier kommt Length-MAX: Die „Länger ist besser“-Strategie

Die Forscher hinter dieser Arbeit beschlossen, das Ruder herumzureißen. Sie fragten: „Was wäre, wenn wir auf Länge statt nur auf Häufigkeit optimieren würden?“ Sie entwickelten einen neuen Tokenizer namens Length-MAX.

Anstatt nur nach den häufigsten Paaren zu suchen, sucht Length-MAX nach Substrings, die einen spezifischen Score maximieren: Häufigkeit × Länge. Es belohnt Token, die sowohl häufig als auch lang sind. Wenn eine Phrase wie „the United States“ oft genug vorkommt, greift Length-MAX zu und macht sie zu einem einzigen Token, anstatt sie in „the“, „United“ und „States“ aufzuspalten.

Um dies zu erreichen, mussten die Teams ein kniffliges mathematisches Rätsel lösen. Sie fanden heraus, dass das Finden des perfekten Satzes aus langen Token ein Problem ist, das so komplex ist, dass es mathematisch unmöglich ist, es perfekt für riesige Textmengen zu lösen (ein Problem, das als NP-schwer bekannt ist). Also entwickelten sie einen cleveren „gierigen“ (greedy) Algorithmus. Stellen Sie sich ein Scoreboard vor, auf dem jede mögliche Phrase einen Wert erhält, der auf ihrer Länge und ihrer Häufigkeit basiert. Der Algorithum wählt die am besten bewertete Phrase aus, sperrt sie ein und wiederholt den Prozess, bis das Vokabular voll ist. Sie machten dies unglaublich schnell, indem sie eine Technik namens Rabin-Karp Rolling Hash verwendeten, die es ihnen ermöglicht, Text wie mit einem Hochgeschwindigkeitsscanner zu scannen, und sie ließen es auf Hunderten von Computer-Kernen gleichzeitig laufen.

Die Ergebnisse: Schneller, kleiner und klüger

Das Team testete diese neue Methode, indem sie KI-Modelle von Grund auf neu trainierte (speziell GPT-2-Modelle) und sie mit der Standard-BPE-Methode verglich. Die Ergebnisse waren durchweg beeindruckend:

• Weniger Token: Über verschiedene Vokabulargrößen hinweg reduzierte Length-MAX die Anzahl der benötigten Token zur Darstellung von Text um 14–18 % im Vergleich zu BPE. Für ein Vokabular von 64.000 Wörtern betrug die Reduktion 13,0 %. Das bedeutet, die KI muss signifikant weniger „Steine“ verarbeiten, um dasselbe zu sagen.
• Schnelleres Training: Da es weniger Token zu verarbeiten gibt, lernten die Modelle schneller. Um ein bestimmtes Leistungsniveau zu erreichen, benötigte das 124-Millionen-Parameter-Modell 18,5 % weniger Schritte, das 355-Millionen-Parameter-Modell 17,2 % weniger Schritte und das 1,3-Milliarden-Parameter-Modell 18,5 % weniger Schritte.
• Schnellere Antworten: Wenn die Modelle gebeten wurden, Texte zu generieren, waren sie schneller. Die Inferenzlatenz (die Zeit, die für eine Antwort benötigt wird) sank beim 124M-Modell um 13,7 %, und die Geschwindigkeit, mit der die Modelle Text generierten (Durchsatz), stieg um 16 %.
• Weniger Speicher: Die Modelle verwendeten auch weniger Speicher. Die Forscher fanden heraus, dass der Speicherbedarf für das „Arbeitsgedächtnis“ des Modells (genannt KV-Cache) und seine Vokabular-Embeddings um 18 % sank.
• Besseres Verständnis: Überraschenderweise machte die Verwendung weniger Token die KI nicht dümmer; sie machte sie klüger. Bei Tests, die messen, wie gut die KI lange Geschichten und Kontexte versteht, schnitten die Length-MAX-Modelle besser ab. Zum Beispiel sank bei einem Test namens LAMBADA die Verwirrung (Perplexity) der KI um 11,7 %, und bei einem Test zum logischen Schlussfolgern namens HellaSwag verbesserte sich die Genauigkeit um 4,3 Punkte.

Warum es funktioniert (und was es nicht tut)

Die Magie von Length-MAX liegt nicht nur darin, dass es Zeit spart; es liegt darin, dass es verändert, wie die KI die Welt sieht. Indem es Wörter in längere, bedeutungsvolle Phrasen gruppiert (wie „in the midst of“), kann die KI den Kontext eines Satzes leichter aufrechterhalten. Es ist der Unterschied zwischen dem Versuch, eine Geschichte durch das Betrachten einzelner Buchstaben zu verstehen, gegenüber dem Betrachten ganzer Wörter und Phrasen.

Die Forscher prüften auch, ob sie den natürlichen „Rhythmus“ der Sprache zerstören würden. Sie fanden heraus, dass Length-MAX immer noch den natürlichen Gesetzen der Sprachhäufigkeit folgt (bekannt als Zipf'sches Gesetz), was bedeutet, dass es nicht einfach seltsame, zufällige lange Wörter erzeugt. Es bewahrte die natürliche Struktur der Sprache bei gleichzeitiger Erhöhung der Effizienz.

Die Arbeit weist jedoch ausdrücklich darauf hin, was diese Methode nicht leistet. Sie funktioniert nicht bei Modellen, die bereits trainiert und „eingefroren“ sind; man muss das Modell mit dem neuen Tokenizer von Grund auf neu trainieren, um diese Vorteile zu erzielen. Zudem konzentriert sie sich auf englische Texte, daher ist noch nicht klar, ob sie bei Sprachen mit sehr unterschiedlichen Strukturen ebenso gut funktioniert. Darüber hinaus wurde betont, dass die Ergebnisse für Modelle bis zu 1,3 Milliarden Parametern stark sind, die Forscher aber nahelegen, dass die Vorteile für massive Modelle (wie 7 Milliarden Parameter) wahrscheinlich ähnlich sind, aber noch nicht vollständig getestet wurden.

Das Fazit

Length-MAX ist ein frischer Ansatz für ein jahrzehntealtes Problem. Durch die Erkenntnis, dass für Token oft „länger besser“ ist, haben die Forscher einen Weg gefunden, KI-Modelle schneller, kostengünstiger im Betrieb und überraschend besser im Verständnis von Kontext zu machen. Es ist eine Erinnerung daran, dass der beste Weg nach vorne manchmal nicht darin besteht, einen größeren Motor zu bauen, sondern ein intelligenteres Getriebe. Der Code und die neuen Vokabulare sind nun für jeden zum Ausprobieren verfügbar und bieten eine praktische Möglichkeit, mehr Effizienz aus der nächsten Generation von Sprachmodellen herauszuholen.