Joint Optimization for Greedy Longest-match Tokenization

Stellen Sie sich vor, Sie versuchen, eine riesige Bibliothek von Büchern in einen einzigen, winzigen Koffer zu packen. Sie möchten so viel Text wie möglich in einen begrenzten Raum unterbringen, aber Sie können die Seiten nicht einfach zu einem Ball zerquetschen; Sie müssen sie in ordentliche, handhabbare Stücke organisieren. In der Welt der künstlichen Intelligenz ist dieser „Koffer“ der Speicher des Computers, und die „Stücke“ werden als Token bezeichnet. KI-Modelle lesen Text nicht als ganze Wörter, sondern als diese kleineren Teile. Die Art und Weise, wie wir Wörter zerlegen, ist sehr wichtig: Wenn wir sie schlecht zerschneiden, verbrauchen wir mehr Platz und der Computer muss härter arbeiten, um sie zu lesen. Jahrelang war die Standardmethode, diese Wörter zu zerlegen, eine Methode namens Byte Pair Encoding (BPE). Betrachten Sie BPE wie einen sehr effizienten, aber etwas starren Bibliothekar, der einer strengen Regel folgt: „Klebe immer zuerst die zwei häufigsten Textstücke zusammen.“ Es ist ein schneller, gieriger Ansatz, der gut funktioniert hat, aber im Wesentlichen ist es eine Heuristik – eine gute Vermutung basierend auf einer einfachen Regel, keine perfekte mathematische Lösung.

Kürzlich haben Wissenschaftler eine große Frage gestellt: Ist die „gute Vermutung“ dieses Bibliothekars tatsächlich das Beste, was wir tun können? Oder gibt es einen klügeren Weg, die Wörter zu schneiden, damit noch mehr Text in den Koffer passt? Dieses Paper taucht in diese Frage ein, indem es eine spezifische Art untersucht, wie eine KI Text liest, nämlich das „Greedy Longest-Match“. Stellen Sie sich vor, Sie lesen einen Satz und greifen bei jedem Schritt das längstmögliche Wort, das Sie kennen, bevor Sie zum nächsten Buchstaben übergehen. Die Autoren wollten sehen, ob sie ein Vokabular speziell für diesen Lesestil entwerfen können, anstatt nur zu hoffen, dass ein allgemeines Vokabular funktioniert. Sie entwickelten ein neues System namens JOLT (Joint Optimization for Greedy Longest-match Tokenization). Anstatt Stücke einfach basierend auf ihrer Häufigkeit zusammenzukleben, behandelt JOLT das gesamte Problem wie ein riesiges, komplexes Puzzle. Es nutzt fortgeschrittene Mathematik, um genau zu berechnen, welche Wortstücke zu behalten sind und wie jedes einzelne Wort in den Trainingsdaten zu zerlegen ist, damit die KI es unter Verwendung der „Longest-Match“-Regel mit der absolut minimalen Anzahl an Stücken lift.

Das Paper stellt fest, dass der alte Bibliothekar (BPE) eigentlich ziemlich gut ist – er liegt bereits innerhalb von 1 % bis 2 % des theoretisch bestmöglichen Packens – aber das neue System, JOLT, kann noch ein kleines bisschen mehr Platz herausholen. Durch das Lösen dieses mathematischen Puzzles schafft es JOLT, fast die gesamte verbleibende Lücke zwischen der alten Methode und dem perfekten theoretischen Limit zu schließen. In Tests mit verschiedenen Größen von Textdaten reduzierte JOLT die Anzahl der benötigten Token im Vergleich zur Standardmethode um bis zu 0,78 %. Während diese Zahl klein klingt, bedeutet im Bereich der KI die Ersparnis auch nur eines Bruchteils eines Prozents, dass das Modell mehr Text lesen kann, schneller denkt und kostengünstiger im Betrieb ist. Die Autoren zeigen, dass wir, indem wir das Vokabular perfekt auf die Art und Weise abstimmen, wie die KI tatsächlich liest, fast den gesamten „Kompressionsspielraum“ zurückgewinnen können, der zuvor auf dem Tisch liegen gelassen wurde.

Die Geschichte von JOLT: Das Wort-Puzzle lösen

Um zu verstehen, wie JOLT funktioniert, stellen Sie sich vor, Sie sind ein Meisterkoch, der versucht, das perfekte Menü für ein riesiges Bankett zu erstellen. Sie haben eine riesige Liste von Zutaten (den Text) und müssen sie in spezifische Größen (Token) hacken, um sie Ihren Gästen (der KI) zu servieren. Der Haken ist, dass Ihre Gäste eine sehr spezifische Essgewohnheit haben: Sie greifen immer nach dem größten möglichen Bissen, der in ihren Mund passt, bevor sie zum nächsten Bissen übergehen. Dies ist die „Greedy Longest-Match“-Regel.

Lange Zeit nutzten Köche (KI-Forscher) ein Standardrezept namens BPE. Sie schauten sich die Zutaten an und sagten: „Hey, 'th' und 'e' kommen oft zusammen vor, lass sie zu 'the' zusammenkleben.“ Sie machten dies immer weiter und klebten die häufigsten Paare zusammen, bis sie ein Menü einer bestimmten Größe hatten. Es funktionierte gut, aber es war ein wenig so, als würde man ein Haus bauen, indem man einfach Ziegel stapelt, ohne zu prüfen, ob die Wände perfekt gerade sind. Es war ein „gieriger“ Ansatz – das Einfache, Offensichtliche zuerst zu tun.

Die Autoren dieses Papers erkannten: Wenn man möchte, dass die Gäste effizient essen, sollte man das Menü nicht nur basierend auf dem, was häufig vorkommt, erstellen; man sollte ein Menü basierend darauf erstellen, wie sie essen. Sie schufen JOLT, was wie ein super-intelligenter Koch ist, der das gesamte Menü auf einmal plant, jede einzelne Zutat und jede mögliche Art, sie zu hacken, berücksichtigt und sicherstellt, dass das Endergebnis perfekt auf die „Größter-Bissen“-Gewohnheit der Gäste abgestimmt ist.

Das mathematische Puzzle
Der Kern von JOLT ist ein massives mathematisches Problem. Die Autoren mussten zwei Dinge gleichzeitig entscheiden:

1. Welche Zutaten zu behalten sind: Welche Wortstücke sollten im endgültigen Vokabular enthalten sein?
2. Wie den Text zu hacken ist: Mit welchen spezifischen Stücken soll jedes einzelne Wort in den Trainingsdaten aufgebaut werden?

Der schwierige Teil ist, dass diese beiden Entscheidungen miteinander gekoppelt sind. Man kann nicht entscheiden, ein Wort in „ta“ und „ble“ zu hacken, wenn man nicht tatsächlich entschieden hat, „ta“ und „ble“ in seinem Vokabular zu behalten. Zudem muss man aufgrund der „Longest-Match“-Regel der KI sicherstellen, dass es kein längeres Stück wie „table“ in Ihrem Vokabular gibt, das die Show stehlen würde. Wenn „table“ existiert, wird die KI „table“ im Ganzen essen, und Ihr Plan, „ta“ und „ble“ zu servieren, scheitert.

Um dies zu lösen, verwendeten die Autoren eine Technik namens „Integer Programming“. Stellen Sie sich ein riesiges Gitter von Schaltern vor. Einige Schalter schalten ein Wort ein (setzen es ins Vokabular), und andere schalten eine bestimmte Art des Hackens eines Wortes ein. Das Ziel ist es, die Schalter so umzulegen, dass die geringstmögliche Gesamtzahl an Stücken erreicht wird. Das Lösen dieses Gitters für eine ganze Bibliothek von Texten ist jedoch so gewaltig, dass selbst die schnellsten Computer ewig brauchen würden.

Die kluge Abkürzung
Also entwickelten die Autoren einen cleveren Trick. Anstatt zu versuchen, das ganze Puzzle auf einmal zu lösen, begannen sie mit einer kleinen, einfachen Version. Sie betrachteten nur das Hacken von Wörtern in ein oder zwei Teile. Sie lösten das mathematische Problem, und wenn der Computer sagte: „Hey, dieses Wort ist zu schwer zu hacken mit nur diesen Teilen, ich brauche mehr Optionen“, fügten sie für genau dieses Wort komplexere Hack-Optionen hinzu. Sie wiederholten diesen Prozess und fügten nur dort Komplexität hinzu, wo sie nötig war, bis die Lösung stabil war.

Dieser Ansatz ermöglichte es ihnen, eine Lösung zu finden, die unglaublich nah am perfekten theoretischen Limit liegt. Sie fanden heraus, dass die Standard-BPE-Methode bereits eine großartige Arbeit leistet und innerhalb von 1 % bis 2 % des bestmöglichen Ergebnisses liegt. Aber JOLT gelang es, 89,6 % bis 99,4 % dieser verbleibenden Lücke zu schließen.

Die Ergebnisse
Als sie ihr neues System mit verschiedenen Mengen an Daten (von 100.000 bis 400.000 Wörtern) und verschiedenen Vokabulargrößen (32.000 und 64.000 Wörter) testeten, waren die Ergebnisse eindeutig. JOLT verwendete konsequent weniger Token als die Standard-BPE-Methode.

• Mit einem Vokabular von 32.000 Wörtern reduzierte JOLT die Token-Anzahl um bis zu 0,78 % im Vergleich zur Standardmethode.
• Mit einem Vokabular von 64.000 Wörtern war die Verbesserung geringer, aber dennoch vorhanden und erreichte bis zu 0,31 %.

Das Paper überprüfte auch, wie nah ihre Lösung an das absolute mathematische Limit heranreichte. Sie fanden heraus, dass ihre endgültige, gerundete Lösung innerhalb von 0,008 % bis 0,176 % des theoretisch Besten lag. Das bedeutet, dass der „Rundungsprozess“ (das Umwandeln der mathematischen Lösung in ein echtes, nutzbares Vokabular) kaum an Effizienz verloren hat. Die kleinen Gewinne, die JOLT gegenüber BPE erzielte, waren kein Zufall, sondern echte, strukturelle Verbesserungen.

Warum das wichtig ist
Die Autoren untersuchten auch andere Methoden. Sie fanden heraus, dass eine populäre Methode namens WordPiece, die für denselben „Longest-Match“-Lesestil entwickelt wurde, bei Tests tatsächlich schlechter als BPE abschnitt. Dies lag daran, dass WordPiece darauf trainiert wurde, ein anderes Ziel zu maximieren (das Vorhersagen des nächsten Wortes) statt die Anzahl der Stücke zu minimieren. Dies beweist, dass man nicht einfach ein Vokabular verwenden kann, das für einen Zweck entworfen wurde, und erwarten kann, dass es für einen anderen perfekt funktioniert. Man muss das Vokabular spezifisch für die Art und Weise trainieren, wie die KI liest.

Zusammenfassend zeigt dieses Paper, dass der alte „gierige“ Bibliothekar (BPE) zwar eine überraschend gute Arbeit geleistet hat, aber immer noch ein winziger Rest an Raum vorhanden ist, den man herausschlagen kann. Durch die Verwendung eines neuen, mathematisch rigorosen Ansatzes, der das Vokabular perfekt auf den Lesestil der KI abstimmt, gewinnt JOLT fast den gesamten verlorenen Raum zurück. Es ist eine Erinnerung daran, dass in der Welt der KI selbst kleine Verbesserungen der Effizienz zu schnelleren, günstigeren und fähigeren Modellen führen können. Die Autoren haben nicht nur geraten; sie haben mathematisch bewiesen, dass ihre Methode uns näher an den perfekten Packvorgang bringt als je zuvor.