A Pilot Study of Autocompleting Tokenizers

Jeden Tag tippen Millionen von Menschen Nachrichten auf Smartphones oder Computern, indem sie Systeme nutzen, die das nächste Wort erraten, noch bevor sie es fertig getippt haben. Diese Autocomplete-Funktionen funktionieren deshalb, weil die menschliche Sprache voller Muster ist; sobald man den Anfang eines Satzes sieht, folgt der Rest oft einem vorhersehbaren Pfad. Dasselbe Prinzip der Vorhersage liegt dem Herzen moderner künstlicher Intelligenz zugrunde, speziell den großen Computermodellen, die Übersetzungen und die Textgenerierung antreiben. Diese Modelle, bekannt als Transformer, sind unglaublich leistungsstark, benötigen aber gewaltige Mengen an Daten, um zu funktionieren. Um Text zu verarbeiten, zerlegen sie Sätze in winzige Einheiten, die sogenannte Token. Jahrelang war die Standardmethode, Buchstaben in Stücke zu gruppieren, die ganze Wörter oder Teile von Wörtern repräsentieren – eine Technik, die die Daten handhabbar hält. Es existiert jedoch eine einfachere Alternative: den Text in einzelne Bytes zu zerlegen, die kleinsten Einheiten digitaler Informationen. Während dieser Byte-basierte Ansatz universell ist und keine speziellen Wörterbücher für verschiedene Sprachen benötigt, erzeugt er Sequenzen, die so lang sind, dass sie den Computer verlangsamen und das Modell weniger effektiv machen.

Forscher am Williams College gingen die Frage an, dieses Problem zu lösen, indem sie eine einfache Frage stellten: Wenn ein Computer das nächste Zeichen in einer Sequenz mit hoher Zuversicht vorhersagen kann, braucht er dieses Zeichen dann tatsächlich sehen, um den Satz zu verstehen? Sie schlugen eine neue Methode vor, die wie ein intelligenter Filter wirkt und jene Teile eines Textes entfernt, die zu offensichtlich sind, um nützlich zu sein. Indem sie ein kleines, leichtgewichtiges Programm trainierten, das als Autocomplete-Assistent fungiert, identifizierten sie, welche Bytes in einem Satz so vorhersehbar waren, dass sie sicher gelöscht werden konnten, bevor das eigentliche Übersetzungsmodell sie überhaupt sah. Das Ergebnis ist eine komprimierte Version des Textes, die signifikant kürzer ist, aber dennoch die gesamte notwendige Bedeutung trägt. Ihre Experimente zeigten, dass sie für Sprachen wie Englisch und Französisch fast ein Drittel der Zeichen entfernen konnten, ohne die Übersetzungsqualität zu verlieren. Dieser Befund deutet darauf hin, dass ein großer Teil der Daten, die wir in diese leistungsstarken KI-Systeme einspeisen, redundant ist, und dass wir durch das Weglassen der vorhersehbaren Teile diese Modelle schneller und effizienter machen können, ohne ihre Fähigkeit zu opfern, die Welt zu verstehen.

Der Kern dieser Arbeit besteht aus einem dreistufigen Prozess, der transformiert, wie Text in eine Maschine eingespeist wird. Zuerst liest ein kleines, schnelles Modell den Originaltext Byte für Byte und sagt voraus, was als Nächstes kommt, basierend auf dem, was es bereits gesehen hat. Wenn sich das Modell über das nächste Zeichen sehr sicher ist, markiert es dieses Zeichen als vorhersehbar. Im zweiten Schritt entfernt das System diese markierten Zeichen aus der Sequenz. Um sicherzustellen, dass das Hauptmodell nicht durch die fehlenden Teile verwirrt wird, modifiziert das System das vorangehende Byte, um anzuzeigen, dass ein Zeichen entfernt wurde, wodurch das Modell die Lücke aus dem Kontext erschließen kann. Schließlich wird diese verkürzte, komprimierte Sequenz an ein großes, Standard-Übersetzungsmodell weitergegeben, welches dann die Ausgabe in der Zielsprache generiert. Die Forscher testeten verschiedene Wege, um mit diesen fehlenden Teilen umzugehen, und fanden heraus, dass die effektivste Methode darin bestand, diese spezifische Art von Marker zu verwenden, der die Abwesenheit eines Zeichens schlicht durch die Veränderung des vorherigen Bytes notiert, sodass das Hauptmodell den Rest aus dem Kontext ableiten kann.

Als das Team diese Technik auf die Übersetzung von Englisch nach Französisch anwandte, waren die Ergebnisse beeindruckend. Sie fanden heraus, dass sie den Quelltext auf etwa 68 Prozent seiner ursprünglichen Länge komprimieren konnten, während sie exakt dieselbe Übersetzungsqualität wie bei der unkomprimierten Version beibehielten. In einigen Fällen performte die komprimierte Version sogar geringfügig besser. Die Forscher testeten die Methode auch bei Sprachen mit sehr unterschiedlichen Schriftsystemen und Strukturen, einschließlich Finnisch, das eine komplexe Grammatik besitzt; Russisch, das ein anderes Alphabet verwendet; und Chinesisch, wo Zeichen ganze Wörter repräsentieren statt Laute. In all diesen Fällen funktionierte der Ansatz gut und reduzierte die Textlänge auf spezifische Verhältnisse von 0,646 für Finnisch, 0,468 für Russisch und 0,668 für Chinesisch, während die Übersetzungsqualität beibehalten oder sogar verbessert wurde. Diese Konsistenz über solch diverse Sprachen hinweg legt nahe, dass die Fähigkeit, redundante Informationen vorherzusagen und zu entfernen, eine fundamentale Eigenschaft der menschlichen Sprache ist und nicht nur eine Besonderheit des Englischen.

Die Studie verglich diese intelligente Kompressionsmethode auch mit einfacheren, weniger anspruchsvollen Wegen, Text zu kürzen, wie etwa dem Entfernen aller Vokale oder dem Beibehalten nur der ersten paar Buchstaben jedes Wortes. Diese groben Methoden scheiterten daran, die Übersetzungsqualität aufrechtzuerhalten, was bewies, dass der Schlüssel nicht bloß darin liegt, Zeichen zu entfernen, sondern die richtigen Zeichen zu entfernen. Die Forscher demonstrierten, dass sie durch die Verwendung eines Modells, um zu identifizieren, welche Teile des Textes wirklich vorhersehbar sind, das Rauschen entfernen konnten, während das Signal intakt blieb. Dieser Ansatz bietet einen praktischen Weg, um die Rechenkosten beim Betrieb großer Sprachmodelle zu senken, was potenziell ermöglicht, dass sie schneller auf weniger leistungsstarker Hardware laufen. Die Arbeit legt nahe, dass viele der Bytes, die wir derzeit Computer verarbeiten lassen, unnötig sind, und dass wir, indem wir dem Modell erlauben, die Lücken selbst zu füllen, die gleichen Ergebnisse mit weniger Aufwand erzielen können. Obwohl die Studie eine Pilotuntersuchung ist, bietet sie einen klaren Weg hin zu effizienteren KI-Systemen, die vielfältige Sprachen handhaben können, ohne die schwere Last, jedes einzelne Zeichen explizit verarbeiten zu müssen.