Tokenization with Split Trees
Dieser Beitrag stellt ToaST vor, eine neuartige Subwort-Tokenisierungsmethode, die Split-Bäume und ganzzahlige Programmierung nutzt, um die Vokabularauswahl zur Minimierung der Tokenanzahl zu optimieren und damit im Vergleich zu bestehenden Baselines wie BPE und WordPiece signifikante Verbesserungen bei der Komprimierungseffizienz und der Leistung von Sprachmodellen erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, eine riesige Bibliothek von Büchern über das Internet zu senden, Ihre Internetverbindung ist jedoch langsam. Um den Transfer zu beschleunigen, möchten Sie die Bücher in die kleinstmögliche Anzahl von „Chunks" (Tokens) komprimieren, ohne dabei eine einzige Bedeutung zu verlieren.
Lange Zeit war der Standardweg, dies zu tun, wie ein Lego-Baumeister, der mit winzigen einzelnen Steinen (Buchstaben) beginnt und sie eins nach dem anderen zusammenklebt, und zwar nur dann, wenn er sieht, dass zwei Steine oft zusammenkleben. Diese Methode, BPE genannt, ist schnell und gierig, aber nicht immer die effizienteste. Sie könnte zwei Steine zusammenkleben, die nicht wirklich zusammengehören, oder eine Chance verpassen, ein ganzes Wort zusammenzukleben, weil sie sich zuerst an einem kleineren Stück festgefahren hat.
Die Arbeit stellt eine neue Methode namens ToaST (Tokenization with Split Trees) vor. So funktioniert sie, unter Verwendung einiger einfacher Analogien:
1. Der „Baum der Möglichkeiten" (Split Trees)
Anstatt Dinge zusammenzukleben, beginnt ToaST mit einem ganzen Wort (wie „Kentucky") und fragt: „Wenn ich dieses Wort in zwei Hälften teilen müsste, wo wäre der beste Ort dafür?"
Es schaut in eine riesige Datenbank, wie oft verschiedene Wortteile in der realen Welt vorkommen. Es wählt den Schnitt aus, der das Wort in zwei Teile zerlegt, die beide sehr häufig sind. Dann nimmt es diese beiden Teile und stellt dieselbe Frage erneut. Es fährt damit fort, bis es bei einzelnen Buchstaben angekommen ist.
- Die Analogie: Stellen Sie sich vor, Sie haben einen riesigen, ungeschnittenen Laib Brot. Anstatt ihn zufällig zu schneiden, schauen Sie sich eine Karte an, wo Menschen normalerweise Brot essen. Sie finden den perfekten Ort, um ihn zu schneiden, sodass beide Hälften beliebte Größen sind. Dann nehmen Sie diese Hälften und schneiden sie erneut an den beliebtesten Stellen. Am Ende haben Sie einen Familienstammbaum jeder möglichen Art, dieses Wort zu schneiden, vom ganzen Laib bis hin zu einzelnen Krümeln.
2. Das „intelligente Menü" (Vokabularauswahl)
Nun haben Sie einen Baum mit Millionen möglicher Schnitte. Sie können nicht alle verwenden; Sie haben nur Platz für eine bestimmte Anzahl von „Menüpunkten" (eine Vokabulargröße, sagen wir 40.000).
Die alten Methoden wählten einfach die beliebtesten Schnitte aus. ToaST verwendet einen mathematischen Optimierer (ein ganzzahliges Programm), um ein Spiel von „Was wäre wenn?" zu spielen:
- Wenn ich dieses große Stück „Kentucky" als ein einzelnes Token wähle, wie viele Chunks spare ich insgesamt?
- Wenn ich „Kent" und „ucky" separat wähle, spart das anderswo mehr Platz?
Es berechnet die perfekte Kombination von Schnitten, die die geringste Gesamtzahl an Chunks ergibt, die benötigt wird, um die gesamte Bibliothek zu schreiben. Es ist wie ein Koch, der ein Menü plant, nicht nur basierend darauf, was beliebt ist, sondern darauf, wie man die meisten Kunden mit der geringsten Gesamtzahl an Tellern bedienen kann.
3. Der „Magische Trick" (Die Inferenz)
Sobald das Menü feststeht, ist das Lesen des Textes schnell. Wenn der Computer „Kentucky" sieht, schaut er auf die Spitze des Baums.
- Steht „Kentucky" auf dem Menü? Ja? Großartig, senden Sie es als ein Token.
- Steht „Kentucky" auf dem Menü? Nein? Dann schauen Sie eine Ebene tiefer. Steht „Kent" auf dem Menü? Ja? Senden Sie „Kent", dann schauen Sie auf der anderen Seite nach „ucky".
Da der Baum vor der Auswahl des Menüs erstellt wurde, ist der Pfad immer klar. Es gibt keine verwirrenden Regeln oder Szenarien wie „Was passiert, wenn ich das hier ändere?".
Warum ist das besser?
Die Arbeit behauptet, dass ToaST für große Bibliotheken (Vokabulargrößen von 40.000+) deutlich besser ist als die alten Methoden:
- Kompression: Es reduziert die benötigte Anzahl an Chunks um mehr als 11%. Denken Sie daran wie daran, ein 100-seitiges Dokument auf 89 Seiten zu verkleinern, ohne ein einziges Wort zu verlieren.
- Effizienz: Es verwendet weniger „einzelbuchstabige" Tokens (wie nur das Senden des Buchstabens 'y' oder 'u'). Dies lässt den Datenfluss glatter und effizienter werden.
- Leistung: Als sie ein Sprachmodell (ein Gehirn, das lernen zu sprechen) mit dieser neuen Methode trainierten, schnitt das Modell bei Tests besser ab. Es erzielte bei Aufgaben zu logischem Schlussfolgern und Logik höhere Punktzahlen als Modelle, die mit den alten Methoden trainiert wurden.
Das Fazit
ToaST ist eine neue Art, Text aufzubrechen. Anstatt blindlings Teile zusammenzukleben, kartiert es jeden möglichen Weg, ein Wort zu schneiden, und verwendet dann einen leistungsstarken mathematischen Löser, um die absolut beste Schnittmenge auszuwählen, um die Gesamtmenge an Daten zu minimieren. Das Ergebnis ist eine effizientere, schnellere und intelligentere Art für Computer, Sprache zu lesen und zu schreiben.
Hinweis: Die Arbeit hat dies nur an englischem Text getestet. Sie behauptet nicht, dass diese Ergebnisse bereits auf andere Sprachen zutreffen, noch diskutiert sie medizinische oder klinische Anwendungen. Die Verbesserungen betreffen strikt, wie effizient Text verarbeitet wird und wie gut Sprachmodelle bei Standard-Benchmarks abschneiden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.