Die Sprache der Maschinen vs. die Sprache der Menschen

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, eine Bibliothek zu lesen. Die Bücher sind in menschlicher Sprache geschrieben, mit Buchstaben und Wörtern, die wir sehen und verstehen können. Aber der Roboter „sieht“ keine Buchstaben; er sieht Zahlen. Für den Roboter ist das Wort „Katze“ überhaupt kein Wort, sondern ein spezifischer Code, wie eine geheime ID-Nummer. So funktioniert moderne künstliche Intelligenz: Sie verarbeitet Text, indem sie ihn in winzige Stücke namens „Tokens“ zerlegt und jedem Stück eine eindeutige Nummer zuweist.

Seit Jahrzehnten speichern Computer Text so, wie Menschen ihn schreiben: als Zeichenketten (wie UTF-8). Das ist großartig für uns, aber für Roboter etwas umständlich. Jedes Mal, wenn ein Roboter ein Buch aus der Bibliothek lesen möchte, muss er die menschlichen Buchstaben in seine eigenen geheimen Zahlen übersetzen, seine Arbeit verrichten und die Zahlen dann wieder in Buchstaben übersetzen, um uns die Antwort zu zeigen. Dieser Übersetzungsprozess kostet Zeit und Platz, ähnlich wie man ein Buch jedes Mal in eine Fremdsprache übersetzen müsste, wenn man nur eine einzige Seite lesen möchte. Da Roboter immer mehr Aufgaben beim Lesen und Schreiben in unserer digitalen Welt übernehmen, wird diese ständige Übersetzung zu einem Flaschenhals, der alles verlangsamt und zusätzlichen Platz beansprucht.

Die große Idee des Papers: Aufhören zu übersetzen, anfangen „Roboter-Sprache“ zu sprechen

Dieses Paper mit dem Titel „Token-Native Storage“ argumentiert, dass wir aufhören sollten, Roboter jedes Mal die menschliche Sprache übersetzen zu lassen, wenn sie auf eine Datenbank zugreifen. Stattdessen schlägt der Autor vor, den Text genau so zu speichern, wie der Roboter ihn sieht: als eine Liste von Token-Nummern. Dies nennen sie „Token-Native Storage“.

Denken Sie an Folgendes: Derzeit sind unsere digitalen Bibliotheken wie ein Museum, in dem jedes Gemälde mit einem menschenlesbaren Etikett umwickelt ist. Um dem Roboter das Gemälde zu zeigen, müssen wir es auspacken, das Etikett in Roboter-Code übersetzen, den Roboter schauen lassen und es dann wieder einpacken. Der Autor schlägt ein neues Museum vor, in dem die Gemälde bereits in der Muttersprache des Roboters hängen. Wenn der Roboter hineingeht, kann er die Kunst sofort betrachten, ohne jegliches Auspacken oder Übersetzen.

Was sie herausgefunden haben:
Der Forscher testete diese Idee und fand heraus, dass das Speichern von Text als Token-Nummern nicht nur schneller ist, sondern auch weniger Platz einnimmt als das Speichern als Buchstaben.

• Geschwindigkeit: Wenn ein Roboter aus dieser neuen Art von Speicher liest, überspringt er den Übersetzungsschritt vollständig. Das Paper maß dies als etwa 10- bis 600-mal schneller als die alte Methode, je nach Aufgabe. Es ist der Unterschied zwischen dem Warten darauf, dass ein Übersetzer einen Satz beendet, und dem direkten Verstehen eines Gedankens.
• Platz: Da Token-Nummern kleine Ganzzahlen sind (wie 1, 2, 3) und keine langen Buchstabenketten, sind sie von Natur aus kompakter. Selbst ohne spezielle Komprimierungstricks spart allein das Zusammenpacken dieser Zahlen Platz. Bei englischem Text war diese rohe Packung allein 2,25-mal kleiner als die Standard-Textspeicherung. Als sie einen einfachen Komprimierungstrick hinzufügten (die Anordnung der Zahlen so zu ändern, dass die häufigsten die kleinsten sind), konnten sie die Daten noch weiter schrumpfen lassen und erreichten eine Größe, die 3,30-mal kleiner als die Standard-Textspeicherung war.

Was sie kritisieren:
Das Paper argumentiert explizit gegen den aktuellen Standard, Text als menschenlesbare Buchstaben (UTF-8) zu speichern, in Systemen, in denen Roboter die primären Leser und Schreiber sind. Sie weisen darauf hin, dass das Behalten des Textes im menschlichen Format das System dazu zwingt, bei jeder einzelnen Lese- und Schreiboperation eine „Übersetzungssteuer“ zu zahlen. Sie argumentieren auch gegen die Idee, dass wir komplexe, schwere Komprimierungsalgorithmen benötigen, um Platz zu sparen; sie fanden heraus, dass allein die Änderung der Art und Weise, wie die Token-Nummern geordnet sind (nach Häufigkeit statt nach dem Zeitpunkt ihrer Entdeckung), eine sehr schnelle Dekodierung ermöglicht, ohne langsame, komplexe Dekomprimierungswerkzeuge zu benötigen.

Wie sicher sind sie?
Der Autor ist sehr zuversichtlich in seinen Messungen. Er hat nicht nur geraten; er hat Tests mit realen Daten durchgeführt, einschließlich englischer Artikel, Computercode und Hindi-Text. Er verglich seine neue Methode mit den besten existierenden Komprimierungswerkzeugen (wie zstd und gzip) und stellte fest, dass sein Token-Native-Ansatz sowohl in Bezug auf Geschwindigkeit als auch auf Größe konsequent besser abschnitt oder diese erreichte. Er maß die Zeit, die zum Lesen und Schreiben von Daten in Mikrosekunden (Millionstel Sekunden) dauerte, und zeigte damit, dass der Geschwindigkeitsunterschied real und signifikant ist.

Der „Frequenz-Reihenfolge“-Trick

Einer der cleversten Teile des Papers ist ein Vorschlag, wie KI-Labore ihre Token-Listen organisieren sollten. Derzeit werden Token-Nummern etwas zufällig basierend darauf zugewiesen, wann die KI sie während des Trainings entdeckt hat. Der Autor fand heraus, dass man die Daten viel besser komprimieren kann, wenn man diese Nummern einfach so umordnet, dass die häufigsten Wörter die kleinsten Nummern erhalten (wie 1, 2, 3) und seltene Wörter größere Nummern bekommen.

Sie nennen dies die „+freq“-Methode. Es ist wie das Aufräumen eines Kleiderschranks: Wenn man seine am häufigsten getragene Kleidung in die am leichtesten erreichbaren Regale legt (kleine Nummern), spart man Zeit und Platz. Durch dieses Vorgehen konnten sie fast alle Vorteile einer komplexen Komprimierung erzielen, jedoch mit einer Dekodierungsgeschwindigkeit, die 7-mal schneller ist. Sie bitten KI-Unternehmen, ihre Token-Listen in dieser „Frequenz-Reihenfolge“ zu veröffentlichen, damit alle von diesem kostenlosen Geschwindigkeitsvorteil profitieren können.

Die Hürde: Dieselbe Sprache sprechen

Das Paper räumt ein, dass es einen großen Haken gibt. Damit dieses System perfekt funktioniert, muss jeder Roboter im System dieselbe „Token-Sprache“ sprechen (denselben Wortschatz verwenden). Derzeit verwenden verschiedene KI-Modelle oft unterschiedliche Wörterbücher. Wenn ein Roboter ein Wörterbuch verwendet, in dem „Katze“ die Nummer 500 ist, und ein anderer ein Wörterbuch verwendet, in dem „Katze“ die Nummer 12 ist, können sie den Speicher nicht einfach teilen.

Der Autor schlägt vor, dass die Lösung in der Standardisierung liegt, ähnlich wie wir alle vereinbart haben, dass wir dasselbe Alphabet (ASCII) oder dieselbe Zeichenkodierung (UTF-8) für menschlichen Text verwenden. Wenn die KI-Welt ein gemeinsames „Token-Alphabet“ einigt, könnte dieser Token-Native-Storage zum neuen Standard werden, der unsere digitale Infrastruktur schneller und kostengünstiger für die Roboter macht, die sie betreiben.

Kurz gesagt: Das Paper schlägt vor, dass wir, während Roboter immer mehr von unserem digitalen Lesen und Schreiben übernehmen, aufhören sollten, ihre Daten im menschlichen Format zu speichern, und statenfangen sollten, sie in dem Format zu speichern, in dem sie geboren wurden, um sie zu lesen. Es ist eine kleine Änderung in der Art und Weise, wie wir Dateien speichern, aber sie könnte in der Zukunft eine enorme Menge an Zeit und Geld sparen.