Stellen Sie sich vor, Sie versuchen, einem Roboter das Lesen einer Geschichte beizubringen. Lange Zeit war der beste Weg dafür, dem Roboter für jedes Wort, das er las, einen speziellen „Aufkleber“ zu geben. Wenn der Roboter das Wort „Katze“ sah, wusste er, dass es das erste Wort war, weil er einen „Erstes Wort“-Aufkleber hatte, und wenn er später das Wort „Hund“ sah, hatte er einen „Fünftes Wort“-Aufkleber. Ohne diese Aufkleber wäre der Roboter verwirrt und würde denken, dass „Die Katze jagt den Hund“ dasselbe sei wie „Der Hund jagt die Katze“, weil die Wörter nur ein ungeordneter Haufen von Zutaten wären. Diese Methode, Wörter mit Etiketten zu versehen, wird als „Positional Encoding“ bezeichnet, und sie war das Standardregelwerk für fast jedes intelligente Sprachmodell, das wir heute verwenden.

Aber was wäre, wenn der Roboter gar keine Aufkleber bräuchte? Was wäre, wenn der Robot, anstatt auf ein Etikett zu schauen, die Reihenfolge der Geschichte einfach fühlen könnte, während er sie liest? Das ist die große Frage, die dieses Paper untersucht. Es erforscht einen neuen Weg, Sprachmodelle aufzubauen, die nicht auf diese externen Aufkleber angewiesen sind. Stattdessen nutzt es eine „Gedächtnisschleife“, die sich selbst aktualisiert, während es liest, und sich so natürlich an das erinnert, was zuvor geschah. Dies ist wichtig, denn wenn wir Sprachmodelle bauen können, die die Reihenfolge verstehen, ohne explizit gesagt bekommen zu müssen, wo sich jedes Wort befindet, können wir sie vielleicht intelligenter, effizienter und besser im Umgang mit sehr langen Geschichten machen, ohne dass sie den Faden verlieren.

Die große Idee des Papers: ZetaGPT

Der Autor dieses Papers stellt ZetaGPT vor, ein kleines, Open-Source-Sprachmodell, das genau das versucht zu tun: Es liest ohne Aufkleber. Das Hauptergebnis ist, dass durch das Platzieren eines speziellen „kausalen Zustandsraum-Moduls“ direkt vor dem Attention-Mechanismus des Modells das Modell die Reihenfolge der Wörter implizit durch seine eigene interne Dynamik lernen kann.

Stellen Sie sich ein Standard-Sprachmodell wie einen Schüler vor, der eine Prüfung ablegt und erlaubt ist, ein Referenzblatt (das Positional Encoding) zu benutzen, auf dem „Frage 1“, „Frage 2“ usw. steht. ZetaGPT ist wie ein Schüler, der sich ganz auf sein Gedächtnis an die bisherige Geschichte verlassen muss. Während der Schüler jedes Wort liest, verändert sich sein interner Zustand, wodurch ein einzigartiger „Fingerabdruck“ für diesen Moment in der Geschichte entsteht. Das Paper legt nahe, dass dieser interne Fingerabdruck ausreicht, um dem Modell zu sagen: „Hey, dieses Wort kommt nach jenem“, ohne dass es externe Hilfe benötigt.

Wie es funktioniert: Die Gedächtnisschleife

Um zu verstehen, wie ZetaGPT das schafft, stellen Sie sich ein Staffettenrennen vor. In einem normalen Rennen wird der Stab weitergereicht, und alle laufen einfach los. In der Version von ZetaGPT trägt der Läufer (das Modell) einen speziellen Rucksack (das Zustandsraum-Modul), der sich je nach dem, was er gerade passiert hat, in Form und Gewicht verändert.

1. Der Rucksack (Zustandsraum-Modul): Bevor das Modell die ganze Satzstruktur betrachtet, um Verbindungen zu verstehen (ein Prozess, der „Self-Attention“ genannt wird), führt es die Wörter zuerst durch diesen Rucksack. Der Rucksack ist ein „rekurrentes“ System, was bedeutet, dass er sich an die Vergangenheit erinnert. Wenn ein neues Wort eintritt, aktualisiert der Rucksack seinen internen Zustand basierend auf den vorherigen Wörtern.
2. Die Evolution: Das Paper zeigt, dass der Rucksack während des Trainings lernt, verschiedene „Gedächtnishorizonte“ zu entwickeln. Einige Teile des Rucksacks erinnern sich nur an die letzten paar Wörter (Kurzzeitgedächtnis), während andere einen langen Abschnitt der Geschichte speichern (Langzeitgedächtnis).
3. Das Ergebnis: Bis das Wort den Rucksack verlässt und in die Haupt-Attention-Schicht eintritt, ist es kein bloßes Rohwort mehr; es ist ein „positionsbewusstes“ Wort. Es trägt die Geschichte dessen in sich, wo es sich im Satz befand. Das Paper beobachtet, dass das Modell während des Trainings natürlich lernt, diese unterschiedlichen Gedächtnis-Zeitskalen zu nutzen, um die Sequenz zu kodieren, und damit effektiv die Notwendigkeit der „Aufkleber“ (Positional Encodings) ersetzt, die andere Modelle verwenden.

Was das Paper ausschließt und findet

Das Paper argumentiert explizit dagegen, dass wir explizite Positional Encodings (wie die zuvor erwähnten „Aufkleber“) verwenden müssen, um ein funktionierendes Sprachmodell zu bauen. Es lehnt die Vorstellung ab, dass Positionsinformationen eine „architektonisch erworbene Fähigkeit“ sein müssen, die von außen injiziert wird. Stattdessen schlägt es vor, dass diese Information eine „inhärente Eigenschaft“ der eigenen Dynamik des Modells sein kann.

Der Autor fand heraus, dass ZetaGPT funktioniert. Er trainierte drei Versionen des Modells (Small, Medium und Large) mit jeweils 34,4 Millionen, 159,2 Millionen und 479,9 Millionen Parametern. Er zeigte, dass diese Modelle lernen konnten, das nächste Wort in einem Satz vorherzusagen, ohne jemals ein Positional Encoding erhalten zu haben.

Das Paper ist jedoch vorsichtig in seiner Selbstgewissheit. Es behauptet nicht, das Problem der Sprachmodellierung „gelöst“ zu haben, oder dass ZetaGPT besser ist als die massiven Modelle, die von großen Tech-Unternehmen verwendet werden. Tatsächlich gibt der Autor zu, dass ihre Modelle klein sind und auf einem relativ bescheidenen Datensatz (dem WikiText-103-Korpus) trainiert wurden. Er merkt an, dass, da die Modelle klein sind, sie nur auf kurzen Kontexten (256, 512 und 1024 Token) trainiert wurden. Das Paper deutet an, dass die Architektur zwar auf diesen kleinen Skalen funktioniert, wir aber noch nicht wissen, ob sie auch bei den riesigen Modellen, die Millionen von Wörtern gleichzeitig lesen, genauso gut funktionieren wird.

Die gesamte Reise: Von Null aufwärts bis zum logischen Denken

Einer der spielerischsten und vollständigsten Teile dieses Papers ist, dass es nicht nur das Modell zeigt, sondern das gesamte „Rezept“ für dessen Bau. Der Autor bietet eine vollständige Open-Source-Pipeline an, die einen von Rohtext zu einem Modell führt, das logisch schlussfolgern kann.

• Der Tokenizer: Zuerat baute er einen „Tokenizer“ (einen Übersetzer, der Text in Zahlen verwandelt) von Grund auf neu, beginnend mit Rohbytes und durch Zusammenführung in ein Vokabular von 50.259 Symbolen.
• Das Training: Er trainierte das Modell vor (Pre-training), verfeinerte es dann für die Befolgung von Anweisungen (Instruction Tuning) und trainierte sogar ein „Reward Model“, um dem KI zu helfen, aus menschlichem Feedback zu lernen (RLHF).
• Der „Aha-Moment“: Schließlich nutzte er eine Technik namens Group Relative Policy Optimization (GRPO), um dem Modell das „Chain-of-Thought“-Denken beizubringen. Dies ist der Teil, in dem das Modell lernt, Schritt für Schritt zu denken, wie ein Mensch, der ein mathematisches Problem löst, ohne dass ihm die Schritte vorher explizit gezeigt wurden. Das Paper legt nahe, dass diese Denkfähigkeit direkt durch Reinforcement Learning „emergieren“ kann.

Die Einschränkungen

Der Autor ist sehr ehrlich über die Grenzen seiner Arbeit. Er stellt fest, dass die Hauptbeschränkungen auf den Rechenressourcen beruhen, die er zur Verfügung hatte, und nicht auf einem Fehler in der Idee selbst. Da er keinen Zugang zu Supercomputern mit unendlicher Leistung hatte, konnte er nicht auf den massiven Datensätzen (Billionen von Tokens) trainieren, die moderne Giganten nutzen. Folglich besitzen seine Modelle nicht das riesige Weltwissen jener größeren Systeme.

Er weist auch darauf hin, dass er, da er nicht auf extrem langen Texten trainieren konnte, noch nicht vollständig getestet hat, ob dieser „No-Sticker“-Ansatz auch für extrem lange Geschichten funktioniert. Das Paper kommt zu dem Schluss, dass ZetaGPT eine „kompakte Referenzimplementierung“ ist – ein Proof-of-Concept und ein Spielplatz für Forscher, um zu untersuchen, wie Positionsinformationen implizit statt explizit gelernt werden können, und kein fertiges Produkt, das bereit ist, die größten KI-Modelle der Welt zu ersetzen.

Kurz gesagt: ZetaGPT ist ein winziger, aufkleberfreier Roboter, der beweist, dass man einer Maschine beibringen kann, die Reihenfolge einer Geschichte zu verstehen, indem man sie einfach die Reise Wort für Wort erleben lässt. Es ist ein kleiner Schritt, aber er öffnet eine neue Tür für die Art und Weise, wie wir die nächste Generation von Sprachmodellen bauen könnten.