Deterministic multi-hash routing supports long-horizon training in a compact language model

In der sich rasant entwickelnden Welt der künstlichen Intelligenz versuchen Forscher ständig, Maschinen zu bauen, die Sprache verstehen und über die Welt schlussfolgern können. Um dies zu erreichen, erschaffen sie digitale Gehirne, sogenannte Sprachmodelle, die im Wesentlichen riesige Netzwerke aus Zahlen sind, die Muster aus gewaltigen Mengen an Text lernen. Eine gängige Strategie, um diese Modelle intelligenter zu machen, ohne sie unmöglich groß werden zu lassen, ist die Verwendung eines Designs namens „Mixture of Experts“ (Mischung von Experten). Stellen Sie sich eine Bibliothek vor, in der nicht jedes Buch von einem einzelnen Bibliothekar gelesen wird, sondern verschiedene Abschnitte der Bibliothek von verschiedenen Spezialisten bearbeitet werden. In einem Computermodell bedeutet dies, dass für ein gegebenes Wort das System nur eine kleine, spezifische Gruppe interner Prozessoren oder „Experten“ aktiviert, während der Rest im Ruhezustand bleibt. Normalerweise entscheidet der Computer, welche Experten zu verwenden sind, indem er den Kontext des Satzes analysiert und sich selbst fragt: „Was für eine Art von Wort ist das, und was braucht es gerade?“ Dieser Entscheidungsprozess wird vom Modell selbst während des Trainings gelernt, was es flexibel, aber auch komplex und schwer vorhersehbar macht.

Ein Forscher namens Boris Peyriguere hat einen anderen Weg erforscht und eine einfache, aber kühne Frage gestellt: Was wäre, wenn der Computer gar nicht entscheiden müsste, welche Experten er verwendet? Anstatt eine dynamische Regel für jeden Satz zu lernen, was wäre, wenn die Wahl des Experten allein auf Basis des Wortes selbst dauerhaft festgelegt wäre? In diesem neuen Ansatz fungiert die Identität des Wortes wie ein permanenter Schlüssel, der immer dieselben zwei Türen öffnet, unabhängig von der umgebenden Konversation. Der Forscher baute ein kompaktes Sprachmodell mit etwa 201 Millionen Parametern – ein Maß für seine Größe und Komplexität – und trainierte es unter Verwendung dieses starren, vorbestimmten Systems. Das Modell wurde während seiner anfänglichen Lernphase etwa 130 Milliarden Wörtern ausgesetzt, dann mit weiteren 32 Milliarden Wörtern verfeinert und schließlich darauf trainiert, Anweisungen zu befolgen. Die Ergebnisse zeigten, dass dieses feste System über einen langen Zeitraum effektiv lernen konnte und ein Modell hervorbrachte, das überraschend gut bei Tests zum physikalischen Denken und zum gesunden Menschenverstand abschnitt und sogar einige größere, traditionellere Modelle übertraf, die mit anderen Methoden trainiert worden waren.

Der Kern dieses Experiments liegt darin, wie das Modell Informationen verarbeitet. In einem Standard-Setup analysiert der Computer die aktuelle Situation, um die besten Werkzeuge auszuwählen. In Peyrigueres Modell werden die Werkzeuge in dem Moment ausgewählt, in dem das Wort gesehen wird, basierend auf einer vorgefertigten Karte, die sich nie ändert. Für jedes einzelne Wort in dem Vokabular des Modells ist ein spezifisches Paar von Experten zugewiesen. Diese Karte wurde vor dem Training erstellt und blieb während des gesamten Prozesses unveränderlich. Das Modell nutzt dennoch einen gemeinsamen Pfad, der jedes Wort verarbeitet, um sicherzustellen, dass es den Kontext versteht, aber die zusätzliche „residuelle“ Rechenleistung kommt aus jenen zwei vorab zugewiesenen Experten. Dieses Design entfernt eine Ebene der Komplexität: Das Modell muss nicht mehr lernen, wie es Informationen leitet, was Rechenaufwand spart und das System leichter überprüfbar macht. Da die Routing-Tabelle eine feste Liste von ganzen Zahlen ist, kann jeder, der das Modell betrachtet, genau sehen, welche Experten für ein gegebenes Wort verwendet werden, ohne erst einen Satz durch den Computer laufen lassen zu müssen.

Der Trainingsprozess war rigoros und transparent. Das Modell begann mit einer Basisphase, in der es eine massive Sammlung von Texten durchlief, darunter Webseiten, Lehrmaterialien, Code und Mathematik. Nach dieser ersten Exposition unterbrachen die Forscher das Training und starteten es mit einem frischen Satz interner Einstellungen neu, wobei sie dieselben einzigartigen Wörter erneut besuchten, um das Verständnis des Modells zu verfeinern, ohne exakt dieselbe Sequenz von Ereignissen zu wiederholen. Schließlich durchlief das Modell ein Instruction Tuning, bei dem ihm 300.000 Beispiele von Fragen und Antworten gezeigt wurden, um zu lernen, wie man Befehlen folgt. Während dieser gesamten Reise hielt das feste Routing-System stand. Das Modell kollabierte nicht oder scheiterte nicht am Lernen; stattdessen verbesserte es stetig seine Fähigkeit, Probleme zu lösen. Am Ende des Trainings war das Modell insgesamt über 162 Milliarden Wörtern ausgesetzt, eine signifikante Menge an Daten für ein Modell seiner Größe.

Bei Tests seiner Fähigkeit zu logischem Schlussfolgern lieferte das Modell solide Ergebnisse. In einem Test namens PIQA, der das Verständnis physikalischer Interaktionen misst, erreichte das Modell eine Genauigkeit von 68,01 Prozent. Bei einem Satz von Wissenschaftsfragen, bekannt als ARC-Challenge, erzielte es 27,13 Prozent. Besonders bemerkenswert war, dass das Modell bei der Kombination seiner Ergebnisse aus zwei verschiedenen Wissenschaftsfragen eine kombinierte Genauigkeit von 47,29 Prozent erreichte. Diese Leistung war höher als die mehrerer öffentlicher Modelle, die deutlich größer waren und zwischen 350 Millionen und 774 Millionen Parameter enthielten. Diese größeren Modelle wurden nach denselben strengen Regeln und Testmethoden evaluiert, erreichten jedoch nicht die Leistung dieses kleineren Modells mit festem Routing. Dies deutet darauf darauf hin, dass die Effizienz des festen Routing-Systems es dem Modell ermöglichte, seine begrenzte Größe besser zu nutzen.

Der Forscher ist jedoch vorsichtig damit, nicht zu behaupten, dass diese Methode die ultimative Lösung sei oder dass sie anderen Ansätzen definitiv überlegen ist. Die Studie stellt explizit fest, dass sie keine vergleichbare, voll skalierte dichte Kontrollgruppe oder eine Multi-Seed-Replikation enthält. Ohne ein solches kontrolliertes Experiment ist es unmöglich, mit Sicherheit zu sagen, ob das feste Routing die hohe Leistung verursachte oder ob andere Faktoren, wie die spezifischen Daten oder der Zeitplan des Trainings, eine größere Rolle spielten. Das Paper stellt ausdrücklich klar, dass es nicht beweist, dass festes Routing besser ist als das flexible, gelernte Routing, das in den meisten modernen Systemen verwendet wird. Stattdessen dient die Arbeit als Proof of Concept: Sie demonstriert, dass ein Modell mit festen, unveränderlichen Routen über einen langen Zeitraum trainiert werden kann, komplexe Aufgaben bewältigen kann und ein qualitativ hochwertiges Ergebnis liefert.

Die Bedeutung dieser Arbeit erstreckt sich über die reinen Zahlen hinaus. Indem der Forscher die Routing-Tabelle zu einem festen, auditierbaren Teil des Modells macht, hat er ein System geschaffen, das leichter zu inspizieren und zu verifizieren ist. In vielen fortgeschrittenen KI-Systemen ist der Entscheidungsprozess eine „Black Box“, die sich verändert, während das Modell lernt, was es schwierig macht, genau zu verstehen, wie eine bestimmte Entscheidung getroffen wurde. In diesem Modell ist der Pfad klar und unveränderlich. Wenn man wissen möchte, welche Experten ein Wort aktivieren wird, schaut man einfach die Tabelle des Wortes nach. Diese Transparenz kann wertvoll für Forscher sein, die verstehen müssen, wie genau ein Modell funktioniert, oder für Entwickler, die sicherstellen wollen, dass das System vorhersagbar agiert. Das Modell zeigte auch, dass es lange Trainingssitzungen bewältigen konnte, ohne dass das Routing-System instabil wurde – eine Sorge, die festes Routing zuvor als riskant für groß angelegte Anwendungen erscheinen ließ.

Letztendlich bietet dieses Paper eine neue Perspektung darauf, wie man effiziente Sprachmodelle baut. Es fordert die Annahme heraus, dass der Computer ständig lernen muss, wie er seine eigenen Werkzeuge wählt, und zeigt stattdien, dass eine vorbestimmte, statische Wahl genauso gut funktionieren kann, und im Hinblick auf die Effizienz für ein kompaktes Modell vielleicht sogar besser. Das vom Forscher veröffentlichte Modell sowie dessen Trainingscode und Evaluierungswerkzeuge stehen anderen zur Verfügung, um sie zu studieren und zu replizieren. Diese Offenheit ermöglicht es der wissenschaftlichen Gemeinschaft, die Ergebnisse weiter zu testen, etwa indem man dasselbe Experiment mit anderen Daten durchführt oder es direkt gegen ein Standardmodell vergleicht. Für den Moment steht die Studie als Demonstration dafür, dass ein einfacherer, starrerer Routing-Ansatz eine lange und produktive Trainingsreise bewältigen kann und ein fähiges sowie transparentes Sprachmodell hervorbringt, das über sein Gewicht hinaus Leistung erbringt.