Die meisten Menschen, die heute künstliche Intelligenz nutzen, interagieren mit Systemen, die auf leistungsstarken, spezialisierten Computerchips laufen, die für riesige Rechenzentren entwickelt wurden. Diese Systeme sind darauf ausgelegt, tausende von Anfragen gleichzeitig zu bearbeiten, ein Prozess, der es ihnen ermöglicht, die Kosten ihrer schweren Berechnungen auf viele Nutzer zu verteilen. Doch für eine einzelne Person, die einen Standard-Laptop oder einen Desktop-Computer verwendet, ändern sich die Regeln der Effizienz vollkommen. Auf einem persönlichen Rechner kann der Computer nicht auf massiv parallele Verarbeitung zurückgreifen; stattdessen ist er durch die Geschwindigkeit begrenzt, mit der er Daten von seinem Speicher zu seinem Prozessor bewegen kann. Jedes Mal, wenn der Computer ein neues Wort in einem Satz generiert, muss er die gesamte Historie dieses Gesprächs erneut lesen, um den Kontext zu verstehen. Wenn das Gespräch länger wird, wird dieses erneute Lesen zu einer schweren Steuer, die das System erheblich verlangsamt. Die Herausforderung für Forscher besteht darin, ein Modell zu bauen, das Sprache gut versteht, aber nicht unter dieser wachsenden Speicherbelastung leidet, wenn es auf gewöhnlicher Hardware läuft.

Ein Forscher ging dieses Problem an, indem er ein neues Arten von Sprachmodell namens Daedalus-150M entwarf, das speziell für Einzelnutzer auf Standard-Computerprozessoren konzipiert ist. Anstatt ein großes, komplexes Modell zu nehmen und zu versuchen, es zu verkleinern, begann er mit den Einschränkungen des Rechners des Nutzers und baute die Architektur von Grund auf so, dass sie genau darauf passt. Das Ergebnis ist ein System, das wie ein Hybridmotor funktioniert. Es kombiniert zwei verschiedene Arten der Informationsverarbeitung: eine traditionelle Methode, die die gesamte Gesprächshistorie im Gedächtnis behält, und eine neuere, einfachere Methode, die sich nur an die letzten Momente erinnert. In diesem Design verfügt das Modell über achtzehn Verarbeitungsschichten. Sechs dieser Schichten verwenden die traditionelle Methode, um ein tiefes Verständnis des langfristigen Kontextes aufrechtzuerhalten, während die anderen zwölf Schichten eine Kurzzeitgedächtnis-Technik nutzen, die nur zwei Schritte zurückblickt. Das bedeutet, dass der Computer zwei Drittel der Zeit, in der er nachdenkt, nicht die gesamte Gesprächshistorie erneut lesen muss, sondern nur die unmittelbare Vergangenheit.

Der Forscher testete dieses Design gegen ein nahezu identisches Modell, das die traditionelle, speicherintensive Methode für alle achtzehn Schichten verwendete. Beide Modelle wurden mit der gleichen Menge an Daten trainiert, etwa sechzig Milliarden Wörtern, und beide wurden auf eine kleine Größe komprimiert, um auf einem Standardcomputer zu laufen. Der Vergleich war streng und im Voraus geplant: Der Forscher legte genau fest, was als Erfolg zählen würde, bevor er die Ergebnisse sah. Das Hybridmodell entsprach in seiner Fähigkeit, Fragen zu beantworten und Aufgaben zu erledigen, dem traditionellen Modell, war jedoch bei der Geschwindigkeit deutlich besser. Wenn das Gespräch kurz war, liefen beide Modelle mit ähnlicher Geschwindigkeit. Als das Gespräch jedoch länger wurde, verlangsamte sich das traditionelle Modell erheblich, da es immer mehr Historie erneut lesen musste. Das Hybridmodell hingegen hielt ein viel gleichmäßigeres Tempo. Bei einer Gesprächslänge von zweitausend Wörtern generierte das Hybridmodell Text fast doppelt so schnell wie sein traditionelles Gegenstück.

Dieser Geschwindigkeitsvorteil war nicht nur eine theoretische Berechnung; er wurde direkt auf einem Standard-Computerprozessor gemessen. Der Forscher fand heraus, dass die Fähigkeit des Hybridmodells, das erneute Lesen der gesamten Historie zu vermeiden, eine enorme Menge an Datentransport einsparte, was der primäre Engpass für diese Maschinen ist. Während eine einfache Berechnung der Datengröße nahelegte, dass das Hybridmodell nur etwas schneller sein sollte, war der tatsächliche Leistungsunterschied viel größer. Dies liegt daran, dass die traditionelle Methode komplexe, schrittweise Berechnungen beinhaltet, die von der gesamten Historie abhängen, welche auf einem einzelnen Prozessor langsam auszuführen sind. Die Hybridmethode vermeidet diese langsamen Schritte, indem sie den Speicherzustand der meisten Schichten klein und fest hält. Das Modell war zudem in der Dateigröße kleiner und nahm etwa sechs Prozent weniger Platz auf der Festplatte ein, was ein praktischer Vorteil für Nutzer mit begrenztem Speicherplatz ist.

Trotz dieser Erfolge war der Forscher sorgfältig darin, auch zu berichten, was nicht perfekt funktionierte. Er stellte fest, dass etwa die Hälfte der Kanäle in den Kurzzeitgedächtnis-Abschnitten des Modells letztlich nichts tat, was im Wesentlichen bedeutet, dass sie untätig blieben. Er fand auch heraus, dass das Modell einen Wortschatz verwendet, der für seine Größe größer als notwendig ist, was etwas seiner Kapazität verschwendet. Zudem schlug der Versuch fehl, das Modell speziell für das zur Beschleunigung verwendete komprimierte Datenformat zu trainieren, was bedeutete, dass das Modell nach dem Training komprimiert werden musste, was seine Genauigkeit leicht reduzierte. Dies sind eher technische Probleme als grundlegende Fehler im Design, und der Forscher merkte an, dass eine zukünftige Version dies beheben könnte, indem man anpasst, wie das Modell startet und wie es komprimiert wird.

Die Endergebnisse zeigten, dass diese spezifische Designentscheidung – die Mischung aus Langzeitgedächtnis und Kurzzeitgedächtnis – exakt wie beabsichtigt für die Zielumgebung funktioniert. Das Modell erzielte bei einer Reihe von fünf Standard-Sprachtests höhere Werte als andere Modelle ähnlicher Größe, die mit drei bis sechsmal mehr Daten trainiert wurden. Es übertraf sogar ein Modell, das mit einer Billion Wörtern trainiert wurde, obwohl ein wesentlich größeres Modell immer noch einen leichten Vorsprung in der rohen Intelligenz behielt. Die wichtigste Erkenntnis ist, dass es für einen Einzelnutzer auf einem Standardcomputer am effizientesten ist, ein Sprachmodell nicht so intelligent wie möglich, sondern so speicherschonend wie möglich zu bauen. Indem er akzeptierte, dass das Modell für jeden einzelnen Schritt nicht die gesamte Konversation erneut lesen muss, schuf der Forscher ein System, das sich reaktionsschnell und schnell anfühlt, selbst wenn das Gespräch lang wird, und bewies, dass ein anderer architektonischer Ansatz die spezifischen Probleme des alltäglichen Computings lösen kann.