In der Welt des modernen Computing ist eine neue Art von Personal Computer entstanden, die mit leistungsstarken Prozessoren ausgestattet ist, die speziell für künstliche Intelligenz entwickelt wurden. Diese Maschinen, die oft in eleganten Laptops zu finden sind, enthalten spezialisierte Chips, die große Sprachmodelle ausführen können – Programme, die in der Lage sind zu schreiben, zu argumentieren und zu konversieren. Ein einzelnes Gerät hat jedoch eine harte Grenze: Sein Speicher ist zu klein, um das massive „Gehirn“ der fortschrittlichsten Modelle aufzunehmen, die weit mehr Speicherplatz benötigen, als ein einzelnes Gerät bereitstellen kann. Traditionell mussten Nutzer, um diese riesigen Modelle auszuführen, auf entfernte, teure Cloud-Server zurückgreifen, wobei sie ihre Fragen über das Internet sendeten und auf eine Antwort warteten. Dies schafft eine Abhängigkeit von externer Infrastruktur und wirft Bedenken hinsichtlich des Datenschutzes auf, da sensible Informationen das lokale Gerät verlassen müssen. Die Frage, vor der die Forscher standen, war, ob eine Gruppe dieser gewöhnlichen, im Leerlauf befindlichen Personal Computer zusammenarbeiten könnte, verbunden über ein Standard-Büronetzwerk, um ein Modell auszuführen, das zu groß für jeden einzelnen von ihnen ist, und dabei die Daten lokal halten und die Antwort schnell genug für ein echtes Gespräch ermöglichen.

Ein Team von Forschern setzte sich zum Ziel, dies zu beantworten, indem es ein System baute, das ein großes Modell der künstlichen Intelligenz in kleinere Stücke zerlegt und jedem Computer in einer kleinen Flotte ein Stück zuweist. Stellen Sie sich ein massives Buch vor, das zu schwer ist, um eine einzelne Person zu tragen; anstatt zu versuchen, es allein zu heben, steht eine Gruppe von Menschen in einer Reihe, von denen jeder ein Kapitel hält. Während sich die Geschichte entfaltet, liest die erste Person ihr Kapitel und gibt den Kontext an die nächste weiter, die dann ihr eigenes liest, und so weiter, bis die letzte Person den Satz beendet hat. In diesem System sind die „Kapitel“ Schichten (Layers) des KI-Modells, und das „Weitergeben“ geschieht über eine Standard-Netzwerkverbindung. Die Forscher entdeckten, dass es nicht ausreichte, das Modell einfach auf diese Weise aufzuteilen; die Übergabe zwischen den Computern war zu langsam und der Prozess der Überprüfung der Arbeit war zu umständlich, was das System träge machte. Um dies zu beheben, entwickelten sie drei spezifische Techniken, die ein langsames, experimentelles Setup in ein schnelles, nutzbares Werkzeug verwandelten.

Der erste Durchbruch bestand in einer subtilen Änderung der Art und Weise, wie die Modellstücke vorbereitet wurden, noch bevor sie überhaupt eingeschaltet wurden. Als die Forscher die Modellschichten ursprünglich exportierten, um sie auf dem Grafikchip des Computers auszuführen, übersah die Software eine entscheidende Optimierung, die normalerweise die Geschwindigkeit erhöht. Durch das Einschleusen einer spezifischen, einfachen Anweisung in den Code jedes Stücks entlockten sie dem Grafikprozessor eine verborgene Effizienz. Diese kleine Anpassung ermöglichte es den aufgeteilten Stücken, fast so schnell zu laufen wie das ursprüngliche, unaufgeteilte Modell auf einem einzigen Gerät. Oh ohne diese Korrektur wäre das System signifikant langsamer gewesen, aber mit ihr verschwand der Leistungsunterschied fast vollständig, was bewies, dass das Modell ohne Einbußen bei der Geschwindigkeit aufgeteilt werden konnte.

Die zweite Herausforderung war der Umgang mit dem „Entwurfsverfahren“ (Drafting), das verwendet wird, um das Denken der KI zu beschleunigen. Normalerweise rät ein kleineres, schnelleres Modell die nächsten Wörter voraus, und das Hauptmodell überprüft diese. Wenn die Vermutung falsch ist, muss das Hauptmodell die falsche Vermutung verwerfen und von vorn beginnen. Auf den spezialisierten Chips, die in diesen Computern verwendet werden, war die Standardmethode, eine falsche Vermutung zu verwerfen, unglaublich langsam und dauerte fast eine halbe Sekunde für jede Korrektur – lang genug, um den Fluss des Gesprächs zu ruinieren. Die Forscher fanden einen cleveren Workaround: Anstatt die falschen Vermutungen physisch aus dem Speicher des Computers zu löschen, sagten sie der KI einfach, sie solle sie ignorieren. Indem sie die falschen Vermutungen in den Hintergrunddaten als unsichtbar markierten, erreichte das System exakt dasselbe Ergebnis wie das Löschen, jedoch in einem Bruchteil einer Sekunde. Dies ermöglichte es dem System, die schnellere Entwurfstechnik ohne die Strafe zu nutzen, was die KI viel reaktionsschneller erscheinen ließ.

Die dritte Innovation ermöglichte es dem System, mehrere Personen gleichzeitig zu bedienen. In einem Standard-Setup sitzen die anderen Computer in der Reihe oft untätig herum, während ein Computer arbeitet, und warten auf ihren Einsatz. Die Forscher entwarfen eine Methode, bei der die Computer Anfragen von verschiedenen Nutzern gleichzeitig bearbeiten können. Während ein Computer gerade einen Satz für Nutzer A fertigstellt, kann der nächste Computer in der Reihe bereits einen Satz für Nutzer B beginnen. Dieses Verweben (Interleaving) von Aufgaben hielt jeden Rechner in der Flotte beschäftigt und vervielfachte effektiv die Gesamtgeschwindigkeit der Gruppe. In Kombination mit den beiden anderen Korrekturen ermöglichte dieser Ansatz einer Zwei-Computer-Flotte, zwei Nutzer mit einer Geschwindigkeit zu bedienen, die fast doppelt so schnell ist, wie ein einzelner Computer einen einzelnen Nutzer bedienen könnte.

Die Ergebnisse wurden auf einer Flotte von drei High-End-Laptops gemessen, die über ein Standard-WLAN verbunden waren. In Tests bediente ein Zwei-Computer-Setup, das ein populäres 8-Milliarden-Parameter-Modell ausführt, zwei Nutzer mit einer Rate von fast 44 Wörtern pro Sekunde, was schnell genug für ein natürliches, interaktives Gespräch ist. Dies war 1,79-mal schneller als ein einzelner Computer, der dasselbe Modell für nur einen Nutzer ausführt. Noch beeindruckender war, dass das System auch dann nutzbar blieb, wenn die Forscher eine langsame, weit entfernte Internetverbindung simulierten, während eine unoptimierte Version desselben Setups zu langsam für die Praxis geworden wäre. Das System konnte zudem erfolgreich ein massives 70-Milliarden-Parameter-Modell ausführen, eine Größe, die kein einzelner Computer in der Flotte allein halten konnte. Durch das Aufteilen dieses riesigen Modells auf vier Computer erreichten die Forscher interaktive Geschwindigkeiten und bewiesen damit, dass eine Gruppe von Consumer-Geräten Aufgaben bewältigen kann, die zuvor massiven Rechenzentren vorbehalten waren.

Die Studie untersuchte auch, wie sich das System unter verschiedenen Bedingungen verhält. Sie fanden heraus, dass die Netzwerkgeschwindigkeit weniger wichtig war als die Effizienz der Übergaben zwischen den Computern. Wenn die Verbindung langsam war, kompensierte das System dies, indem es in einem einzigen Durchgang mehr Wörter gleichzeitig verarbeitete, was die Verzögerungen glättete. Sie testeten das System auch über eine echte Wide-Area-Network-Verbindung über das Internet, wobei die Ergebnisse bestätigten, dass die Flotte mit den richtigen Optimierungen selbst dann eine stetige Gesprächsgeschwindigkeit beibehalten konnte, wenn die Computer weit voneinander entfernt waren. Die Forscher merkten an, dass das System zwar gut funktioniert, aber darauf angewiesen ist, dass sich die Computer in einer vertrauenswürdigen Umgebung befinden, da es keine eingebauten Sicherheitsfunktionen wie Verschlüsselung oder Authentifizierung enthält. Darüber hinaus beobachteten sie, dass die physikalische Hitze, die die Computer während des dauerhaften Gebrauchs erzeugen, sie schließlich verlangsamen könnte – ein Faktor, der in einem realen Einsatz gemanagt werden müsste.

Letztendlich zeigt diese Arbeit, dass die Barriere für das Ausführen leistungsstarker künstlicher Intelligenz nicht nur die Hardware ist, sondern wie diese Hardware genutzt wird. Durch das Überdenken der Art und Weise, wie Modelle aufgeteilt, Fehler korrigiert und mehrere Nutzer bedient werden, kann eine kleine Gruppe gewöhnlicher Computer als eine einzige, leistungsstarke Maschine agieren. Die Forscher stellten ihren Code und ihre Daten der Öffentlichkeit zur Verfügung, damit andere die Ergebnisse überprüfen und das System weiterentwickeln können. Die Erkenntnisse legen nahe, dass Organisationen in naher Zukunft ihre eigenen privaten, Hochgeschwindigkeits-KI-Cluster mit den Computern betreiben könnten, die sie bereits besitzen, wodurch Daten lokal bleiben und die Abhängigkeit von externen Cloud-Diensten reduziert wird. Das System bewies, dass mit der richtigen Software die kollektive Kraft einer Flotte von im Leerlauf befindlichen Maschinen genutzt werden kann, um Probleme zu lösen, die einst einen Supercomputer erforderten.