In der modernen digitalen Landschaft haben leistungsstarke Systeme der künstlichen Intelligenz, bekannt als Large Language Models, die Art und Weise verändert, wie Computer menschliche Sprache verstehen und generieren. Diese Systeme basieren auf riesigen Sammlungen von Datenpunkten, den sogenannten Parametern, die als die interne Wissensbasis des Modells fungieren. Ein typisches Modell kann Milliarden dieser Parameter enthalten, was eine erhebliche Menge an Computerspeicher erfordert, um sie zu speichern. Jahrelang war das Ausführen dieser komplexen Systeme das Terrain massiver Rechenzentren, die mit spezialisierten, Hochgeschwindigkeits-Grafikprozessoren ausgestattet sind. Eine wachsende Bewegung strebt jedoch danach, diese Intelligenz näher dorthin zu bringen, wo Menschen tatsächlich leben und arbeiten, indem sie diese auf kleineren, lokalen Computern platziert, die als Edge-Nodes bezeichnet werden. Diese Geräte finden sich oft in Büros, Häusern oder entlegenen Gebieten, in denen die Internetverbindung unzuverlässig ist oder Datenschutzbedenken verhindern, dass Daten das Gebäude verlassen. Die Herausforderung für Ingenieure besteht darin, dass diese lokalen Geräte normalerweise nicht über die leistungsstarken Grafikprozessoren verfügen, die in Rechenzentren zu finden sind, sondern stattdessen auf Standard-Zentralprozessoren angewiesen sind, den allgemeinen Gehirnen der meisten Computer. Die entscheidende Frage war, ob diese bescheidenen, alltäglichen Maschinen tatsächlich die schwere Arbeit bewältigen können, die das Ausführen fortgeschrittener Sprachmodelle erfordert, und wenn ja, wie viel Speicher sie benötigen und wie schnell sie arbeiten können.

Ein Team von Forschern setzte sich zum Ziel, diese Fragen zu beantworten, indem es die Grenzen eines einzelnen, repräsentativen Edge-Computers testete. Sie bauten keine neue Software und erfanden keinen schnelleren Chip; stattd�elten sie sich als sorgfältige Beobachter, die genau maßen, was passiert, wenn ein Standardcomputer versucht, drei verschiedene Größen von Sprachmodellen auszuführen. Sie testeten Modelle, die von einer kompakten Version mit 1,1 Milliarden Parametern bis hin zu einer robusteren Version mit 7 Milliarden Parametern reichten. Für jedes Modell ließen sie das System mit drei verschiedenen Präzisionsstufen laufen, was man sich als den Grad der Detailgenauigkeit vorstellen kann, mit dem der Computer seine internen Zahlen speichert. Die Forscher wollten sehen, ob die gängige Praxis, diesen Detailgrad zu reduzieren – bekannt als Quantisierung –, diesen lokalen Maschinen helfen würde, schneller zu laufen und weniger Speicher zu verbrauchen, genau wie es in leistungsstarken Rechenzentren der Fall ist.

Die Ergebnisse, die sie aufdeckten, offenbarten eine überraschende Realität, die dem weit verbreiteten Glauben über diese Systeme widerspricht. In den leistungsstarken Rechenzentren der Welt ist die Reduzierung der Präzision eines Modells eine bewährte Strategie, die den Speicherverbrauch halbiert oder mehr senkt und die Leistung steigert. Auf dem im Rahmen dieser Studie getesteten lokalen, CPU-basierten Computer geschah jedoch genau das Gegenteil. Als die Forscher die Präzision reduzierten, um Platz zu sparen, benötigte der Computer tatsächlich signifikant mehr Speicher, um das Modell auszuführen. Für das größte getestete Modell, das theoretisch etwa 14 Gigabyte Speicher benötigt hätte, verlangte das System bei reduzierter Präzision fast 20 Gigabyte. Dieser Anstieg von etwa 48 Prozent geschah, weil der Standardprozessor des Computers die komprimierten, niedrig-präzisen Zahlen nicht nativ verstehen konnte. Anstatt sie direkt zu verarbeiten, musste das System die komprimierten Gewichte im Speicher halten und sie gleichzeitig für jede einzelne Berechnung wieder in ein Standardformat umwandeln. Dies schuf eine doppelte Belastung, da der Computer sowohl die komprimierten Gewichte als auch die Konvertierungspuffer hielt, während die Aktivierungen und der Attention-Cache währenddessen im Standardformat blieben, was die Speicherlast effektiv erhöhte, statt sie zu verringern.

Über das Speicherproblem hinaus identifizierte die Studie genau, was den Computer verlangsamte. Die Forscher fanden heraus, dass der Prozessor mit nahezu 100 Prozent Kapazität arbeitete, aber dennoch nur sehr wenige Ergebnisse lieferte. Dies deutete darauf hin, dass die Maschine nicht mit der Mathematik selbst kämpfte, sondern darauf wartete, dass Daten aus ihrem Speicher eintrafen. Der Engpass war die Geschwindigkeit, mit der Informationen von den Speicherchips zum Prozessor gelangen konnten, eine Grenze, die als Speicherbandbreite bekannt ist. Da der Computer ständig auf Daten warten musste, konnte er nur eine Anfrage zur Zeit bearbeiten. Wenn ein Benutzer versuchte, zwei Fragen gleichzeitig zu stellen, wäre das System nicht in der Lage gewesen, die Arbeit auf zwei Threads aufzuteilen; es wäre einfach überfordert gewesen. Die einzelne Anfrage sättigte die Maschine, was bedeutete, dass ein Netzwerk, um mehrere Benutzer zu bedienen, physisch mehr Computer hinzufügen müsste, anstatt zu versuchen, mehr Arbeit aus einem einzelnen Gerät herauszuquetschen.

Der Leistungsabfall war noch dramatischer, als die Forscher die Geschwindigkeit untersuchten. Das fähigste Modell, das mit seiner Standardpräzision lief, konnte etwa 3,76 Wörter pro Sekunde generieren, was langsam, aber nutzbar für eine Konversation ist. Als die Forscher jedoch die Kompressionstechniken anwandten, die eigentlich dazu gedacht waren, die Dinge schneller zu machen, stürzte die Geschwindigkeit ab. Das System verlangsamte sich auf weniger als ein Wort pro Sekunde, was die Interaktion quälend träge erscheinen ließ. Im extremsten Fall der Kompression erzeugte das System nur alle sechzehn Sekunden ein neues Wort, was es für eine Echtzeit-Konversation unbrauchbar machte. Dies bestätigte, dass die Techniken, die für leistungsstarke Grafikkarten entwickelt wurden, auf diesen lokalen Maschinen nicht nur ineffektiv, sondern sogar aktiv schädlich waren, da sie Geschwindigkeit gegen eine Speicherstrafe eintauschten, die die Maschine sich nicht leisten konnte.

Um Ingenieuren bei der Planung dieser Realitäten zu helfen, entwickelten die Forscher eine einfache Regel, um zu schätzen, wie viel Speicher ein lokaler Computer tatsächlich benötigen würde. Sie fanden heraus, dass die benötigte Speichermenge nicht nur eine Frage der Größe der Modellparameter ist. Stattdessen hängt der gesamte Speicherverbrauch stark vom gewählten Präzisionsniveau ab. Für ein Standard-, unkomprimiertes Modell entspricht der benötigte Speicher in etwa der Größe der Modellgewichte. Doch für komprimierte Modelle fanden die Forscher heraus, dass der Speicherbedarf bei einer Ebene der Kompression auf etwa das Dreifache der Gewichtgröße springt und bei der tiefsten Ebene auf fast das Sechsfache. Das bedeutet, dass ein Ingenieur, der plant, ein großes Modell auf einem lokalen Gerät auszuführen, einen Rechner mit deutlich mehr Speicher bereitstellen muss, als die Dateigröße des Modells vermuten lässt. Ein Computer mit 32 Gigabyte Speicher könnte zwar ein großes Modell ausführen, hätte aber sehr wenig Spielraum für das Betriebssystem oder andere Aufgaben und könnte sicherlich nicht zwei solcher Modelle gleichzeitig ausführen.

Die Studie kommt zu dem Schluss, dass es zwar möglich ist, fortgeschrittene Sprachmodelle auf lokalen, reinen CPU-Geräten auszuführen, dies jedoch ein komplettes Umdenken bei der Bereitstellung dieser Systeme erfordert. Die Strategien, die im Cloud-Bereich funktionieren, lassen sich nicht auf den Edge übertragen. Ingenieure können nicht einfach ein für ein Rechenzentrum optimiertes Modell nehmen und erwarten, dass es effizient auf einem lokalen Laptop oder Server läuft. Sie müssen berücksichtigen, dass diese Maschinen durch die Geschwindigkeit begrenzt sind, mit der sie Daten bewegen können, und nicht durch die Geschwindigkeit, mit der sie berechnen können. Sie müssen auch akzeptieren, dass das Komprimieren des Modells zur Platzersparnis wahrscheinlich die Geschwindigkeit verringern und mehr Speicher benötigen wird, anstatt weniger. Für diejenigen, die diese Systeme an Orten mit Datenschutzbedenken oder schlechter Internetverbindung einsetzen müssen, besteht der Weg nach vorn darin, die richtige Modellgröße für den verfügbaren Speicher zu wählen und zu akzeptieren, dass ein einzelner lokaler Computer jeweils nur eine Person gleichzeitig bedienen kann. Die Ära der Edge-Intelligenz ist angebrochen, aber sie folgt anderen Regeln als die Rechenzentren vor ihr.