FAMPWQ: Fisher Information-based Adaptive Mixed Precision Weight Quantization for Effective LLM Inference

Große Sprachmodelle sind die Motoren hinter einer neuen Generation künstlicher Intelligenz, die in der Lage sind, Geschichten zu schreiben, Probleme zu lösen und Gespräche mit einer Flüssigkeit zu führen, die einst unmöglich schien. Diese Systeme basieren auf riesigen Netzwerken mathematischer Verbindungen, die als Parameter bekannt sind und als Zahlen im Speicher eines Computers gespeichert werden. Je komplexer das Modell ist, desto mehr Speicher benötigt es für den Betrieb. Während diese Modelle in leistungsstarken Rechenzentren brillant funktionieren, macht ihre massive Größe sie schwierig einsetzbar auf Alltagsgeräten wie Laptops oder Smartphones, die weit weniger Speicherplatz und Rechenleistung besitzen. Um diese Lücke zu schließen, nutzen Ingenieure eine Technik namens Quantisierung. Dieser Prozess vereinfacht die Zahlen innerhalb des Modells, indem er deren Präzision reduziert, um Platz zu sparen. Diese Vereinfachung ist jedoch ein empfindlicher Kompromiss: Wenn die Zahlen zu aggressiv gerundet werden, schwindet die Intelligenz des Modells, und es beginnt, Fehler zu machen oder die Fähigkeit zu verlieren, den Kontext zu verstehen.

Jahrelang war der Standardansatz für dieses Problem, jeden Teil des Modells gleich zu behandeln. Ingenieure wandten ein einheitliches Maß an Vereinfachung auf das gesamte System an, ganz ähnlich wie man eine Holzskulptur mit dem gleichen Schleifpapier über die gesamte Oberfläche schleift. Diese Methode ist einfach, ignoriert aber eine entscheidende Realität: Nicht alle Teile eines Sprachmodells sind gleichermaßen wichtig. Einige Abschnitte des Netzwerks sind hochsensibel gegenüber Veränderungen, wobei selbst ein winziger Fehler das Ergebnis ruinieren kann, während andere Abschnitte robust sind und eine erhebliche Vereinfachung ohne spürbaren Qualitätsverlust tolerieren können. Jüngste Forschungen haben gezeigt, dass die Anwendung desselben Kompressionsgrades sowohl auf sensible als auch auf robuste Bereiche dazu führt, dass man sich zwischen dem Verschwenden von Speicherplatz für Teile, die ihn nicht benötigen, oder der Zerstörung der Intelligenz des Modells durch Überkompression der Teile, die dies tun, entscheiden muss.

Ein Team von Forschern hat nun eine neue Methode namens FAMPWQ entwickelt, die dieses Problem löst, indem sie jede Schicht des Modells individuell behandelt. Anstatt eine einzige Regel für das gesamte System anzuwenden, misst ihr Ansatz, wie sensibel jede spezifische Schicht gegenüber Kompression ist, bevor entschieden wird, wie stark sie vereinfacht wird. Um dies zu tun, verwenden sie ein mathematisches Konzept namens Fisher-Information, das wie ein Stresstest für die interne Struktur des Modells wirkt. Sie führen eine kleine, simulierte Störung der Zahlen in einer spezifischen Schicht ein und beobachten, wie stark sich die Leistung des Modells als Reaktion darauf verändert. Wenn die Leistung drastisch sinkt, wird die Schicht als sensibel eingestuft und mit einer höheren Präzision beibehalten. Wenn die Leistung stabil bleibt, wird die Schicht als robust identifiziert und aggressiver komprimiert. Dies ermöglicht es dem System, die kritischen, empfindlichen Teile des Modells zu bewahren und gleichzeitig die redundanten Teile aggressiv zu verkleinern, wodurch ein maßgeschneiderter Ausgleich für jedes einzelne Modell geschaffen wird.

Sobald die Forscher die Sensitivität jeder Schicht kartiert haben, nutzen sie einen Lernalgorithmus, um zu entscheiden, wie viele Bits an Präzision jeder Schicht zuzuweisen sind. Dieser Algorithmus fungiert als strategischer Planer, der nach der perfekten Mischung aus hoher und niedriger Präzision sucht, die in ein striktes Speicherlimit passt und gleichzeitig die Intelligenz des Modells intakt hält. Das Ziel ist es, eine Konfiguration zu finden, bei der der Speicherverbrauch minimiert wird, aber der Genauigkeitsverlust so gering wie möglich gehalten wird. Durch die Verwendung dieser adaptiven Strategie konnten die Forscher die Grenzen dessen verschieben, was mit komprimierten Modellen möglich ist. In Tests an mehreren verschiedenen großen Sprachmodellen übertraf ihre Methode konsistent bestehende Techniken. Als die Modelle auf durchschnittlich nur drei Bits pro Zahl komprimiert wurden, lieferte der neue Ansatz Ergebnisse, die signifikant genauer waren als die anderer Methoden, wobei einige Tests eine Reduktion der Fehler um fast 7 Prozent zeigten.

Die Ergebnisse dieser Arbeit legen nahe, dass die Zukunft des Betriebs leistungsstarker künstlicher Intelligenz auf kleineren Geräten in der Flexibilität statt in der Uniformität liegt. Die Forscher fanden heraus, dass sie, indem sie die einzigartigen Bedürfnisse jedes Teils des Netzwerks respektierten, eine hohe Leistung selbst bei extrem geringem Speicherbedarf aufrechterhalten konnten. In direkten Vergleichen, bei denen die Modelle aufgefordert wurden, die Qualität ihrer eigenen Antworten zu beurteilen, gewann die neue Methode in bis zu 76 Prozent der Fälle gegen andere führende Ansätze. Dies deutet darauf hin, dass die Modelle ein viel tieferes Verständnis von Sprache und Logik bewahrt haben, als unter solch engen Einschränkungen bisher für möglich gehalten wurde. Obwohl die Methode eine initiale Analysephase erfordert, um die besten Einstellungen zu bestimmen, ist dieser Aufwand eine einmalige Ausgabe, die durch die Fähigkeit abbezahlt wird, diese hochentwickelten Modelle auf Hardware auszuführen, die zuvor zu begrenzt war, um sie zu unterstützen. Die Arbeit demonstriert, dass wir durch die sorgfältige Messung der Fragilität der Komponenten eines Systems es weit effektiver komprimieren können, als wenn wir eine Einheitslösung anwenden.