High-Rate Quantized Matrix Multiplication II
Dieser Beitrag untersucht die hochratige quantisierte Matrixmultiplikation für die gewichtsbasierte Nachtrainingsquantisierung von LLMs, indem er zeigt, wie eine kovarianzbewusste Wasserfüllung eine gleichmäßige Ratenzuweisung verbessert, die basisfreie und nahezu optimale Leistung des WaterSIC-Verfahrens analysiert und nachweist, dass GPTQ mit zufälliger Rotation vergleichbare nahezu optimale Ergebnisse erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Das Gehirn der KI komprimieren
Stellen Sie sich ein massives Künstliches Intelligenz-Modell (KI) vor, wie eine riesige Wissensbibliothek, die versucht, ein Problem zu lösen. Um dies zu tun, führt es milliardenfach eine mathematische Operation namens Matrixmultiplikation (MatMul) durch. Denken Sie daran als den „Denkprozess" der KI.
Diese „Gewichte" (die Zahlen innerhalb der KI) nehmen jedoch einen enormen Speicherplatz in Anspruch. Um die KI schneller laufen zu lassen und auf kleineren Geräten betreiben zu können, komprimieren Ingenieure diese Zahlen, ein Prozess, der Quantisierung genannt wird. Es ist wie das Verkleinern eines hochauflösenden Fotos auf eine kleinere Dateigröße, damit es schneller lädt.
Dieses Paper ist der zweite Teil einer Studie darüber, wie man dieses Verkleinern am effizientesten gestaltet. Während der erste Teil das Verkleinern ohne vorheriges Wissen betrachtete, konzentriert sich dieses Paper auf ein Szenario, in dem wir doch über Vorwissen verfügen: Wir kennen die statistische „Form" der Daten, die die KI verarbeitet.
Das Kernproblem: Das „Nur-Gewichte"-Rätsel
In vielen modernen KI-Systemen (wie LLMs) werden die durch das System fließenden Daten (Aktivierungen) in voller Genauigkeit gehalten, während die „Gewichte" (das statische Wissen) komprimiert werden.
- Das Ziel: Wir wollen die Gewichte () so stark wie möglich komprimieren, ohne dass die Antworten der KI () zu fehlerhaft werden.
- Der Haken: Die „Fehlerhaftigkeit" (Verzerrung) hängt davon ab, wie die Gewichte mit den eingehenden Daten interagieren. Wenn die eingehenden Daten ein spezifisches Muster aufweisen (wie eine lange, schmale ovale Form), ist das Komprimieren der Gewichte in einer standardmäßigen, quadratischen Gitterweise ineffizient. Es ist wie der Versuch, einen langen, schmalen Koffer in einen quadratischen Karton zu packen; man verschwendet viel Platz.
Der alte Weg: „Ein Modell passt allen" (GPTQ)
Derzeit behandeln beliebte Methoden wie GPTQ jeden Teil der Gewichtsmatrix gleich. Sie verwenden ein Standardgitter (wie Millimeterpapier), um Zahlen zu runden.
- Die Analogie: Stellen Sie sich vor, Sie packen einen Koffer mit Gegenständen unterschiedlicher Größe. Die alte Methode verwendet für alles ein Gitter aus identischen Boxen. Sie legen einen winzigen Kieselstein in eine große Box und einen riesigen Felsen in eine große Box. Sie verschwenden Platz beim Kieselstein und passen den Felsen vielleicht nicht perfekt ein.
- Der Fehler: Diese Methode betrachtet nicht die spezifische Form der Daten. Sie geht davon aus, dass die Daten perfekt rund sind (isotrop). Wenn die Daten tatsächlich oval sind, ist diese Methode suboptimal.
Die neue Theorie: „Wasserfüllung" (Die ideale Lösung)
Die Autoren betrachten die Mathematik des Weighted Mean Squared Error (WMSE). Sie verwenden ein Konzept namens Wasserfüllung.
- Die Analogie: Stellen Sie sich eine Landschaft mit Hügeln und Tälern vor (die die Wichtigkeit verschiedener Teile der Daten repräsentieren). Sie möchten eine feste Menge „Wasser" (Ihre begrenzten Bits/Bandbreite) auf diese Landschaft gießen.
- Die Wasserfüllungs-Strategie besagt: Gießen Sie das Wasser zuerst in die tiefsten Täler. Dies sind die Teile der Daten, die am wichtigsten sind oder am empfindlichsten reagieren. Sie geben ihnen mehr „Auflösung" (mehr Bits).
- Die flachen Hügel erhalten weniger Wasser (weniger Bits).
- Dies stellt sicher, dass Sie das bestmögliche Bild für die Menge an Wasser erhalten, die Sie haben.
Mathematisch ist dies das „Informationstheoretische Limit" – das absolut Beste, was man überhaupt erreichen kann.
Die praktische Lösung: WaterSIC
Das Problem mit der Wasserfüllung ist, dass sie in Echtzeit schwer zu berechnen ist. Die Autoren schlagen einen praktischen Algorithmus namens WaterSIC vor.
- Wie es funktioniert: Es verwendet eine Technik namens Successive Interference Cancellation (SIC). Stellen Sie sich vor, Sie versuchen, ein Gespräch in einem lauten Raum zu hören. Sie hören zuerst die lauteste Stimme, verstehen sie und „löschen" sie dann aus, damit Sie die leiseren Stimmen besser hören können.
- Die Innovation: WaterSIC wendet diese Idee auf die Gewichte an. Es betrachtet die Form der Daten (unter Verwendung eines mathematischen Werkzeugs namens Cholesky-Zerlegung) und passt die „Gittergröße" für jeden Teil des Gewichts an.
- Für Teile der Daten, die „steif" oder wichtig sind, verwendet es ein feineres Gitter (mehr Bits).
- Für Teile, die „locker" oder weniger wichtig sind, verwendet es ein gröberes Gitter (weniger Bits).
Wichtige Erkenntnisse
- Nahezu perfekte Effizienz: Die Autoren beweisen, dass WaterSIC der theoretischen „Wasserfüllungs"-Grenze unglaublich nahe kommt. Es liegt nur etwa 0,25 Bits vom absolut besten möglichen Ergebnis entfernt. Dies ist eine winzige Lücke, was bedeutet, dass die Methode nahezu perfekt ist.
- Rotationsunempfindlichkeit: Eine der coolsten Erkenntnisse ist, dass WaterSIC „basisfrei" ist.
- Die Analogie: Stellen Sie sich eine Karte vor. Wenn Sie die Karte drehen, verschiebt sich der Nordpol. Einige Kompressionsmethoden brechen oder werden schlechter, wenn man die Daten dreht (wie das Drehen der Karte). WaterSIC funktioniert jedoch unabhängig davon, wie die Daten gedreht sind, genauso gut. Es passt sich der Form der Daten an, nicht der Richtung, in die sie zeigen.
- GPTQ ist überraschend gut (mit einem Twist): Das Paper fand auch heraus, dass die Standard-GPTQ-Methode (die keine ausgefallenen Wasserfüllungs-Anpassungen verwendet) überraschend gut funktioniert, wenn man die Daten zuerst zufällig dreht.
- Es stellt sich heraus, dass die Art und Weise, wie KI-Daten derzeit organisiert sind, tatsächlich „glücklich" ist (sie ist der optimalen Form nahe). Aber wenn man sie manipuliert (dreht), wird GPTQ schlechter, während WaterSIC stark bleibt.
Zusammenfassung
Dieses Paper stellt WaterSIC vor, einen intelligenteren Weg, KI-Gewichte zu komprimieren.
- Alter Weg: Verwende für alles ein Standardgitter (GPTQ).
- Neuer Weg: Betrachte die Form der Daten und passe die Gittergröße für jeden Teil an (WaterSIC).
- Ergebnis: Die neue Methode ist nahezu perfekt, theoretisch unübertroffen und robust, selbst wenn die Daten gemischt oder gedreht werden. Sie schließt die Lücke zwischen komplexer mathematischer Theorie und praktischer, schneller KI-Komprimierung.
Die Autoren kommen zu dem Schluss, dass zwar die aktuellen Methoden gut sind, es dennoch Raum für Verbesserungen gibt, insbesondere für die Komprimierung mit sehr wenigen Bits (wo man nur sehr wenige Bits zur Verfügung hat) und für die Beschleunigung der „Formgebung" von Daten auf Computerchips.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.