An Empirical Study of OpenPangu Quantization on Ascend NPUs
Diese Arbeit präsentiert eine empirische Studie zur Evaluierung verschiedener Post-Training-Quantisierungsmethoden für die OpenPangu 1B- und 7B-Modelle auf Huawei Ascend 910B1 NPUs, wobei aufgezeigt wird, dass eine 8-Bit-Quantisierung effektiv verlustfrei ist, während 4-Bit nur für das größere Modell praktikabel bleibt und Ultra-Low-Precision-Einstellungen weitgehend scheitern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben zwei sehr kluge Roboter, einen kleinen (das 1B-Modell) und einen großen (das 7B-Modell). Diese Roboter sind wie brillante Bibliothekare, die lesen, schreiben und Probleme lösen können. Sie tragen jedoch derzeit schwere, klobige Mäntel (das ursprüngliche „FP16“-Format), die viel Platz in Ihrem Rucksack einnehmen. Sie möchten diese Mäntel schrumpfen, damit Sie sie auf einer speziellen Art von Wanderausrüstung namens Ascend NPU (ein spezieller Chip von Huawei) mitnehmen können, aber Sie sind besorgt, dass die Roboter vielleicht verlernen zu denken, wenn Sie die Mäntel zu sehr schrumpfen.
Dieses Paper ist ein „Stresstest“, um zu sehen, wie sehr wir diese Roboter-Mäntel schrumpfen können, bevor sie nicht mehr richtig funktionieren. Die Forscher haben verschiedene Wege der Datenkompression ausprobiert, die von einem leichten Zuschnitt bis hin zu einer drastischen Reduzierung reichen.
Hier ist das, was sie herausgefunden haben, erklärt durch einfache Analogien:
1. Das „Leichte Trimmen“ (8-Bit-Quantisierung)
Das Ergebnis: Wenn Sie die Mäntel nur ein wenig stutzen (auf 8 Bit), sind die Roboter ununterscheidbar von ihren ursprünglichen, schweren Mantel-Versionen.
- Die Analogie: Es ist, als würde man einen schweren Wintermantel nehmen und das zusätzliche Futter entfernen. Er ist leichter und einfacher zu tragen, aber der Roboter fühlt sich immer noch genau gleich an und kann mathematische Probleme lösen, Code schreiben und Witze erzählen, genau wie zuvor.
- Urteil: Dies ist die sicherste Wahl. Wenn Sie Platz sparen wollen, ohne die Intelligenz zu verlieren, tun Sie dies.
2. Das „Drastische Schrumpfen“ (4-Bit-Quantisierung)
Das Ergebnis: Hier kommt die Größe des Roboters ins Spiel.
- Der große Roboter (7B): Wenn Sie den Mantel des großen Roboters auf 4 Bit schrumpfen, funktioniert er immer noch ziemlich gut. Er kann immer noch die meisten Dinge tun, obwohl er bei sehr schwierigen Mathe- oder Programmierrätseln etwas stolpern könnte.
- Der kleine Roboter (1B): Wenn Sie versuchen, den Mantel des kleinen Roboters auf 4 Bit zu schrumpfen, fängt er an, seinen Verstand zu verlieren. Er wird bei Denkaufgaben, Mathe und Programmierung verwirrt.
- Die Analogie: Stellen Sie sich vor, der große Roboter ist ein starker Erwachsener, der immer noch einen Marathon laufen kann, selbst wenn man ihm die schweren Stiefel wegnimmt. Der kleine Roboter ist ein Kind; wenn man ihm die schweren Stiefel wegnimmt, kann er nicht einmal den Raum überqueren, ohne über seine eigenen Füße zu stolpern.
- Urteil: Für den großen Roboter sind 4 Bit okay. Für den kleinen Roboter sind 4 Bit zu riskant für ernsthafte Aufgaben.
3. Die „Extreme Kompression“ (2-Bit und Binär)
Das Ergebnis: Als die Forscher versuchten, die Mäntel auf 2 Bit oder sogar 1 Bit (Binär) zu schrumpfen, brachen die Roboter komplett zusammen.
- Die Analogie: Dies ist, als würde man versuchen, eine ganze Enzyklopädie auf einen einzigen Klebezettel zu quetschen. Die Roboter fingen an, zufällig zu raten. Ihre Antworten wurden unsinnig, und ihre „Perplexity“ (ein Wert dafür, wie verwirrt sie sind) schoss in die Höhe und wurde im Grunde unendlich.
- Urteil: Lassen Sie das. Die Roboter sind auf dieser Kompressionsstufe effektiv nutzlos.
4. Die „Speziellen Schrumpffolien“ (Verschiedene Methoden)
Die Forscher haben verschiedene „Techniken“ ausprobiert, um die Mäntel zu schrumpfen, wie zum Beispiel AWQ, GPTQ und SmoothQuant.
- AWQ war wie ein Schneider, der genau wusste, wo er den Stoff schneiden musste, um die Form perfekt zu erhalten. Es funktionierte am besten, besonders für den großen Roboter bei 4 Bit.
- SmoothQuant versuchte, sowohl den Mantel als auch das interne Nervensystem des Roboters (Aktivierungen) zu schrumpfen. Während dies bei 8 Bit ganz gut funktionierte, führte der Versuch, es auf 4 Bit zu schrumpfen, dazu, dass das Nervensystem des Roboters einen Kurzschluss erlitt, was zum Absturz führte (nicht-endliche Fehler).
- Urteil: Einige Schrumpfungsmethoden sind klüger als andere. AWQ ist der beste Schneider für diesen Job, aber das Schrumpfen des internen Nervensystems (Aktivierungen) ist derzeit zu gefährlich.
5. Die „Granularität“ (Wie man den Stoff schneidet)
Das Paper untersuchte auch, wie der Stoff geschnitten wurde. Es wurde festgestellt, dass das Schneiden des Stoffes in kleine, spezifische Patches (per-group) besser funktionierte als das Schneiden in einem langen Streifen (per-channel).
- Die Analogie: Stellen Sie sich vor, Sie flicken eine Patchwork-Decke. Wenn Sie die ganze Decke mit einem einzigen großen Stück Stoff flicken, sieht es seltsam aus und passt nicht gut. Wenn Sie den Stoff in kleine Quadrate schneiden, die zu jedem spezifischen Teil passen, sieht die Decke perfekt aus.
- Urteil: Verwenden Sie immer die „kleine Patch“-Methode (per-group), wenn Ihre Hardware dies unterstützt. Es hält den Roboter intelligenter.
Zusammenfassung für den Wanderer
Wenn Sie Ihre Ascend NPU-Ausrüstung packen:
- Sichere Wahl: Schrumpfen Sie den Mantel auf 8 Bit. Der Roboter bleibt intelligent und Sie sparen Platz.
- Riskante Wahl: Schrumpfen Sie auf 4 Bit nur, wenn Sie den großen Roboter (7B) haben und die AWQ-Methode verwenden. Vermeiden Sie dies für den kleinen Roboter (1B), wenn Sie ihn für Mathe oder Programmierung benötigen.
- Vermeiden: Versuchen Sie nicht, auf 2 Bit oder 1 Bit zu schrumpfen. Der Roboter wird aufhören zu funktionieren.
- Warnung: Versuchen Sie noch nicht, das interne Nervensystem des Roboters (Aktivierungen) zu schrumpfen; das verursacht Abstürze.
Das Paper kommt zu dem Schluss, dass wir diese Roboter zwar kleiner und tragbarer machen können, es aber eine harte Grenze gibt. Wir können sie nicht einfach ewig weiter schrumpfen, ohne ihr Gehirn zu zerstören.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.