💬 NLP

E-PMQ: Expert-Guided Post-Merge Quantization with Merged-Weight Anchoring

Das Papier schlägt E-PMQ vor, ein von Experten geleitetes Post-Merge-Quantisierungsframework, das Quell-Expertengewichte und die Verankerung verschmolzener Gewichte nutzt, um Quantisierungs- und Verschmelzungsabweichungen zu entkoppeln und dadurch die effektive Bereitstellung mehrerer verschmolzener neuronaler Netzwerke mit geringer Bitbreite zu ermöglichen.

Ursprüngliche Autoren: Wenjun Wang, Yanggan Gu, Shuo Cai, Yuanyi Wang, Pengkai Wang, Jianmin Wu, Hongxia Yang

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wenjun Wang, Yanggan Gu, Shuo Cai, Yuanyi Wang, Pengkai Wang, Jianmin Wu, Hongxia Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das Problem des „Mischens" und „Komprimierens"

Stellen Sie sich ein Team von fünf verschiedenen Experten vor: einen Koch, einen Mechaniker, einen Arzt, einen Anwalt und einen Piloten. Jeder von ihnen ist ein Meister auf seinem Gebiet.

Modell-Merging (Zusammenführen von Modellen): Anstatt alle fünf Personen einzustellen und sie alle gleichzeitig arbeiten zu lassen (was teuer und langsam ist), entscheiden Sie sich, ihre Gehirne zu einer einzigen Super-Person zu „verschmelzen". Sie nehmen ihr Wissen und mischen es zusammen, um einen einzigen „Super-Experten" zu schaffen, der ein wenig von allem kann.
Quantisierung: Jetzt möchten Sie diesen Super-Experten in einen winzigen, leichten Rucksack stecken, damit er leicht auf einem Telefon oder einem kleinen Gerät reisen kann. Um dies zu tun, müssen Sie ihr Wissen „komprimieren". Sie vereinfachen ihre komplexen Gedanken zu kurzen, einfachen Notizen (Low-Bit-Zahlen), damit sie weniger Platz einnehmen.

Das Problem:
Das Papier argumentiert, dass, wenn Sie diesen Super-Experten einfach zwingen, einfache Notizen zu schreiben, die Dinge schiefgehen.

Der „naive" Fehler: Wenn Sie den Super-Experten einfach bitten, sein eigenes gemischtes Gehirn zusammenzufassen, könnte er verwirrt werden. Da sein Gehirn eine Mischung aus fünf verschiedenen Personen ist, könnten seine „gemischten" Gedanken im Vergleich zu den ursprünglichen Experten bereits etwas verschwommen oder inkonsistent sein. Wenn Sie diese verschwommenen Gedanken komprimieren, werden die Fehler schlimmer. Es ist wie der Versuch, ein unscharfes Foto zu kopieren; die Kopie wird noch unschärfer sein.

Die Lösung: E-PMQ (Der „Experten-geführte" Ansatz)

Die Autoren schlagen eine neue Methode namens E-PMQ vor. Anstatt den Super-Experten einfach zu bitten, sich selbst zusammenzufassen, nutzen sie die ursprünglichen fünf Experten, um den Prozess zu steuern.

So funktioniert es, Schritt für Schritt:

1. Das „Experten-geführte" Ziel

Stellen Sie sich vor, der Super-Experte versucht, eine Zusammenfassung eines medizinischen Falls zu schreiben.

Alter Weg: Der Super-Experte versucht sich daran zu erinnern, was er (die gemischte Version) über Medizin denkt.
E-PMQ-Weg: Das System fragt den ursprünglichen Arzt (einer der Quell-Experten): „Was würden Sie zu diesem Fall sagen?" Der Super-Experte verwendet dann die klare, spezifische Antwort des Arztes als ein „Ziel", auf das er hinarbeitet, während er seine vereinfachten Notizen schreibt.
Warum es hilft: Dies stellt sicher, dass die komprimierten Notizen der ursprünglichen, hochwertigen Expertise treu bleiben, anstatt in den „verschwommenen" Mittelweg des gemischten Modells abzugleiten.

2. Die „Merged-Weight Anchoring" (Das Sicherheitsnetz)

Es besteht ein Risiko bei der neuen Methode. Wenn der Super-Experte dem Arzt zu viel zuhört, könnte er vergessen, wie man Mechaniker oder Pilot ist. Er könnte wieder nur ein Arzt werden und die spezielle „Super-Experten"-Mischung verlieren, die er haben sollte.

Um dies zu beheben, verwendet E-PMQ einen Anker:

Stellen Sie sich vor, der Super-Experte ist an einen schweren Anker gebunden (das ursprüngliche gemischte Modell).
Während er vom Arzt (dem Expertenziel) geführt wird, zieht der Anker ihn zurück, um sicherzustellen, dass er nicht zu weit von seiner gemischten Identität wegdreift.
Dies hält das Gleichgewicht: Die Notizen sind den Experten gegenüber genau, aber die gesamte Persönlichkeit bleibt der einzigartige Super-Experte.

Die Ergebnisse: Warum es wichtig ist

Das Papier testete dies an zwei Arten von „Super-Experten":

Visuelle Modelle (CLIP): Modelle, die Bilder betrachten. Sie führten Modelle zusammen, die darauf trainiert waren, Autos, Verkehrszeichen, Blumen und mehr zu erkennen.
Sprachmodelle (FLAN-T5 & Llama): Modelle, die Text verstehen und generieren. Sie führten Modelle zusammen, die auf Mathematik, Programmieren und allgemeine Konversation trainiert waren.

Die Erkenntnisse:

Bessere Genauigkeit: Als sie E-PMQ verwendeten, schnitten die komprimierten Modelle viel besser ab als die alte „naive" Methode.
- Beispiel: Bei einem schwierigen Test mit 20 verschiedenen Aufgaben sank die Punktzahl der alten Methode auf 34,8 %, während E-PMQ sie hoch bei 76,7 % hielt. Das ist ein enormer Unterschied.
Überall funktionsfähig: Es funktionierte gut, egal ob sie 8 oder 20 Aufgaben zusammenführten und ob sie eine 3-Bit- oder 4-Bit-Komprimierung verwendeten (sehr kleine Dateigrößen).
Keine zusätzlichen Kosten am Ende: Das Beste ist, dass das Modell, sobald es komprimiert und einsatzbereit ist, nur eine einzige, kleine Datei ist. Sie benötigen nicht die ursprünglichen fünf Experten oder das zusätzliche „Steuerungssystem", während das Telefon es nutzt. Die zusätzliche Arbeit findet nur vor dem Einsatz des Modells statt.

Zusammenfassende Analogie

Stellen Sie sich Modell-Merging vor wie das Mischen von fünf verschiedenen Smoothies in eine große Tasse.

Naive Quantisierung ist wie der Versuch, diese große gemischte Tasse zu einem Eiswürfel zu gefrieren. Das Eis könnte seltsam texturiert sein, weil die Mischung bereits etwas chaotisch war.
E-PMQ ist wie das Hinzuziehen der ursprünglichen fünf Smoothie-Hersteller. Während Sie die Tasse einfrieren, sagen sie: „Hey, stellen Sie sicher, dass der Erdbeer-Geschmack stark bleibt," und „Lassen Sie den Bananengeschmack nicht verschwinden." Gleichzeitig halten Sie die Tasse fest, damit sie nicht nur zu einem Erdbeer-Smoothie wird.
Das Ergebnis: Sie erhalten einen perfekten, kleinen Eiswürfel, der genau nach dem Besten aller fünf ursprünglichen Smoothies kombiniert schmeckt.

Das Papier kommt zu dem Schluss, dass diese „Experten-geführte" Methode ein viel zuverlässigerer Weg ist, diese leistungsstarken, gemischten KI-Modelle zu verkleinern, damit sie auf alltäglichen Geräten laufen können, ohne ihre Intelligenz zu verlieren.

Technische Zusammenfassung: E-PMQ: Expert-Geführte Post-Merge-Quantisierung mit Verankerung der fusionierten Gewichte

1. Problemformulierung: Post-Merge-Quantisierung (PMQ)

Die Arbeit adressiert ein spezifisches Szenario für den Einsatz mit geringen Ressourcen, bei dem mehrere auf Aufgaben spezialisierte „Experten"-Modelle zunächst zu einem einzigen Modell fusioniert werden und dieses resultierende fusionierte Modell anschließend für eine effiziente Inferenz quantisiert wird. Die Autoren definieren dieses Setting als Post-Merge-Quantisierung (PMQ).

Die zentrale Herausforderung besteht darin, dass Standard-Methoden für die Post-Training-Quantisierung (PTQ), wie GPTQ, bei direkter Anwendung auf fusionierte Modelle unzuverlässig sind. Bei der Standard-PTQ wird das Vollpräzisionsmodell als zuverlässiges Rekonstruktionsziel behandelt. Im PMQ-Kontext ist das Vollpräzisions-fusionierte Modell ( $W_m$ ) jedoch kein unabhängig optimiertes Multi-Task-Modell; es ist eine Zusammensetzung von Parametern, die bereits von den Verhaltensweisen der Quell-Experten abweichen können.

Die Autoren argumentieren, dass eine naive PMQ (direkte Quantisierung von $W_m$ ) zwei verschiedene Abweichungen koppelt:

Quantisierungsabweichung: Der Fehler, der durch die Rekonstruktion von Gewichten in einem Low-Bit-Raum entsteht.
Experten-relative Fusionsabweichung: Der Fehler, der dem fusionierten Modell selbst innewohnt und darstellt, wie stark $W_m$ von den spezifischen Verhaltensweisen der Quell-Experten ( $W_i$ ) abgewichen ist.

Wenn ein naiver PTQ-Algorithmus den Rekonstruktionsfehler von $W_m$ allein minimiert, behandelt er dieses potenziell abweichende Modell als Ground Truth. Folglich korrigiert der Quantisierungsprozess die bereits bestehenden Fusionsabweichungen nicht, sondern verstärkt sie mit Quantisierungsfehlern, was zu einer signifikanten Leistungsverschlechterung führt, insbesondere unter aggressiven Low-Bit-Einstellungen (z. B. 4-Bit) oder beim Zusammenführen vieler Aufgaben.

2. Methodik: E-PMQ-Rahmenwerk

Um diese gekoppelten Abweichungen zu mildern, schlagen die Autoren E-PMQ vor, ein expertengeführtes Framework, das Informationen der Quell-Experten während der Kalibrierungsphase integriert, während gleichzeitig die Effizienz des Einsatzes eines einzelnen fusionierten Modells gewahrt bleibt.

Kernkomponenten

E-PMQ arbeitet schichtweise in einer Vorwärtsreihenfolge. Für jede Schicht $\ell$ nutzt es:

Die fusionierten Gewichte ( $W_m^\ell$ ).
Die Gewichte der Quell-Experten ( $\{W_i^\ell\}_{i=1}^K$ ).
Kalibrierungsaktivierungen, die vom aktuellen teilweise quantisierten Modell gesammelt wurden.

Die Methode führt zwei Schlüsselmechanismen ein:

A. Expertengeführte Ausgabenziele

Anstatt die Ausgabe des fusionierten Modells ( $W_m^\ell X^\ell$ ) als einziges Ziel zu rekonstruieren, konstruiert E-PMQ Ausgabenziele basierend auf den Quell-Experten. Für jeden Experten $i$ ist das Ziel $Y_i^\ell = W_i^\ell X_i^\ell$ , wobei $X_i^\ell$ Aktivierungen sind, die aus dem Kalibrierungs-Subset gesammelt wurden, das diesem Experten zugeordnet ist.
Das Ziel minimiert die Diskrepanz zwischen der Ausgabe der quantisierten Schicht und diesen experteninduzierten Zielen:
$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2$
Dies zwingt den Quantisierungsprozess, sich mit den Verhaltensweisen der ursprünglichen Experten abzugleichen und mildert dadurch die Experten-relative Fusionsabweichung.

B. Verankerung der fusionierten Gewichte

Das alleinige Vertrauen auf Expertenziele birgt das Risiko einer Überkorrektur der fusionierten Schicht, was potenziell dazu führen könnte, dass sich das quantisierte Modell zu einem spezifischen Experten hin entwickelt und die durch den Fusionsprozess erzielten integrierten Fähigkeiten verliert. Um dies zu verhindern, fügt E-PMQ einen Regularisierungsterm hinzu, der die quantisierten Gewichte ( $Q^\ell$ ) an die Vollpräzisions-fusionierten Gewichte ( $W_m^\ell$ ) verankert:
$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2 + \lambda^\ell \| Q^\ell - W_m^\ell \|_F^2$
Die Verankerungsstärke $\lambda^\ell$ ist adaptiv und wird durch die gesamte Aktivierungsenergie der Schicht skaliert, um Stabilität über verschiedene Schichten hinweg zu gewährleisten.

Implementierung des Lösers

Die Autoren passen den sequenziellen Rundungs-Löser im GPTQ-Stil an, um dieses neue Ziel zu handhaben. Der Löser nutzt modifizierte quadratische Statistiken:

Effektive Krümmung: $H_{E-PMQ}^\ell = \sum H_i^\ell + \lambda^\ell I$
Rechte Seite: $R_{E-PMQ}^\ell = \sum W_i^\ell H_i^\ell + \lambda^\ell W_m^\ell$
Dies ermöglicht eine effiziente Implementierung der Methode ohne End-to-End-Neu-Training, unter Verwendung nur eines Kalibrierungssets.

3. Hauptbeiträge

Die Arbeit skizziert drei primäre Beiträge:

Problemformulierung: Die Autoren definieren die Post-Merge-Quantisierung (PMQ) formal und identifizieren den Ausfallmodus naiver Ansätze: die Kopplung der Quantisierungsabweichung mit der Experten-relativen Fusionsabweichung.
Algorithmus-Vorschlag: Sie stellen E-PMQ vor, das Gewichte der Quell-Experten nutzt, um während der Kalibrierung geführte Ausgabenziele bereitzustellen, und eine Verankerung der fusionierten Gewichte einsetzt, um die Lösung zu stabilisieren und das integrierte Verhalten des fusionierten Modells zu bewahren.
Empirische Validierung: Umfangreiche Experimente zeigen, dass E-PMQ konsistent naive PMQ-Baselines (RTN, GPTQ, AWQ) über verschiedene Fusionsmethoden (Task Arithmetic, TIES-Merging, Simple Averaging), Modellarchitekturen (CLIP-ViT, FLAN-T5, Llama-3.1) und Aufgabenmengen (8 bis 20 Aufgaben) hinaus übertrifft.

4. Experimentelle Ergebnisse

Die Arbeit bewertet E-PMQ an Vision- (CLIP) und Sprachmodellen (FLAN-T5, Llama-3.1) unter Verwendung einer 4-Bit-Gewichts-only-Quantisierung.

CLIP-ViT-B/32 (8 Aufgaben): Unter Task Arithmetic verbessert E-PMQ die 4-Bit-GPTQ-Genauigkeit von 65,0 % auf 73,6 %. Unter TIES-Merging verbessert es sich von 69,1 % auf 74,8 %.
CLIP-ViT-L/14 (20 Aufgaben): In diesem schwierigeren Setting mit mehr Interferenzen zeigt E-PMQ dramatische Gewinne und verbessert GPTQ unter Task Arithmetic von 34,8 % auf 76,7 %.
FLAN-T5-base (GLUE): E-PMQ verbessert den Durchschnittswert von 78,26 % auf 83,34 % unter Task Arithmetic und von 79,98 % auf 83,48 % unter TIES-Merging.
Llama-3.1 (3B und 8B): E-PMQ erzielt die beste durchschnittliche Leistung unter den quantisierten Varianten und verbessert die Werte gegenüber GPTQ- und AWQ-Baselines.
Ablationsstudien: Das Entfernen der Verankerung der fusionierten Gewichte ( $\alpha=0$ ) führt zu einem schweren Leistungsabfall (z. B. Abfall auf ca. 5 % Genauigkeit), was bestätigt, dass eine reine Expertenführung ohne Verankerung am fusionierten Modell nicht ausreicht. E-PMQ zeigt zudem Robustheit über verschiedene Bit-Breiten (3-Bit bis 8-Bit) und bei reduzierten Kalibrierungsbudgets.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass E-PMQ einen effektiven Low-Bit-Einsatz fusionierter Modelle ermöglicht, ein Setting, das zuvor aufgrund der Anhäufung von Abweichungen als unzuverlässig galt.

Effizienz: Die Methode erfordert den Zugriff auf Quell-Experten nur während der vor dem Einsatz stattfindenden Quantisierungsphase. Das final eingesetzte Modell ist ein einzelnes Low-Bit-fusioniertes Modell ohne zusätzliche Module zur Inferenzzeit oder Experten-Gewichte und behält die gleiche Parameteranzahl und Inferenzgeschwindigkeit wie naive Baselines bei.
Generalisierbarkeit: Der Ansatz erweist sich als effektiv über verschiedene Modalitäten (Vision und Text), Modellskalen und Fusionsstrategien hinweg.
Einschränkungen: Die Autoren vermerken bescheiden, dass E-PMQ während der Quantisierung Zugriff auf Quell-Experten erfordert, was die Rechen- und Speicherkosten vor dem Einsatz im Vergleich zur naiven PTQ erhöht. Wenn nur das fusionierte Modell verfügbar ist, kann die Methode keine expertengeführten Ziele konstruieren. Darüber hinaus hängt die Leistung der Methode von der Repräsentativität des Kalibrierungssets ab.

Zusammenfassend argumentiert die Arbeit, dass man für eine erfolgreiche Quantisierung fusionierter Modelle über das fusionierte Modell selbst hinaussehen und die Quell-Experten nutzen muss, um die Kalibrierung zu leiten, während gleichzeitig die Lösung an den fusionierten Gewichten verankert wird, um die Vorteile der Fusion zu bewahren.