🤖 AI

Gated Relational Alignment via Confidence-based Distillation for Efficient VLMs

Der Artikel schlägt GRACE vor, ein neuartiges Framework, das Wissensdestillation und quantisierungsbewusstes Training unter dem Prinzip des Informationsengpasses vereint, um effiziente, leistungsstarke INT4 Vision-Language-Modelle zu ermöglichen, die bestehende Quantisierungsmethoden deutlich übertreffen und gleichzeitig die Leistung von Full-Precision-Lehrmodellen nahezu erreichen.

Ursprüngliche Autoren: Yanlong Chen, Amirhossein Habibian, Luca Benini, Yawei Li

Veröffentlicht 2026-05-06

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yanlong Chen, Amirhossein Habibian, Luca Benini, Yawei Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, weltklasse Professor (den Lehrer), der alles über die Welt weiß – vom Erkennen eines bestimmten Vogels auf einem Foto bis hin zur Erklärung komplexer Wissenschaft. Dieser Professor ist unglaublich intelligent, aber auch riesig, schwer und benötigt eine massive Bibliothek, um sein Wissen zu speichern. Sie möchten einen jungen, eifrigen Studenten (den Schüler) einstellen, der viel kleiner und leichter ist, damit er das Wissen in einem Rucksack tragen und auf einem kleinen, batteriebetriebenen Gerät arbeiten kann.

Das Problem? Wenn Sie versuchen, das massive Gehirn des Professors zu verkleinern, damit es in den winzigen Rucksack des Schülers passt, verlieren Sie normalerweise viel vom „Guten". Der Schüler landet verwirrt, macht Fehler oder vergisst wichtige Details. Das ist das, was passiert, wenn wir versuchen, große KI-Modelle (sogenannte Vision-Language-Modelle) zu komprimieren, um sie auf kleineren Geräten auszuführen.

Die Arbeit stellt eine neue Methode namens GRACE vor, um dieses Problem zu lösen. Denken Sie an GRACE als einen superintelligenten Trainingscamp, der dem Schüler beibringt, die wichtigsten Lektionen zu behalten, während er den Ballast verwirft, und das alles, während er das Wissen in einen winzigen, effizienten Koffer packt.

So funktioniert GRACE mit drei einfachen Tricks:

1. Der „Vertrauensmesser" (Confidence-Gated Distillation)

Normalerweise hört ein Schüler, wenn er von einem Lehrer lernt, alles, was der Lehrer sagt, mit gleicher Wichtigkeit zu. Aber manchmal wird selbst ein genialer Professor bei einem bestimmten Detail unsicher oder verwirrt. Wenn der Schüler diese unsicheren Vermutungen blind kopiert, lernt er schlechte Gewohnheiten.

GRACE gibt dem Schüler einen Vertrauensmesser.

Wenn der Lehrer sehr zuversichtlich ist (niedrige „Entropie" oder Verwirrung), hört der Schüler genau zu und lernt intensiv.
Wenn der Lehrer unsicher oder zögerlich klingt (hohe Entropie), setzt der Schüler eine Geräuschunterdrückungskopfhörer auf und ignoriert diesen spezifischen Ratschlag.
Das Ergebnis: Der Schüler lernt nur aus den „besten Momenten" des Lehrers und vermeidet die Verwirrung, die den Lernprozess normalerweise ruiniert.

2. Die „Karte der Verbindungen" (Relational Alignment)

Stellen Sie sich vor, der Lehrer betrachtet ein Bild eines Parks. Er sieht nicht nur „einen Baum" und „eine Bank" als separate Gegenstände. Er sieht die Beziehung: „Die Bank ist unter dem Baum" und „Der Baum ist neben dem Weg".

Standard-Lehrmethoden fragen den Schüler oft nur: „Was ist das?" und prüfen, ob er den Namen richtig hat. Aber GRACE bringt dem Schüler bei, auf die Karte der Verbindungen zu schauen.

Es zwingt den Schüler zu verstehen, wie verschiedene Teile des Bildes miteinander zusammenhängen, genau wie der Lehrer.
Selbst wenn der Schüler kleiner ist, lernt er, Dinge logisch zu gruppieren (z. B. bleiben „Himmel-Token" zusammen, „Boden-Token" bleiben zusammen), anstatt nur isolierte Fakten auswendig zu lernen.
Das Ergebnis: Der Schüler lernt, die Welt mit demselben strukturellen Verständnis zu „sehen" wie der riesige Lehrer, nicht nur die endgültige Antwort.

3. Der „Intelligente Rucksack-Manager" (Adaptive Controller)

Sie haben einen Rucksack mit einem strengen Gewichtslimit (das Quantisierung oder Bit-Budget). Sie können nicht einfach alles hineinwerfen; Sie müssen strategisch vorgehen.

GRACE verwendet einen Intelligenten Manager, der den Rucksack ständig überprüft:

„Tragen wir zu viel unnützen Ballast?"
„Vergessen wir die wichtigsten Lektionen?"
Wenn der Schüler Schwierigkeiten hat, die Lektionen des Lehrers innerhalb des Gewichtslimits zu behalten, strafft der Manager die Regeln und zwingt den Schüler, sich stärker auf den Lehrer zu konzentrieren.
Wenn der Schüler großartige Leistungen zeigt, lockert der Manager die Regeln, damit sich der Schüler auf das Lösen der eigentlichen Probleme (wie das Beantworten von Fragen) konzentrieren kann, anstatt nur den Lehrer zu kopieren.
Das Ergebnis: Der Rucksack ist perfekt gepackt – kein verschwendeter Platz, aber nichts Wichtiges bleibt zurück.

Das erstaunliche Ergebnis

Die Arbeit testete diese Methode an zwei berühmten KI-Modellen (LLaVA und Qwen). Die Ergebnisse waren überraschend:

Besser als das Original: Der winzige, komprimierte Schüler (der nur mit 4 Bit Speicher läuft) performte tatsächlich besser als das ursprüngliche, vollgroße Modell, das auf Standardcomputern läuft.
Geschwindigkeit und Größe: Da das Modell so viel kleiner und effizienter ist, läuft es 3-mal schneller und verwendet die Hälfte des Speichers.

Kurz gesagt: GRACE ist wie ein Meisterkoch, der einen Lehrling unterrichtet. Anstatt dem Lehrling nur ein riesiges Rezeptbuch zu geben (das zu schwer zu tragen ist), bringt der Koch ihm bei, wie man das Essen probiert (Vertrauensmesser), wie Zutaten miteinander zusammenhängen (Karte der Verbindungen) und wie man einen Lunchbox packt, der alles enthält, was man braucht, ohne einen Tropfen zu verschütten (intelligenter Manager). Das Ergebnis ist ein kleiner Koch, der genauso gut kocht wie der Meister, aber das überall und jederzeit tun kann.

Technische Zusammenfassung: GRACE – Gated Relational Alignment via Confidence-based Distillation for Efficient VLMs

1. Problemstellung

Vision-Language-Modelle (VLMs) haben transformative Fähigkeiten in multimodalen Aufgaben demonstriert, stehen jedoch aufgrund ihrer hohen Rechen- und Speicherkosten vor erheblichen Herausforderungen bei der Bereitstellung. Während Post-Training-Quantisierung (PTQ) einen einfachen Komprimierungsweg bietet, führt sie bei VLMs häufig zu katastrophalem Genauigkeitsverlust, insbesondere bei aggressiven Bitbreiten wie INT4, bedingt durch die komplexen multimodalen Verteilungen und die in diesen Modellen inhärenten cross-modalen Interaktionen.

Quantisierungs-bewusstes Training (QAT) ist eine prinzipienfeste Alternative, die es Modellen ermöglicht, sich während der Optimierung an Präzisionsbeschränkungen anzupassen. Dennoch ist QAT für VLMs noch wenig erforscht. Standard-QAT stützt sich ausschließlich auf Aufgabenverluste, die eine spärliche Überwachung bieten, die unzureichend ist, um das Modell zu leiten, welche Informationen unter strikten Bit-Budgets zu bewahren sind. Darüber hinaus scheitern naive Kombinationen aus QAT und Knowledge Distillation (KD) oft daran, die spezifischen Herausforderungen von VLMs zu adressieren, wie etwa die variierende Zuverlässigkeit der Lehreraufsicht und der Verlust feinabgestufter visueller Schlussfolgerungsstrukturen.

2. Methodik: Das GRACE-Framework

Die Autoren schlagen GRACE (Gated Relational Alignment via Confidence-based Distillation for Efficient VLMs) vor, ein einheitliches Framework, das die VLM-Komprimierung als Information Bottleneck (IB)-Problem formuliert. Unter diesem Prinzip wirkt die Quantisierung als harte Kapazitätsbeschränkung, während die Distillation bestimmt, welche aufgabenrelevanten Informationen zu bewahren sind. GRACE integriert drei synergistische Komponenten:

2.1 Confidence-Gated Decoupled Knowledge Distillation (GDKD)

Standard-KD behandelt alle Vorhersagen des Lehrers gleich, ignoriert dabei jedoch, dass unsichere Lehrer-Ausgaben (hohe Entropie) Rauschen einführen können. GRACE adressiert dies durch:

Decoupled Knowledge Distillation (DKD): Der Distillationsverlust wird in Target Class Knowledge Distillation (TCKD) und Non-target Class Knowledge Distillation (NCKD) zerlegt. NCKD überträgt „dunkles Wissen" aus der Verteilung der falschen Klassen, das oft informativer ist als alleinige Zielwahrscheinlichkeiten.
Confidence Gating: Die Autoren beobachten eine starke positive Korrelation zwischen der Entropie des Lehrers und dem Vorhersagefehler. Sie führen einen Gate-Mechanismus ein, bei dem das Distillationsgewicht für jedes Token als $g_i = \exp(-\tilde{h}_i)$ definiert ist, wobei $\tilde{h}_i$ die normalisierte Entropie der Ausgabe des Lehrers ist. Dies unterdrückt die Überwachung durch unsichere (hoch-entropische) Tokens und priorisiert vertrauenswürdige Vorhersagen.
Theoretische Begründung: Dieses Gating minimiert die Kovarianz zwischen Gewichten und Verlust, filtert effektiv unzuverlässige Überwachungssignale heraus.

2.2 Relational Centered Kernel Alignment (RCKA)

Logit-basierte Distillation versagt darin, die überlegenen visuellen Schlussfolgerungsfähigkeiten größerer Modelle zu übertragen, die sich als strukturierte Aufmerksamkeitsmuster und nicht nur als Ausgabewahrscheinlichkeiten manifestieren.

Visuelle Token-Struktur: GRACE extrahiert Repräsentationen visueller Tokens aus der vorletzten Schicht des LLM-Backbones (unter Ausschluss von Text-Tokens).
Centered Kernel Alignment (CKA): Anstatt punktuelle Merkmale auszurichten, richtet GRACE die Gram-Matrizen visueller Tokens zwischen Lehrer und Schüler aus. Dies überträgt die relationale Struktur (paarweise Ähnlichkeiten) unter den visuellen Tokens und ermöglicht es dem Schüler zu lernen, wie der Lehrer visuelle Informationen in semantisch kohärente Regionen organisiert (z. B. das Gruppieren von Himmel-Tokens).
Dimensionsunabhängigkeit: CKA operiert auf $n \times n$ Gram-Matrizen, was eine Ausrichtung zwischen Modellen mit unterschiedlichen verborgenen Dimensionen ohne Projektionsschichten ermöglicht.

2.3 Adaptiver Information Bottleneck Controller

Um die konkurrierenden Ziele von Aufgabenleistung und Wissensbewahrung unter Quantisierungsbeschränkungen auszugleichen, setzt GRACE einen adaptiven Controller ein:

Eingeschränkte Optimierung: Das Problem wird als Minimierung des Aufgabenverlusts unter einer Beschränkung des Distillationsverlusts formuliert ( $L_{GDKD} \leq \tau$ ), wobei $\tau$ das Budget zur Bewahrung von Informationen darstellt.
Dualer Aufstieg: Das Distillationsgewicht $\beta$ wird dynamisch über projizierten dualen Aufstieg mit Exponential Moving Average (EMA)-Glättung aktualisiert. Wenn der Schüler Schwierigkeiten hat, Lehrerwissen zu bewahren ( $L_{GDKD} > \tau$ ), erhöht sich $\beta$ , um die Distillation zu verstärken; andernfalls verringert es sich, um die Aufgabenleistung zu priorisieren.

2.4 Quantisierungsstrategie

GRACE employs Group-wise Learned Step-size Quantization (LSQ). Gewichte werden in kleine Gruppen (Standardgröße 128) partitioniert, wobei jede Gruppe einen unabhängigen, lernbaren Skalierungsparameter besitzt, der während des Trainings gemeinsam mit den Modellgewichten optimiert wird. Dieser Ansatz erfasst die heterogenen Gewichtsverteilungen von VLMs besser als pro-Tensor- oder pro-Kanal-Quantisierung.

3. Hauptbeiträge

Theoretische Vereinheitlichung: Die Arbeit stellt eine theoretische Verbindung zwischen Knowledge Distillation und QAT durch das Prinzip des Information Bottleneck her und fasst Quantisierung als ein Problem der Kapazitätszuweisung zusammen, bei dem die Distillation leitet, was zu bewahren ist.
GRACE-Framework: Der Vorschlag eines einheitlichen Frameworks mit folgenden Merkmalen:
- Confidence-gated decoupled distillation zur Filterung von verrauschter Überwachung.
- Relational-centered kernel alignment zur Übertragung struktureller visueller Schlussfolgerungen.
- Ein adaptiver IB-Controller zur dynamischen Balance zwischen Genauigkeit und Kapazität.
Leistungs-Durchbruch: Der Nachweis, dass mit GRACE trainierte, in INT4 quantisierte VLMs vollpräzise (BF16)-Benchmarks übertreffen können, ein Ergebnis, das in Szenarien aggressiver Quantisierung selten erreicht wird.

4. Experimentelle Ergebnisse

Umfangreiche Evaluierungen wurden an LLaVA-1.5 (13B-Lehrer $\to$ 7B-Schüler) und Qwen2-VL (7B-Lehrer $\to$ 2B-Schüler) über mehrere Benchmarks hinweg durchgeführt (SQA, MMBench, ScienceQA usw.).

Genauigkeitswiederherstellung und -übertreffung:
- LLaVA-1.5-7B (INT4): Erreichte 70,1% auf ScienceQA, übertraf damit das BF16-Baseline-Ergebnis (66,8%) und entsprach der Leistung des 13B-Lehrers.
- Qwen2-VL-2B (INT4): Erreichte 76,9% auf MMBench und 79,1% auf ScienceQA, übertraf damit das BF16-Baseline-Ergebnis (72,6% bzw. 73,7%) und bestehende INT4-Methoden wie RTN, AWQ und SPEED-Q signifikant.
Vergleich mit Benchmarks: GRACE übertraf konsistent Standard-QAT, naive KD+QAT und State-of-the-Art-PTQ-Methoden (GPTQ, AWQ, MBQ) mit signifikanten Margen (z. B. +4,5% über der Basislinie bei Qwen2-VL-2B INT4).
Effizienzgewinne: Beim Einsatz mit echten INT4-Kernen auf einer NVIDIA A100 GPU erreichte das GRACE-Modell:
- 3,03× höheren Durchsatz.
- 3,03× geringere Latenz.
- 2,18× Reduktion des Spitzen-GPU-Speichers.
- 3,08× Reduktion der Parameterspeicherung.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass GRACE eine prinzipienfeste Grundlage für die gemeinsame Optimierung in der VLM-Komprimierung bietet. Indem Quantisierung als Information Bottleneck-Problem behandelt wird, ermöglicht das Framework Modellen, Repräsentationen zu lernen, die inhärent robust gegenüber aggressiver Low-Bit-Komprimierung sind.

Die Autoren betonen, dass ihr Ansatz es INT4-Modellen erlaubt, nicht nur vollpräzise Benchmarks wiederherzustellen, sondern diese zu übertreffen. Dies validiert, dass eine prinzipienfeste Informationszuweisung (durch Confidence Gating und relationale Ausrichtung) Standard-QAT oder naiven Distillationskombinationen überlegen ist. Die Arbeit zielt darauf ab, den Zugang zu hochwertigen VLMs zu demokratisieren, indem deren Bereitstellung auf ressourcenbeschränkten Geräten mit erheblichen Reduktionen bei Speicher- und Rechenanforderungen ermöglicht wird, während die Aufgabenleistung erhalten bleibt oder verbessert wird. Die Autoren erkennen potenzielle gesellschaftliche Auswirkungen an, einschließlich des Risikos des Missbrauchs zur Erzeugung irreführender Inhalte, argumentieren jedoch, dass die Vorteile effizienter, zugänglicher multimodaler KI diese Risiken überwiegen, wenn sie verantwortungsvoll eingesetzt werden.