💻 computer science

Visual-Advantage On-Policy Distillation for Vision-Language Models

Dieser Artikel stellt Visual-Advantage On-Policy Distillation (VA-OPD) vor, eine neuartige Trainingsmethode für Vision-Language-Modelle, die token-level visuelle Vorteilssignale nutzt, um während der Distillation visuell kritische Token zu unterscheiden und zu priorisieren, wodurch die Leistung auf Benchmarks für mathematisches Schlussfolgern und visuelles Verständnis über verschiedene Größen von Lehrermodellen hinweg erheblich verbessert wird.

Ursprüngliche Autoren: Ruiqi Liu, Xiaolei Lv, Gengsheng Li, Ximo Zhu, Zhiheng Wang, Zhengbo Zhang, Junkai Chen, Zhiheng Li, Bo Li, Jun Gao, Shu Wu

Veröffentlicht 2026-05-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ruiqi Liu, Xiaolei Lv, Gengsheng Li, Ximo Zhu, Zhiheng Wang, Zhengbo Zhang, Junkai Chen, Zhiheng Li, Bo Li, Jun Gao, Shu Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Kopier"-Schüler

Stellen Sie sich vor, Sie haben einen brillanten Lehrer (ein großes KI-Modell), der hervorragend darin ist, Matheprobleme mithilfe von Diagrammen zu lösen. Sie möchten einen kleineren, günstigeren Schüler-KI-Algorithmus trainieren, der dasselbe kann.

Normalerweise lassen Sie den Schüler versuchen, ein Problem zu lösen. Wenn er die Antwort richtig hat, sagen Sie: „Gut gemacht! Schau dir nun an, wie der Lehrer es gelöst hat, und kopiere seine Schritte." Dies nennt man Distillation (Wissensübertragung).

Der Haken:
Das Papier hat einen versteckten Fehler in diesem Prozess aufgedeckt. Bei einem typischen Matheproblem mit einem Bild sind die meisten Wörter, die die KI schreibt, nur „Füllmaterial" oder „Gerüst" (wie „Schauen wir uns zuerst das Diagramm an" oder „Die Summe der Winkel ist..."). Nur sehr wenige Wörter basieren tatsächlich auf dem Bild (wie das Ablesen einer spezifischen Zahl: „130 Grad").

Wenn die Standard-Trainingsmethode arbeitet, behandelt sie jedes einzelne Wort, das der Schüler schreibt, als gleich wichtig. Es ist, als würde ein Lehrer einen Schüleraufsatz benoten und dem Wort „Der" genauso viel Aufmerksamkeit widmen wie der kritischen Zahl „130".

Das Ergebnis: Der Schüler lernt, die Wörter perfekt zu kopieren, aber er lernt nicht wirklich, auf das Bild zu schauen. Er wird zu einem „Kopierer", der den Text des Lehrers nachahmt, aber die visuellen Details ignoriert. Wenn Sie ihm ein leicht anderes Bild zeigen, könnte er scheitern, weil er nie gelernt hat, sich auf das Bild zu verlassen.

Die Lösung: Einführung des „Visuellen Vorteils" (Visual Advantage, VA)

Die Forscher entwickelten eine neue Methode, um zu messen, wie sehr der Lehrer das Bild tatsächlich brauchte, um jedes spezifische Wort zu schreiben. Sie nennen dies Visueller Vorteil (Visual Advantage, VA).

Stellen Sie sich dies wie einen „Was-wäre-wenn"-Test vor:

Der Lehrer betrachtet das vollständige, hochauflösende Bild und schreibt einen Satz.
Der Lehrer betrachtet dann eine unscharfe, pixelige Version desselben Bildes (wobei die kleinen Details fehlen) und versucht, denselben Satz erneut zu schreiben.
Der Unterschied: Wenn der Lehrer das Wort „Der" auch mit dem unscharfen Bild leicht schreiben kann, hat dieses Wort einen niedrigen visuellen Vorteil (es ist nur Sprache). Aber wenn der Lehrer bei der Zahl „130" ins Stocken gerät oder falsch rät, weil das unscharfe Bild sie verdeckt, hat dieses Wort einen hohen visuellen Vorteil.

Das Papier entdeckte, dass Wörter mit hohem visuellen Vorteil selten sind (nur etwa 10 % der Wörter), aber sie sind die einzigen, die dem Schüler tatsächlich beibringen, auf das Bild zu schauen.

Wie VA-OPD funktioniert: Die „Scheinwerfer"-Methode

Die neue Methode, genannt VA-OPD, ändert die Trainingsregeln so, dass sich der Schüler auf diese seltenen, wichtigen Wörter konzentriert. Dies geschieht auf zwei clevere Arten:

1. Der „Bester Versuch"-Bonus (auf Rollout-Ebene)

Manchmal generiert der Schüler mehrere verschiedene Antworten auf dasselbe Problem.

Alter Weg: Alle Versuche werden gleich behandelt.
VA-OPD-Weg: Es wird geprüft, welcher Versuch sich am meisten auf das Bild verlassen hat (den höchsten „Visuellen Vorteil" hatte). Dieser spezifische Versuch erhält ein Gewichtungs-Bonus, was dem Schüler sagt: „Dies ist der Versuch, bei dem du wirklich auf das Bild geschaut hast; achte besonders darauf, daraus zu lernen."

2. Der „VIP-Bereich" (auf Token-Ebene)

Innerhalb einer einzelnen Antwort trennt die Methode die Wörter in zwei Gruppen:

Die VIPs (Hoher VA): Die Wörter, die vom Bild abhängen (wie Zahlen, die aus einem Diagramm abgelesen werden).
Die Normalen (Niedriger VA): Die Füllwörter (wie „daher", „ist", „und").

Anstatt das Lernsignal über alle Wörter zu mitteln (was die VIPs verwässern würde), berechnet VA-OPD die Lernbewertung für die VIPs separat. Es stellt sicher, dass der Schüler einen starken „Schubs" erhält, um die visuellen Teile zu lernen, ohne dass dieses Signal von den tausenden langweiligen Füllwörtern übertönt wird.

Die Ergebnisse: Intelligenter, nicht nur schneller

Die Forscher testeten dies an Aufgaben für Mathematik und visuelles Schlussfolgern. Hier ist, was passierte:

Bessere Genauigkeit: Die Schüler, die mit VA-OPD trainiert wurden, erzielten höhere Punktzahlen als diejenigen, die mit der alten Methode trainiert wurden.
Echtes visuelles Lernen: Die wichtigste Erkenntnis ist, dass die Schüler nicht nur die Antworten auswendig lernten. Als die Forscher nachprüften, begannen die VA-OPD-Schüler tatsächlich, sich mehr auf die Bilder zu verlassen, um Probleme zu lösen. Ihre „Visuellen Vorteil"-Werte stiegen, je intelligenter sie wurden.
Skalierbarkeit: Die Methode funktionierte noch besser, wenn ein größerer, intelligenterer Lehrer oder mehr Trainingsdaten verwendet wurden. Sie wurde nicht verwirrt; sie wurde einfach besser darin, die wichtigen visuellen Hinweise zu erkennen.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie bringen einem Kind bei, Früchte in einem Korb zu identifizieren.

Standard-Training: Sie zeigen ihnen ein Bild eines Apfels und sagen: „Das ist eine rote, runde Frucht, die an Bäumen wächst." Das Kind merkt sich den Satz „rot, rund, wächst an Bäumen", lernt aber nicht wirklich, die Form oder Farbe des Apfels zu erkennen.
VA-OPD-Training: Sie erkennen, dass das Kind nur auf die Wörter „rot" und „rund" achten muss, da diese Teile beweisen, dass es ein Apfel ist. Sie ignorieren die Wörter „wächst an Bäumen" (was auch auf Birnen zutreffen könnte) und belohnen das Kind jedes Mal besonders, wenn es die Teile „rot" und „rund" korrekt identifiziert.
Ergebnis: Das Kind lernt, den Apfel tatsächlich zu sehen, nicht nur die Beschreibung aufzusagen.

Kurz gesagt: Dieses Papier behebt eine Blindheit im KI-Training, indem es kleineren Modellen beibringt, aufhören, Text zu kopieren, und anfangen, tatsächlich auf die Bilder zu schauen.

Technische Zusammenfassung: Visual-Advantage On-Policy Distillation für Vision-Language-Modelle

1. Problemstellung

On-Policy-Wissensdistillation hat sich als wirksam zur Komprimierung von Large Language Models (LLMs) erwiesen, indem ein Schülermodell trainiert wird, die Ausgabeverteilung eines Lehrmodells auf dessen eigenen generierten Rollouts nachzubilden. Die Anwendung dieses Paradigmas auf Vision-Language-Models (VLMs) offenbart jedoch eine kritische Diskrepanz: Die Standard-Distillation behandelt alle Token einheitlich und unterscheidet nicht zwischen sprachlichen Gerüsten und Token, die tatsächlich von feingranularem visuellem Beweis abhängen.

Die Autoren beobachten, dass bei typischen VLM-Rollouts die überwiegende Mehrheit der Token als Sprachvorlagen oder Denkstrukturen dienen, während nur eine kleine Minderheit durch visuelle Details bestimmt wird (z. B. spezifische Zahlen in einem Diagramm). Die Standard-Minimierung der Kullback-Leibler-Divergenz (KL) mittelt die Gradienten über alle Token hinweg gleichmäßig. Folglich wird das starke Überwachungssignal, das in den wenigen visuell-kritischen Token vorhanden ist, durch die zahlreichen umgebenden Sprach-Token verwässert. Infolgedessen verbessert sich zwar möglicherweise die Genauigkeit der Ausgabe des Schülermodells, aber seine zugrundeliegende Abhängigkeit von visuellen Eingaben nimmt nicht zu; das Schülermodell lernt, den oberflächlichen Text des Lehrmodells nachzuahmen, ohne tatsächlich zu lernen, auf das Bild zu achten.

2. Methodik: Visual-Advantage On-Policy Distillation (VA-OPD)

Um diese Verwässerung zu beheben, schlagen die Autoren Visual-Advantage On-Policy Distillation (VA-OPD) vor, eine Methode, die Token, die feingranulare visuelle Details erfordern, explizit identifiziert und priorisiert.

2.1 Visual Advantage (VA)

Das zentrale Diagnosewerkzeug ist Visual Advantage (VA), eine metrische Größe auf Token-Ebene, die die Abhängigkeit des Lehrmodells von visuellen Details quantifiziert. Für jedes Token $y_t$ in einem vom Schüler generierten Rollout wird VA als nicht-negativ rektifizierter Log-Wahrscheinlichkeitsunterschied zwischen der Bewertung des Lehrmodells mit dem Originalbild ( $v$ ) und einem degradierten Bild ( $\tilde{v}$ ) berechnet, bei dem feingranulare Details (z. B. OCR, kleine Symbole) durch Downsampling zerstört wurden:
$a_t = \max(\log p_T(y_t | v, q, y_{<t}) - \log p_T(y_t | \tilde{v}, q, y_{<t}), 0)$
Ein hoher VA-Wert zeigt an, dass die Token-Vorhersage stark von feingranularen visuellen Details abhängt, während ein niedriger VA-Wert darauf hindeutet, dass das Token auf Sprachpriors oder robuste globale Bildmerkmale zurückgreift.

2.2 Wichtige Beobachtungen

Die empirische Analyse von Schüler-Rollouts deckt zwei kritische Eigenschaften auf:

Sparsamkeit: VA ist schwer尾ig (heavy-tailed); die obersten 10 % der Token tragen etwa 93 % der gesamten VA-Masse bei.
Konzentration der Überwachung: Das Maskieren des KL-Verlusts bei hoch-VA-Token führt zu einem signifikanten Genauigkeitsabfall, während das Maskieren von niedrig-VA-Token oder zufälligen Token vernachlässigbare Auswirkungen hat. Dies bestätigt, dass das visuelle Überwachungssignal in einer kleinen Minderheit von Token konzentriert ist.

2.3 Das VA-OPD-Ziel

VA-OPD modifiziert das Standardziel der On-Policy-Distillation, indem es VA auf zwei Granularitäten anwendet, um eine Signalverwässerung zu verhindern:

Reweighting auf Rollout-Ebene: Für eine Menge von $K$ Geschwister-Rollouts, die für denselben Prompt generiert wurden, erhält jeder Rollout ein weiches Gewicht basierend auf seinem im Trajektorienmittelwert berechneten VA relativ zu seinen Geschwistern. Rollouts mit höherer visueller Abhängigkeit tragen stärker zum Gradienten bei.
Gruppiertes KL auf Token-Ebene: Innerhalb jedes Rollouts werden die Token nach VA sortiert und in eine High-VA-Gruppe (oberster Anteil, z. B. 20 %) und eine Low-VA-Gruppe (Rest) aufgeteilt. Der pro-Token-KL-Verlust wird innerhalb jeder Gruppe separat gemittelt, bevor er summiert wird. Dies stellt sicher, dass der Gradientenbeitrag der kritischen High-VA-Token nicht durch die gesamte Sequenzlänge $T$ herabskaliert wird.

Die finale Verlustfunktion kombiniert diese Komponenten:
$\mathcal{L}_{\text{VA-OPD}} = \mathbb{E}_{x \sim D} \left[ \sum_{k=1}^K w^{(k)} \left( \lambda \cdot \frac{1}{|V^{(k)}|} \sum_{t \in V^{(k)}} \text{KL}_t + (1-\lambda) \cdot \frac{1}{|L^{(k)}|} \sum_{t \in L^{(k)}} \text{KL}_t \right) \right]$
wobei $w^{(k)}$ das Rollout-Gewicht ist und $\lambda$ die Beiträge der High-VA- und Low-VA-Gruppen ausbalanciert.

3. Hauptbeiträge

Identifikation des Verwässerungsproblems: Die Autoren zeigen, dass die Standard-On-Policy-Distillation für VLMs die visuelle Abhängigkeit nicht stärkt, da eine einheitliche KL-Gewichtung das konzentrierte visuelle Überwachungssignal verwässert, das in einer kleinen Minderheit von Token zu finden ist.
Einführung von Visual Advantage (VA): Sie schlagen VA als ein kontrafaktisches, lehrmodellrelatives Maß vor, um die Token-Level-Abhängigkeit von visuellen Details zu quantifizieren, ohne zusätzliche Annotationen oder Reward-Modelle zu benötigen.
VA-OPD-Rahmenwerk: Sie stellen ein Distillationsziel vor, das VA auf zwei Ebenen nutzt (Rollout-Reweighting und gruppiertes KL auf Token-Ebene), um das Lernsignal auf visuell-kritische Positionen zu konzentrieren.
Empirische Validierung: Die Methode wird über drei Lehrmodellgrößen (4B, 8B, 32B), zwei Datensätze (Geometry3K, ViRL39K) und acht Benchmarks hinweg validiert und zeigt konsistente Verbesserungen gegenüber Standard-Baselines.

4. Experimentelle Ergebnisse

Die Autoren bewerteten VA-OPD an der Qwen3-VL-Familie (8B-Lehrer, 2B-Schüler), trainiert auf Geometry3K, mit Generalisierungstests auf ViRL39K und verschiedenen Lehrmodellgrößen.

Leistungssteigerungen: VA-OPD schnitt auf allen acht Benchmarks besser ab als Standard-OPD.
- Mathematisches Schlussfolgern: Durchschnittliche Verbesserung von +2,9 Punkten.
- Visuelles Verständnis: Durchschnittliche Verbesserung von +1,5 Punkten.
- Spezifische Benchmarks: Bemerkenswerte Steigerungen wurden bei HallusionBench (+2,5) und AI2D (+2,4) beobachtet, Aufgaben, die stark von feingranularen visuellen Details abhängen. Benchmarks, die Text-only-Abkürzungen zulassen (z. B. MMStar), zeigten geringere Gewinne, was mit dem Fokus der Methode auf visuelle Abhängigkeit übereinstimmt.
Skalierungsgesetze: Der Leistungsgehalt von VA-OPD gegenüber Standard-OPD stieg monoton mit sowohl der Lehrmodellgröße (von 4B auf 32B) als auch der Datensatzgröße (von Geometry3K auf ViRL39K), was darauf hindeutet, dass die Faktoren konsistent kumulieren.
Visuelle Abhängigkeit: Während des Trainings stieg der mittlere VA-Wert der Schüler-Rollouts bei VA-OPD im Takt mit der Genauigkeit an, während Standard-OPD eine steigende Genauigkeit bei stagnierendem VA zeigte. Dies deutet darauf hin, dass VA-OPD eine genuine visuelle Abhängigkeit erreicht und nicht bloß eine Nachahmung der Ausgabe.
Effizienz: VA-OPD erreichte die finale Genauigkeit von Standard-OPD etwa 3,0-mal schneller in der Wandzeit und erreichte bei festen Zeitbudgets eine höhere Leistungsgrenze.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass VA-OPD die erste Methode ist, die die Token-Level-Abhängigkeit von feingranularen visuellen Details direkt in das On-Policy-Distillationsziel für VLMs integriert. Ihre Bedeutung liegt in:

Mechanismus: Sie löst das „Verwässerungsproblem", indem sie visuell-kritische Token während des Distillationsprozesses explizit von sprachlichen Gerüsten trennt.
Effizienz: Sie erfordert keine zusätzlichen Annotationen, Reward-Modelle oder Änderungen am Generierungsprozess des Schülers und fügt lediglich einen zusätzlichen Forward-Pass des Lehrmodells pro Rollout (mit degradierten visuellen Details) hinzu.
Generalisierbarkeit: Die Methode verbessert die Leistung über verschiedene Modellskalen und Datenvolumina hinweg, was darauf hindeutet, dass sie eine grundlegende Einschränkung aktueller VLM-Distillationsstrategien adressiert und nicht nur ein spezifisches Datensatzartefakt.
Qualitativer Wandel: Im Gegensatz zu Inferenzzeit-Methoden, die das Decodieren modifizieren, verändert VA-OPD das Trainingsziel, um sicherzustellen, dass das Schülermodell lernt, das Bild zu „lesen", wie durch das Auftreten von VA-Hotspots auf numerischen Werten und Diagrammmerkmalen in qualitativen Visualisierungen belegt wird.

Die Autoren bleiben bezüglich der Einschränkungen bescheiden und weisen darauf hin, dass VA ein Proxy für die visuelle Abhängigkeit ist, der auf Lehrmodell-Kontrafakten basiert, anstatt eine direkte Messung interner Aufmerksamkeitsmechanismen darzustellen, und dass die Gewinne am ausgeprägtesten bei visuell intensiven Aufgaben sind.