💻 computer science

Vision-EKIPL: External Knowledge-Infused Policy Learning for Visual Reasoning

Das Papier schlägt Vision-EKIPL vor, ein neuartiges Reinforcement-Learning-Framework, das die visuellen Schlussfolgerungsfähigkeiten multimodaler großer Sprachmodelle verbessert, indem es während des Trainings hochwertige Aktionen aus externen Hilfsmodellen einbringt, wodurch der Explorationsraum erweitert, die Konvergenz beschleunigt und eine Leistungssteigerung von bis zu 5 % gegenüber den aktuell besten Methoden erreicht wird.

Ursprüngliche Autoren: Chaoyang Wang, Zeyu Zhang, Meng Meng, Xu Zhou, Haiyun Jiang

Veröffentlicht 2026-05-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chaoyang Wang, Zeyu Zhang, Meng Meng, Xu Zhou, Haiyun Jiang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr klugen Schüler (dem Policy-Modell) beizubringen, komplexe visuelle Rätsel zu lösen, wie etwa das Zählen von Objekten in einer 3D-Szene oder das Herausfinden, wie sich Formen bewegen.

Das Problem: Die Falle der „Echokammer"

Traditionell, wenn wir diese Schüler mit einer Methode namens Reinforcement Learning (RL) trainieren, bitten wir sie, eine Reihe von Antworten selbst zu generieren. Anschließend belohnen wir die besten und bestrafen die schlechten.

Die Arbeit argumentiert, dass dies so ist, als würde man einen Schüler bitten, sich für eine Prüfung vorzubereiten, indem er nur seine eigenen Notizen liest. Er mag zwar darin besser werden, das zu wiederholen, was er bereits weiß, aber er stößt auf eine „Decke". Er kann keine neuen, klugen Wege finden, Probleme zu lösen, weil er in einer Echokammer gefangen ist und nur Ideen aus seinem eigenen, begrenzten Gehirn schöpft. Dies macht das Training langsam und begrenzt, wie intelligent sie letztendlich werden können.

Die Lösung: Vision-EKIPL (Der „Expertenpanel"-Ansatz)

Die Autoren schlagen ein neues Framework namens Vision-EKIPL vor. Stellen Sie sich dies vor, als würden Sie ein Panel aus externen Experten (wie GPT-4 oder Gemini) einstellen, um dem Schüler beim Lernen zu helfen.

So funktioniert es, Schritt für Schritt:

Die Gruppenlernsitzung: Anstatt dass nur der Schüler Antworten generiert, sammelt das System eine Gruppe potenzieller Antworten aus zwei Quellen:
- Die eigenen Versuche des Schülers.
- Hochwertige Antworten, die von den „externen Experten" (den Hilfsmodellen) generiert wurden.
Die Benotung: Ein Lehrer (die Belohnungsfunktion) bewertet alle diese Antworten. Hat der Schüler die richtige Anzahl an Kugeln ermittelt? Haben sie das korrekte Format verwendet?
Die Auswahl: Das System wählt die bestperformenden Antworten aus dieser gemischten Gruppe aus. Entscheidend ist: Wenn ein Expertenmodell eine clevere Lösung gefunden hat, die der Schüler übersehen hat, wird diese Lösung in die „Top-Auswahl" aufgenommen.
Die Lektion: Der Schüler lernt von dieser „Best-of-the-Best"-Gruppe. Er lernt nicht nur aus seinen eigenen Fehlern; er wird mit dem Wissen und den Denkstrategien der Experten infundiert.

Die Analogie: Der Schachspieler

Stellen Sie sich einen Schachspieler vor, der besser werden möchte.

Alter Weg (Standard-RL): Der Spieler spielt 100 Partien gegen sich selbst, gewinnt einige wenige und versucht herauszufinden, was er richtig gemacht hat. Er könnte darin stecken bleiben, dieselben sicheren, langweiligen Züge zu spielen, weil er nie einen brillanten, riskanten Zug gesehen hat, der hätte gewinnen können.
Vision-EKIPL: Der Spieler spielt 10 Partien gegen sich selbst, darf aber auch 10 Partien ansehen, die von Großmeistern gespielt wurden. Das System wählt die besten Züge sowohl vom Spieler als auch von den Großmeistern aus. Der Spieler studiert dann diese Top-Züge. Er lernt nicht nur seinen eigenen Stil, sondern die brillanten, komplexen Strategien der Experten, was seine eigene Fähigkeitsdecke deutlich höher schiebt.

Was die Arbeit herausfand

Die Autoren testeten diese Methode bei visuellen Denkaufgaben (wie dem Zählen von Objekten, dem Verständnis von Geometrie und dem Verfolgen sich bewegender Formen). Sie stellten fest:

Intelligentere Ergebnisse: Das mit Vision-EKIPL trainierte Modell löste Rätsel besser als Modelle, die mit Standardmethoden trainiert wurden, und übertraf den vorherigen „State-of-the-Art" um etwa 5 %.
Schnelleres Lernen: Da das Modell sofort „gute" Antworten von Experten „sehen" kann, muss es keine Zeit damit verschwenden, zu raten. Es lernt schneller und konvergiert (schließt das Training ab) effizienter.
Das Durchbrechen der Decke: Die wichtigste Erkenntnis ist, dass diese Methode tatsächlich die Denkgrenze des Modells erweiterte. Während Standard-RL-Methoden Modelle manchmal sogar weniger kreativ machten (indem sie sich nur an sichere, bekannte Pfade hielten), half Vision-EKIPL dem Modell, neue, komplexe Wege zur Problemlösung zu entdecken, die es allein nicht hätte finden können.

Auf den Punkt gebracht

Vision-EKIPL ist eine Trainingsmethode, die verhindert, dass KI-Modelle im Vakuum lernen. Indem sie ihre eigenen Ideen mit hochwertigen Ideen von „Experten"-KI-Modellen mischt, lehrt sie sie, tiefer zu denken, schwierigere visuelle Rätsel zu lösen und viel schneller zu lernen.

Technische Zusammenfassung: Vision-EKIPL

Problemstellung

Visuelles Schlussfolgern ist eine kritische kognitive Fähigkeit für Künstliche Allgemeine Intelligenz und unverzichtbar für Anwendungen, die von autonomer Navigation bis zum Szenenverständnis reichen. Während Multimodale Große Sprachmodelle (MLLMs) durch überwachtes Feinabstimmen (SFT) und Bestärkendes Lernen (RL) Fortschritte gemacht haben, stoßen aktuelle RL-basierte Ansätze (z. B. Group Relative Policy Optimization oder GRPO) auf erhebliche Einschränkungen. Insbesondere probieren diese Methoden Aktionsgruppen ausschließlich aus dem Policy-Modell selbst aus. Diese selbstreferenzielle Stichprobennahme beschränkt den Erkundungsraum des Modells auf seine eigenen inhärenten Fähigkeiten und kann zu einer „Schlussfolgerungsgrenze" führen, die sich nicht über das vortrainierte Grundmodell hinaus erweitert. Darüber hinaus leiden bestehende RL-Methoden oft unter langsamen Konvergenzraten und geringer Trainingseffizienz, da sie darauf angewiesen sind, dass das Modell komplexe Schlussfolgerungspfade ohne externe Führung entdeckt.

Methodik: Vision-EKIPL

Um diese Einschränkungen zu adressieren, schlagen die Autoren Vision-EKIPL (External Knowledge-Infused Policy Learning) vor, ein neuartiges RL-Framework, das hochwertige Aktionen aus externen Hilfsmodellen in den Policy-Optimierungsprozess integriert.

Kern-Framework

Das Framework arbeitet nach dem Prinzip der Einbringung externen Wissens während der RL-Trainingsschleife, um das Policy-Modell ( $\pi_\theta$ ) zu steuern. Der Prozess umfasst folgende Schritte:

Multi-Quellen-Aktionsstichprobe:
Im Gegensatz zum traditionellen GRPO, das Aktionen nur aus der aktuellen Policy bezieht, zieht Vision-EKIPL eine kombinierte Aktionsgruppe $O$ aus:
- Dem aktuellen Policy-Modell $\pi_\theta$ .
- $M$ externen Hilfsmodellen (z. B. GPT-4o, Gemini-1.5-Pro), bezeichnet als $\pi_{\phi_j}$ .
Für einen gegebenen Zustand $s = (x, q)$ (visuelle Kodierung und Frage) zieht das System $N$ Aktionen aus der Policy und $N$ Aktionen aus jedem der $M$ Hilfsmodelle.
Berechnung der Belohnung:
Alle gezogenen Aktionen werden mithilfe einer Belohnungsfunktion $R(o_i)$ bewertet, die zwei Komponenten umfasst:
- Format-Belohnung ( $R_{format}$ ): Stellt sicher, dass die Ausgabe einem strukturierten Format folgt (z. B. Schlussfolgerungen innerhalb von <thought>-Tags und Antworten innerhalb von <answer>-Tags).
- Genauigkeits-Belohnung ( $R_{acc}$ ): Vergibt eine positive Belohnung, wenn die endgültige Antwort korrekt ist, andernfalls null.
Auswahl hochwertiger Aktionen:
Der kombinierte Pool von Aktionen wird nach Belohnungswerten sortiert. Die Top- $G$ -Aktionen werden ausgewählt, um eine hochwertige Aktionsgruppe $T$ zu bilden. Diese Gruppe dient als „Experten"-Wissensbasis für den aktuellen Trainingsschritt.
Policy-Optimierung (GRPO):
Das Policy-Modell wird unter Verwendung des Group Relative Policy Optimization (GRPO)-Algorithmus aktualisiert. Der Vorteilswert $A_i$ für jede Aktion in der ausgewählten Gruppe wird relativ zum Mittelwert und zur Standardabweichung der Belohnungen der Gruppe berechnet. Die Policy-Parameter $\theta$ werden aktualisiert, um den erwarteten Vorteil zu maximieren, wobei eine KL-Divergenz-Strafe eingehalten wird, um nahe an einer Referenzverteilung zu bleiben.

Dynamische Evolution

Die Arbeit verzeichnet eine dynamische Verschiebung der Aktionsquellen während des Trainings. Anfangs stützt sich das Policy-Modell stark auf Aktionen externer Modelle, da seine eigenen Schlussfolgerungsfähigkeiten schwächer sind. Mit fortschreitendem Training und der Verbesserung des Policy-Modells steigt der Anteil der aus dem Policy-Modell selbst ausgewählten Aktionen an, wodurch es in der Lage ist, seine eigenen gelernten Strategien zu nutzen, während es dennoch von der anfänglichen externen Führung profitiert.

Hauptbeiträge

Neuartiges RL-Framework: Die Vorstellung von Vision-EKIPL, der ersten Methode, die hochwertige Aktionen aus externen Hilfsmodellen nutzt, um die Policy-Modell-Optimierung im visuellen Schlussfolgern zu steuern.
Erweiterte Schlussfolgerungsgrenze: Der Nachweis, dass die Integration externer Aktionen den Aktionserkundungsraum des Policy-Modells effektiv erweitert, sodass es Schlussfolgerungspfade entdecken kann, die ein einzelnes Policy-Modell möglicherweise übersehen würde, wodurch die Schlussfolgerungsgrenze erweitert wird.
Verbesserte Effizienz und Leistung: Validierung durch umfangreiche Experimente, dass das Framework die Trainingskonvergenz erheblich beschleunigt und die Gesamtleistung beim Schlussfolgern im Vergleich zu fortschrittlichsten Baselines verbessert.

Experimentelle Ergebnisse

Die Autoren bewerteten Vision-EKIPL auf dem Reason-RFT-CoT-Benchmark, der drei Aufgabenkategorien abdeckt: Visuelles Zählen, Strukturerkennung und Räumliche Transformation.

Leistungssteigerungen: Vision-EKIPL erzielte auf dem Benchmark eine Leistungsverbesserung von bis zu 5 % gegenüber den fortschrittlichsten (SOTA) Methoden.
In-Domain (ID)-Ergebnisse:
- Beim visuellen Zählen übertrafen RL-basierte Methoden (einschließlich Vision-EKIPL) konsistent SFT-basierte Methoden und Baseline-Modelle über die Parameter-Skalen von 2B und 7B hinweg.
- Bei der räumlichen Transformation erzielte Vision-EKIPL die höchste Leistung und übertraf alle Baseline-Modelle, einschließlich proprietärer Modelle wie GPT-4o und Gemini-1.5-Pro, bei spezifischen Metriken zur Out-of-Domain-Generalisierung.
Out-of-Domain (OOD)-Generalisierung:
- Vision-EKIPL zeigte eine überlegene Generalisierung im Vergleich zu SFT-Methoden. Beispielsweise übertraf es beim 7B-Modell ANS-SFT beim visuellen Zählen um 19 %.
- Bei der räumlichen Transformation übertraf das 2B-Vision-EKIPL-Modell GPT-4o um 34 % und Gemini-1.5-Pro um 47 % bei OOD-Aufgaben.
Trainingseffizienz:
- Vision-EKIPL zeigte eine hohe Dateneffizienz und erreichte die Leistung von Reason-RFT mit nur 12 % bis 25 % der Trainingsdaten, die von der Baseline benötigt wurden.
Analyse der Schlussfolgerungsgrenze:
- Die Pass@K-Analyse ergab, dass traditionelles RL (Reason-RFT) mit zunehmendem $K$ schließlich hinter das Basismodell zurückfiel (was eine Überausbeutung bekannter Pfade andeutet), während Vision-EKIPL über alle $K$ -Werte hinweg eine überlegene Leistung beibehielt, was seine Fähigkeit bestätigt, die Grenze des Schlussfolgerns voranzutreiben.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Vision-EKIPL ein neues, effektives Paradigma für die Forschung zum visuellen Schlussfolgern bietet, indem es die inhärenten Einschränkungen traditioneller RL-Methoden überwindet. Indem externe Modelle als „Experten" behandelt werden, die destillierte Überwachungsziele bereitstellen, ermöglicht das Framework dem Policy-Modell, diverse und neuartige Schlussfolgerungsstrategien zu erlernen, die sonst durch reine Selbststichprobennahme nicht zugänglich wären.

Die Autoren positionieren diesen Ansatz als hybrides Paradigma, das Elemente des überwachten Feinabstimmens (durch Wissensdistillation aus externen Aktionen) und des Bestärkenden Lernens kombiniert. Sie behaupten, dass diese Methode nicht nur die Leistung des visuellen Schlussfolgerns von MLLMs erheblich verbessert, sondern auch die Trainingskonvergenz substantiell beschleunigt. Während die primäre Validierung auf Aufgaben des visuellen Schlussfolgerns erfolgt, deuten die Autoren an, dass das Framework eine Allgemeingültigkeit besitzt und theoretisch auf linguistische und andere multimodale Aufgaben angewendet werden könnte.