🤖 machine learning

FRISM: Fine-Grained Reasoning Injection via Subspace-Level Model Merging for Vision-Language Models

FRISM ist ein feinabgestimmtes Reasoning-Injection-Framework, das Vision-Language-Modelle verbessert, indem es Task-Vektoren von Large Reasoning Models mittels Singulärwertzerlegung zerlegt und Subraum-Skalierungskoeffizienten adaptiv justiert, wodurch die Reasoning-Fähigkeiten effektiv gesteigert werden, während die visuelle Leistung erhalten bleibt.

Ursprüngliche Autoren: Chenyu Huang, Peng Ye, Xudong Tan, Jinhan Mu, Shenghe Zheng, Li Shen, Tao Chen

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chenyu Huang, Peng Ye, Xudong Tan, Jinhan Mu, Shenghe Zheng, Li Shen, Tao Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben zwei sehr unterschiedliche Experten:

Der visuelle Künstler: Ein Modell, das hervorragend darin ist, Bilder zu betrachten, zu beschreiben, was es sieht, und die Welt visuell zu verstehen. Wenn Sie es jedoch nach einer kniffligen Matheaufgabe fragen, rät es vielleicht einfach oder gibt eine oberflächliche Antwort.
Der Logik-Zauberer: Ein Modell, das ein Genie beim Lösen komplexer Rätsel, beim Rechnen und beim Durchdenken schwieriger Schritte ist. Wenn Sie ihm jedoch ein Bild zeigen, „sieht" es dieses möglicherweise nicht gut oder ignoriert die visuellen Details.

Das Ziel dieses Papers ist es, diese beiden Experten zu einem Super-Experten zu vereinen, der sowohl perfekt sehen als auch tiefgründig denken kann.

Das Problem: Der Ansatz des „stumpfen Messers"

Früher versuchten Wissenschaftler, diese beiden Modelle zu mischen, indem sie ihre „Gehirne" Schicht für Schicht einfach mittelten. Stellen Sie sich das vor wie den Versuch, eine Schüssel Suppe zu mischen, indem Sie einen Löffel des „Gehirns" des Logik-Zauberers nehmen und Schicht für Schicht in das Gehirn des visuellen Künstlers kippen.

Das Problem? Es ist zu grob.

Wenn Sie zu viel „Logik" hinzufügen, beginnt das Modell zu vergessen, wie man Bilder sieht (es wird zu einem blinden Genie).
Wenn Sie zu wenig „Logik" hinzufügen, bleibt das Modell gut im Sehen, kann aber immer noch keine schwierigen Probleme lösen.
Es ist, als würde man versuchen, ein Radio zu stimmen, indem man nur den Lautstärkeregler auf und ab dreht; man kann den perfekten Sender ohne Rauschen nicht finden.

Die Lösung: FRISM (das „chirurgische Skalpell")

Die Autoren schlagen eine neue Methode namens FRISM vor. Anstatt das gesamte Gehirn auf einmal zu mischen, verwenden sie eine Technik namens SVD (Singulärwertzerlegung).

Die Analogie: Das Orchester
Stellen Sie sich das Gehirn des Logik-Zauberers als ein riesiges Orchester vor, das eine komplexe Symphonie spielt.

Alte Methode: Sie versuchen, den visuellen Künstler dazu zu bringen, die gesamte Symphonie zu spielen, indem Sie die Lautstärke des gesamten Orchesters hochdrehen. Dies übertönt die eigene Musik des visuellen Künstlers.
FRISM-Methode: FRISM wirkt wie ein Dirigent, der das Orchester in einzelne Sektionen (Violinen, Trommeln, Flöten) aufteilen kann. Es erkennt, dass der „Schlussfolgerungs"-Teil der Logik hauptsächlich von den Flöten gespielt wird, während der „visuelle Lärm" von den Trommeln gespielt wird.

FRISM hört jeder Sektion sorgfältig zu:

Es identifiziert, welche „Instrumente" (Unterräume) für das Schlussfolgern unerlässlich sind.
Es dreht die Lautstärke der „Flöten" (Schlussfolgern) vorsichtig hoch, damit der visuelle Künstler lernen kann, zu denken.
Es hält die „Trommeln" (visueller Lärm) leise, damit der visuelle Künstler seine Fähigkeit zum Sehen nicht verliert.

Wie sie es ohne Lehrer schafften

Normalerweise benötigen Sie, um ein Modell zum Schlussfolgern zu bringen, Tausende von Beispielen mit korrekten Antworten (gelabelte Daten). Aber die Autoren hatten das nicht.

Stattdessen verwendeten sie einen klugen Trick namens Selbstdistillation:

Sie behandelten den ursprünglichen „visuellen Künstler" als strengen Lehrer.
Sie sagten dem neuen „Super-Experten" (dem fusionierten Modell): „Sie müssen lernen, wie der Logik-Zauberer zu denken, ABER Sie dürfen nicht ändern, wie Sie Bilder beschreiben. Wenn sich Ihre Beschreibung eines Bildes ändert, haben Sie versagt."
Das Modell lernte, die Schlussfolgerungsfähigkeiten aufzunehmen, während es gleichzeitig seine ursprünglichen visuellen Fähigkeiten strikt bewahrte, alles ohne dass ein Mensch jede Antwort bewerten musste.

Die Ergebnisse

Das Paper zeigt, dass dieser „chirurgische" Ansatz viel besser funktioniert als die alten „stumpfen" Mischmethoden.

Besseres Schlussfolgern: Das neue Modell löst Mathe- und Logikrätsel viel besser.
Kein Sehverlust: Im Gegensatz zu anderen Methoden wurde es nicht „blind". Es behielt seine Fähigkeit, Bilder zu verstehen, genauso gut wie zuvor.
Effizienz: Es tat dies, ohne riesige Mengen neuer Trainingsdaten oder teure Rechenleistung zu benötigen.

In Kürze

FRISM ist eine intelligente Methode, um einem visuellen Modell beizubringen, tiefgründig zu denken, indem es vorsichtig nur die „Denk-Teile" aus einem Schlussfolgerungsmodell heraussucht und injiziert, während die „Seh-Teile" völlig unberührt bleiben. Es ist der Unterschied zwischen dem Zerschlagen zweier Zutaten und dem vorsichtigen Falten eines empfindlichen Soufflés.

Technische Zusammenfassung: FRISM

Problemstellung

Vision-Language-Modelle (VLMs) haben in Wahrnehmungsaufgaben bemerkenswerte Erfolge erzielt, verfügen jedoch oft nicht über die komplexen Schlussfolgerungsfähigkeiten, die in Large Reasoning Models (LRMs) zu finden sind. Obwohl das Modell-Merging einen parameter-effizienten Weg bietet, Schlussfolgerungsfähigkeiten in VLMs einzubringen, ohne kostspieliges Nachtraining, arbeiten bestehende Methoden auf einer grobkörnigen Ebenenebene. Diese Ansätze behandeln typischerweise ganze Ebenen als atomare Einheiten, was zu einem erheblichen Kompromiss führt: Die Verbesserung der Schlussfolgerungsfähigkeiten verschlechtert oft die visuellen Wahrnehmungsfähigkeiten und umgekehrt. Aktuelle Merging-Strategien auf Ebene-Ebene (z. B. FRANK, IP-Merging) haben Schwierigkeiten, Schlussfolgerungs- und visuelle Repräsentationen innerhalb derselben Ebene zu entkoppeln, was zu suboptimalen Leistungen in beiden Bereichen führt.

Methodik

Die Autoren schlagen FRISM (Fine-grained Reasoning Injection via Subspace-level model Merging) vor, ein Framework, das das Merging-Paradigma von der Ebenenebene auf die Unterraumebene verlagert.

Kernhypothese

FRISM wird durch die Beobachtung motiviert, dass Schlussfolgerungsfähigkeiten und visuelle Repräsentationen sich in unterschiedlichen Unterräumen innerhalb des Parameterraums befinden, selbst innerhalb einer einzigen Ebene. Folglich ist ein einheitlicher Skalierungskoeffizient auf Ebene-Ebene unzureichend; er koppelt unvermeidlich vorteilhafte Schlussfolgerungen (die möglicherweise eine hohe Magnitude erfordern) mit visuellem Rauschen.

Technisches Framework

FRISM arbeitet in zwei Stufen:

Zerlegung & Initialisierung (Stufe 1):
- Anstatt den LRM-Aufgabenvektor ( $\tau_{lrm}$ ) als monolithische Aktualisierung zu behandeln, zerlegt FRISM ihn mittels Singulärwertzerlegung (SVD) in orthogonale Unterräume: $U, S, V^\top = \text{SVD}(\tau_{lrm})$ .
- Die Singulärvektoren ( $U, V$ ) und Singulärwerte ( $S$ ) werden eingefroren, um die semantische Richtung der Schlussfolgerungsaufgabe zu bewahren.
- Ein leichter, lernbarer Gate-Parameter $g$ wird für jeden Unterraum eingeführt, um die Injektionsintensität adaptiv zu modulieren. Die effektiven Singulärwerte werden berechnet als $S_{eff} = \text{Sigmoid}(g) \odot S$ .
- Die gemergte Ebene wird formuliert als: $\theta_{merged} = \theta_{vlm} + \lambda_{lrm} \cdot U (S_{eff}) V^\top$ .
Injektion & Training (Stufe 2):
- FRISM verwendet eine etikettenfreie Selbst-Distillation-Strategie mit einer dualen Optimierungszielsetzung, wodurch der Bedarf an knappen multimodalen Schlussfolgerungsdatensätzen entfällt.
- Visuelle Erhaltung ( $L_{distill}$ ): Minimiert die Kullback-Leibler-(KL)-Divergenz zwischen den Ausgabeverteilungen des ursprünglichen VLMs (Lehrer) und des gemergten Modells (Schüler) auf ungelabelten visuellen Wahrnehmungsdaten (z. B. VizWiz). Dies stellt sicher, dass das gemergte Modell ein robustes visuelles Verständnis beibehält.
- Maximierung der Schlussfolgerung ( $L_{inject}$ ): Maximiert die spektrale Magnitude der injizierten Unterräume ( $-\sum \|S_{eff}\|^2$ ). Dieser Term fördert die Absorption von Schlussfolgerungspriors, die durch die LRM-Aufgabenvektoren definiert sind.
- Gesamtzielsetzung: $L = L_{distill} + \alpha \cdot L_{inject}$ . Dies wirkt als spektraler Filter, der automatisch Unterräume entdeckt, die den optimalen Kompromiss zwischen Schlussfolgerungsinjektion und visueller Erhaltung bieten.

Hauptbeiträge

Merging-Paradigma auf Unterraumebene: Das Papier überdenkt das Modell-Merging, indem es von grobkörnigen Operationen auf Ebene-Ebene zu feinkörnigen Modulationen auf Unterraumebene übergeht. Dies ermöglicht die präzise Identifizierung und Integration von schlussfolgerungsdominanten Komponenten, ohne visuelle Fähigkeiten zu stören.
Adaptive SVD-Modulation: FRISM ist das erste, das eine Zerlegung von LRM-Aufgabenvektoren mittels SVD zur Schlussfolgerungsinjektion vorschlägt, was eine adaptive Neugewichtung von Unterräumen unter einer visuellen Erhaltungszielsetzung ermöglicht.
Etikettenfreie Selbst-Distillation: Die Autoren entwerfen eine Trainingsstrategie, die auf dualer Optimierungszielsetzung (Minimierung der KL-Divergenz und Maximierung der spektralen Magnitude) basiert, um einen stabilen Transfer von Schlussfolgerungen ohne benötigte gelabelte VL-Schlussfolgerungsdatensätze zu erreichen.
Plug-and-Play-Effizienz: Die Methode ist hochgradig parameter-effizient und erfordert nur das Training von Gate-Parametern, während das Basismodell und die zerlegten Singulärvektoren eingefroren bleiben.

Experimentelle Ergebnisse

Umfangreiche Experimente wurden über verschiedene Modellskalen (3B, 7B, 32B) und Architekturen (Qwen2.5-VL, ThinkLite-VL, InternVL) hinweg auf diversen Benchmarks durchgeführt.

Schlussfolgerungsleistung: FRISM übertrifft bestehende Merging-Baselines (Task Arithmetic, Ties-Merging, DARE, IP-Merging) konsistent und übertrifft oft das Basis-VLM signifikant. Beispielsweise erreichte FRISM auf der 7B-Skala im Durchschnitt einen Schlussfolgerungswert von 49,4, was das Basis-VLM um 2,0 Punkte übertrifft und sich der Leistung von kostspieligen nachtrainierten Modellen wie ThinkLite-VL-7B annähert.
Visuelle Erhaltung: Im Gegensatz zu anderen Methoden, die unter Leistungsverschlechterungen bei visuellen Wahrnehmungsaufgaben leiden, bewahrt FRISM visuelle Fähigkeiten weitgehend oder verbessert sie sogar leicht. Auf VL-Wahrnehmungs-Benchmarks zeigte FRISM den geringsten Leistungsabfall aller Methoden.
Effizienz: FRISM ist hochgradig effizient und erfordert nur 0,53M trainierbare Parameter und 0,49 Stunden Trainingszeit auf einer einzigen GPU. Dies ist deutlich effizienter als Nachtrainingsmethoden wie DRIFT, die ~7000M Parameter und ~2 Stunden benötigen, während vergleichbare oder überlegene Schlussfolgerungsleistungen erzielt werden.
Ablationsstudien: Experimente bestätigten, dass sowohl der SVD-Zerlegungsprozess als auch der Term zur Maximierung der Schlussfolgerung kritisch sind. Das Entfernen der SVD (Rückkehr zur Ebenenebene) oder das Entfernen des Injektionsverlusts führte zu Leistungen, die nahe am Basis-VLM lagen, was die Notwendigkeit einer feinkörnigen Unterraumkontrolle und einer aktiven Schlussfolgerungsinjektion validiert.

Bedeutung und Behauptungen

Das Papier behauptet, dass FRISM die Lücke zwischen leistungsfähigen LRMs und VLMs effektiv schließt, indem es den inhärenten Konflikt zwischen dem Einbringen von Schlussfolgerungen und der Erhaltung visueller Wahrnehmung löst. Indem es Schlussfolgerungsinjektion als Filterproblem auf Unterraumebene und nicht als Ausgleichsakt auf Ebene-Ebene behandelt, bietet FRISM eine vielseitige, Plug-and-Play-Lösung, die mit verschiedenen VLM-Architekturen kompatibel ist.

Die Autoren betonen, dass ihr Ansatz eine effiziente Alternative zu ressourcenintensivem Nachtraining darstellt, die State-of-the-Art-Schlussfolgerungsleistungen bei gleichzeitiger Aufrechterhaltung visueller Robustheit ohne den Bedarf an teuren gelabelten Schlussfolgerungsdatensätzen erreicht. Die Arbeit legt nahe, dass die Fähigkeiten von Modellen nicht gleichmäßig verteilt sind, sondern eindeutig innerhalb spezifischer Rang-Unterräume kodiert sind, eine Erkenntnis, die ein präziseres und effektiveres Modell-Merging ermöglicht.

Hinweis: Das Papier erkennt Einschränkungen an, darunter eine erhöhte Inferenzzeit aufgrund längerer Ausgabesequenzen (Overthinking) und die derzeitige Unfähigkeit, über Modelle unterschiedlicher Größen oder Strukturen hinweg zu generalisieren. Es wird zudem angemerkt, dass das Schlussfolgerungsziel aufgrund von Datenknappheit auf einen Proxy (Unterraummagnitude) statt auf direkte Überwachung angewiesen ist.