Technische Samenvatting: FRISM

Probleemstelling

Vision-Language Models (VLM's) hebben opmerkelijk succes geboekt in perceptietaken, maar missen vaak de complexe redeneercapaciteiten die te vinden zijn in Large Reasoning Models (LRM's). Hoewel modelmerging een parameter-efficiënte manier biedt om redeneercapaciteiten in VLM's in te brengen zonder kostbare post-training, werken bestaande methoden op een grofkorrelig niveau van lagen. Deze benaderingen behandelen doorgaans hele lagen als atomische eenheden, wat leidt tot een aanzienlijk compromis: het verbeteren van redeneren gaat vaak ten koste van visuele perceptiecapaciteiten, en omgekeerd. Huidige strategieën voor het samenvoegen op laagniveau (bijvoorbeeld FRANK, IP-Merging) worstelen met het ontkoppelen van redeneren en visuele representaties binnen dezelfde laag, wat resulteert in suboptimale prestaties op beide fronten.

Methodologie

De auteurs stellen FRISM (Fine-grained Reasoning Injection via Subspace-level model Merging) voor, een kader dat het paradigma van het samenvoegen verschuift van het niveau van lagen naar het niveau van subruimtes.

Kernhypothese

FRISM wordt gemotiveerd door de observatie dat redeneercapaciteiten en visuele representaties zich bevinden in distincte subruimtes binnen de parameter ruimte, zelfs binnen een enkele laag. Bijgevolg is een uniforme schaalcoëfficiënt op laagniveau ontoereikend; deze koppelt onvermijdelijk nuttig redeneren (wat mogelijk een hoge magnitude vereist) aan visuele ruis.

Technisch Kader

FRISM werkt in twee fasen:

1. Decompositie & Initialisatie (Fase 1):

   • In plaats van de LRM-taakvector ($\tau_{lrm}$) te behandelen als een monolithische update, decomposeert FRISM deze in orthogonale subruimtes met behulp van Singular Value Decomposition (SVD): $U, S, V^\top = \text{SVD}(\tau_{lrm})$.
   • De singuliere vectoren ($U, V$) en singuliere waarden ($S$) worden bevroren om de semantische richting van de redeneertaak te behouden.
   • Een lichtgewicht, leerbaar gating-parameter $g$ wordt geïntroduceerd voor elke subruimte om de injectie-intensiteit adaptief te moduleren. De effectieve singuliere waarden worden berekend als $S_{eff} = \text{Sigmoid}(g) \odot S$.
   • De samengevoegde laag wordt geformuleerd als: $\theta_{merged} = \theta_{vlm} + \lambda_{lrm} \cdot U (S_{eff}) V^\top$.

2. Injectie & Training (Fase 2):

   • FRISM hanteert een labelvrije self-distillation-strategie met een dual-objectieve optimalisatiefunctie, waardoor de behoefte aan schaarse multimodale redeneerdatasets wordt geëlimineerd.
   • Visuele Behoud ($L_{distill}$): Minimaliseert de Kullback-Leibler (KL)-divergentie tussen de outputverdelingen van de originele VLM (leraar) en het samengevoegde model (student) op ongelabelde visuele perceptiedata (bijvoorbeeld VizWiz). Dit zorgt ervoor dat het samengevoegde model robuust visueel begrip behoudt.
   • Redeneren Maximaliseren ($L_{inject}$): Maximaliseert de spectrale magnitude van de geïnjecteerde subruimtes ($-\sum \|S_{eff}\|^2$). Deze term moedigt de absorptie aan van redeneerpriors die worden gedefinieerd door de LRM-taakvectoren.
   • Totale Doelstelling: $L = L_{distill} + \alpha \cdot L_{inject}$. Dit fungeert als een spectrale filter, die automatisch subruimtes ontdekt die het optimale compromis bieden tussen injectie van redeneren en visueel behoud.

Belangrijkste Bijdragen

1. Paradigma van Samenvoegen op Subruimteniveau: Het artikel herdenkt modelmerging door te bewegen van grofkorrelige operaties op laagniveau naar fijnkorrelige modulatie op subruimteniveau. Dit maakt de precieze identificatie en integratie van redenerendominante componenten mogelijk zonder visuele capaciteiten te verstoren.
2. Adaptieve SVD-Modulatie: FRISM is de eerste die het decomponeren van LRM-taakvectoren via SVD voor injectie van redeneren voorstelt, waardoor adaptieve herbeweging van subruimtes mogelijk wordt onder een doelstelling van visueel behoud.
3. Labelvrije Self-Distillation: De auteurs ontwerpen een trainingsstrategie die vertrouwen op dual-objectieve optimalisatie (minimalisatie van KL-divergentie en maximalisatie van spectrale magnitude) om stabiele overdracht van redeneren te bereiken zonder dat gelabelde VL-redeneerdatasets nodig zijn.
4. Plug-and-Play Efficiëntie: De methode is zeer parameter-efficiënt, waarbij alleen de training van gating-parameters vereist is terwijl het basismodel en de gedecomposeerde singuliere vectoren bevroren blijven.

Experimentele Resultaten

Uitgebreide experimenten werden uitgevoerd over verschillende modelgroottes (3B, 7B, 32B) en architecturen (Qwen2.5-VL, ThinkLite-VL, InternVL) op diverse benchmarks.

• Prestaties in Redeneren: FRISM presteert consequent beter dan bestaande merging-baselines (Task Arithmetic, Ties-Merging, DARE, IP-Merging) en overtreft vaak de basis-VLM aanzienlijk. Bijvoorbeeld, op de 7B-schaal behaalde FRISM een gemiddelde score voor redeneren van 49,4, wat 2,0 punten meer is dan de basis-VLM en de prestaties benadert van dure post-getrainde modellen zoals ThinkLite-VL-7B.
• Visueel Behoud: In tegenstelling tot andere methoden die last hebben van prestatiedaling in visuele perceptietaken, behoudt FRISM grotendeels of verbetert zelfs lichtjes de visuele capaciteiten. Op VL-perceptiebenchmarks vertoonde FRISM de minste prestatiedaling onder alle methoden.
• Efficiëntie: FRISM is zeer efficiënt, waarbij slechts 0,53M trainbare parameters en 0,49 uur trainingstijd op één GPU nodig zijn. Dit is aanzienlijk efficiënter dan post-training methoden zoals DRIFT, die ongeveer 7000M parameters en ongeveer 2 uur vereisen, terwijl vergelijkbare of superieure prestaties in redeneren worden bereikt.
• Ablatiestudies: Experimenten bevestigden dat zowel het SVD-decompositieproces als de verliesterm voor het maximaliseren van redeneren kritiek zijn. Het verwijderen van SVD (terugkeren naar laagniveau) of het verwijderen van de injectieverliesresulteerde in prestaties die dicht bij de basis-VLM lagen, wat de noodzaak bevestigt van fijnkorrelige subruimtecontrole en actieve injectie van redeneren.

Betekenis en Claims

Het artikel beweert dat FRISM effectief de kloof overbrugt tussen krachtige LRM's en VLM's door het inherente conflict op te lossen tussen het injecteren van redeneren en het behoud van visuele perceptie. Door injectie van redeneren te behandelen als een filterprobleem op subruimteniveau in plaats van een afweging op laagniveau, biedt FRISM een veelzijdige, plug-and-play oplossing die compatibel is met diverse VLM-architecturen.

De auteurs benadrukken dat hun aanpak een efficiënt alternatief biedt voor resource-intensieve post-training, waarbij state-of-the-art prestaties in redeneren worden bereikt terwijl visuele robuustheid wordt behouden zonder de noodzaak van dure gelabelde redeneerdatasets. Het werk suggereert dat de capaciteiten van modellen niet uniform verdeeld zijn, maar distinctief worden gecodeerd binnen specifieke rang-subruimtes, een bevinding die meer precieze en effectieve modelmerging mogelijk maakt.

Opmerking: Het artikel erkent beperkingen, waaronder een toegenomen inferentiële tijd door langere outputsequenties (overthinking) en het huidige onvermogen om te generaliseren over modellen van verschillende groottes of structuren. Het merkt ook op dat het doel van redeneren vertrouwen op een proxy (subruimtemagnitude) in plaats van directe supervisie vanwege data-schaarste.