💬 NLP

Reasoning Resides in Layers: Restoring Temporal Reasoning in Video-Language Models with Layer-Selective Merging

Het artikel introduceert MERIT, een trainingsvrij raamwerk dat door het selectief samenvoegen van specifieke lagen van een video-taalmodel met zijn tekstuele basis de verminderde redeneervermogen voor tijdssequenties herstelt zonder in te leveren op waarneming.

Oorspronkelijke auteurs: Zihang Fu, Haonan Wang, Jian Kang, Kenji Kawaguchi, Jiaying Wu

Gepubliceerd 2026-04-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zihang Fu, Haonan Wang, Jian Kang, Kenji Kawaguchi, Jiaying Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, goed opgeleide professor hebt (een LLM of taalmodel). Deze professor is een meester in het redeneren: hij kan complexe verhalen analyseren, oorzaak en gevolg begrijpen en logische puzzels oplossen. Maar hij heeft een probleem: hij kan niet zien. Hij leeft in een wereld van alleen maar tekst.

Nu willen we deze professor een bril opzetten zodat hij ook video's kan kijken. We noemen dit een Video-Language Model (VLM). Het idee is mooi: de professor leert kijken én blijft slim.

Maar in de praktijk gebeurt er iets vreemds. Zodra we de bril opzetten en de professor begint te kijken, vergeet hij hoe hij moet redeneren. Hij ziet wel wat er gebeurt (een man loopt naar de koelkast, een vrouw lacht), maar hij raakt de draad kwijt over waarom het gebeurt of in welke volgorde de dingen gebeuren. Het is alsof je een bril opzet die zo fel schijnt dat je de rest van je hersenen even vergeten bent.

De onderzoekers van dit papier (MERIT) hebben een oplossing gevonden. Ze noemen hun methode MERIT. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Verkeerde Mix"

Stel je voor dat je twee recepten hebt:

Recept A: Een meesterkok die perfecte taarten bakt (de tekst-LLM, goed in redeneren).
Recept B: Een kok die fantastisch groenten snijdt en ziet (de video-LLM, goed in zien).

Als je deze twee recepten simpelweg door elkaar roert (zoals eerdere methoden deden), krijg je een soep. De soep smaakt misschien oké, maar je mist de perfecte taart én de scherpe messen. De "redenering" (de taart) is verdwenen in de soep van visuele informatie.

2. De Oplossing: MERIT (De "Chirurgische Knip")

MERIT doet niet mee met het "alles door elkaar gooien". In plaats daarvan kijken ze heel precies naar de lagen van de hersenen van de computer.

Een groot taalmodel is opgebouwd uit lagen, net als een taart met vele verdiepingen.

De onderste lagen zijn vaak goed in het "zien" en het herkennen van objecten (zoals "dat is een hond").
De hogere lagen zijn vaak goed in het "denken" en het logisch verbinden van dingen (zoals "de hond rende weg omdat hij bang was").

De onderzoekers ontdekten dat multimodale training (het leren kijken) de onderste lagen heeft verpest voor het redeneren, maar dat de hogere lagen nog steeds de oude, slimme redenering van de tekst-professor bevatten.

MERIT werkt als een slimme chirurg:

Ze nemen de video-LLM (de professor met de bril).
Ze nemen de originele tekst-LLM (de professor zonder bril, maar wel slim).
Ze kijken niet naar het hele model, maar kiezen selectief welke lagen ze uitwisselen.
Ze houden de lagen van de video-LLM die goed zijn in zien (temporele perceptie).
Ze vervangen de lagen die nodig zijn voor redeneren door de lagen van de originele tekst-professor.

Het is alsof je in een auto de motor (redeneren) vervangt door een krachtigere versie, maar de wielen en de carrosserie (zien) intact laat.

3. Hoe vinden ze de juiste lagen? (De "Proefkeuken")

Ze weten niet van tevoren welke lagen precies nodig zijn. Dus gebruiken ze een slimme zoekmethode (een evolutionair algoritme).

Ze proberen duizenden combinaties van lagen.
Ze testen elke combinatie op een kleine set van vragen: "Kun je nog steeds zien wat er gebeurt?" én "Kun je nog steeds logisch redeneren?"
Als een combinatie het zien verbetert maar het redeneren verpest, wordt die weggegooid.
Als een combinatie het redeneren verbetert zonder het zien te verpesten, houden ze het.

4. Het Resultaat: De Professor is weer Slim én Kan Kijken

Na deze "chirurgische ingreep" (zonder dat ze de hele computer opnieuw hoeven te trainen, wat enorm veel tijd en geld kost), gebeurt er iets wonderlijks:

De video-LLM kan nog steeds perfect zien wat er in een video gebeurt.
Maar nu kan hij ook weer de oorzaak en gevolg begrijpen. Hij ziet niet alleen dat iemand valt, maar begrijpt waarom hij viel (bijvoorbeeld: "hij struikelde over een touw dat daar eerder lag").

Samenvattend in één zin:

MERIT is een slimme manier om een video-kijkende computer weer "slim" te maken door selectief de "denk-lagen" van een tekst-expert terug te plaatsen, zonder de "kijk-lagen" te beschadigen. Het is alsof je een vergeten geheugen terughaalt door precies de juiste stukjes van een oude vriend in je hoofd te plakken.

Probleemstelling

Multimodale adaptatie, waarbij grote taalmodellen (LLMs) worden aangevuld met visuele capaciteiten om Video-Language Models (VLMs) te creëren, leidt vaak tot een ongunstige trade-off. Hoewel deze modellen sterke waarnemingsvaardigheden (perceptie) ontwikkelen, verzwakt dit vaak de redeneerredenering (reasoning) die oorspronkelijk uit de taal-only pretraining was overgenomen.

Dit fenomeen is vooral pijnlijk voor temporeel redeneren (Temporal Reasoning - TR) in video's. Bestaande VLMs falen vaak op twee manieren:

Ze verliezen hun intrinsieke vermogen om logische tijdsrelaties in tekst te begrijpen.
Zelfs als ze visuele objecten en cues correct waarnemen, kunnen ze de causale en temporele structuur van een gebeurtenisreeks niet afleiden.

De auteurs stellen dat dit komt door een mismatch in trainingsdoelen: bestaande pipelines focussen sterk op ruimtelijke perceptie en objectalignatie, maar bieden weinig supervisie voor temporele abstractie en causale inferentie. Bestaande oplossingen, zoals hertraining (bijv. DPO), zijn rekenkundig duur, terwijl bestaande "training-free" methoden voor modelmerging vaak te grofkorrelig zijn (uniforme merging van het hele model) en daardoor onbetrouwbaar zijn of de visuele prestaties tenietdoen.

Methodologie: MERIT

De auteurs introduceren MERIT (Merging for Enhanced Reasoning In Temporal Tasks), een training-vrij, taakgericht framework voor het herstellen van temporeel redeneren door selectieve laag-merging.

Kernprincipes:

Selectieve Laag-Interventie: In plaats van het hele model uniform te mergen, zoekt MERIT naar de optimale "recepten" op laagniveau. Het combineert de self-attention parameters van een VLM ( $M$ ) met die van zijn bijbehorende tekst-only backbone ( $N$ ).
Doelfunctie: De zoektocht wordt gedreven door een objectief dat twee doelen balanseert:
1. Maximaliseren van de verbetering in Temporeel Redeneren (TR).
2. Straffen voor degradatie in Temporele Perceptie (TP).
  De formule is: $g^* = \arg \max_g (Acc_{TR}(g) - \lambda \cdot D_{TP}(g))$ , waarbij $D_{TP}$ de daling in perceptie is ten opzichte van het originele VLM.
Evolutionaire Zoekstrategie (CMA-ES): Omdat de zoekruimte voor laag-selectie combinatorisch en niet-differentieerbaar is, gebruikt MERIT de Covariance Matrix Adaptation Evolution Strategy (CMA-ES).
- Een continue gating-vector $g \in [0, 1]^L$ wordt geoptimaliseerd.
- Deze vector wordt gethresholded om een discrete selectie van lagen te bepalen (welke lagen worden gemerged).
- Voor de geselecteerde lagen wordt een gerichte interpolatie toegepast: $\theta_\ell = \alpha \theta^M_\ell + (1-\alpha) \theta^N_\ell$ (of omgekeerd), waarbij $\alpha$ de sterkte van de interpolatie bepaalt.
Efficiëntie: De zoektocht gebeurt op een kleine subset van het Video-MME benchmark (55 TP- en 177 TR-voorbeelden), maar de gevonden recepten worden getest op volledige benchmarks.

Belangrijkste Bijdragen

Ontdekking van "Reasoning-Lagen": Het paper toont aan dat temporeel redeneren niet uniform over het hele netwerk is verdeeld, maar afhankelijk is van een gelokaliseerde subset van lagen. Het selectief herstellen van deze specifieke lagen is effectiever dan uniforme merging.
Training-vrij Framework: MERIT herstelt redeneercapaciteiten zonder extra data of kostbare hertraining, wat het een schaalbare oplossing maakt.
Perceptie-bewustzijn: Door expliciet te straffen voor verlies aan perceptie, garandeert het framework dat het model niet alleen beter redeneert, maar ook zijn visuele competentie behoudt of zelfs verbetert.

Resultaten

De auteurs hebben MERIT getest op drie representatieve VLMs (LongVA-7B, InternVL3-8B, Qwen3-VL-4B) en meerdere benchmarks (Video-MME, LongVideoBench, LVBench, MMBench-Video, Video-Holmes).

Verbetering in Redeneren: MERIT leidt tot consistente en aanzienlijke verbeteringen in temporeel redeneren (bijv. +23,9% voor LongVA-7B op Video-MME TR), terwijl uniforme merging (ALL-LAYER) of willekeurige laagselectie (RANDOM-K) vaak falen of zelfs prestatieverlies veroorzaken.
Behoud van Perceptie: In tegenstelling tot andere methoden, behoudt MERIT de temporele perceptie (TP) en verbetert deze in veel gevallen zelfs.
Generalisatie: De op Video-MME gevonden merging-recepten generaliseren uitstekend naar vier andere benchmarks die niet gebruikt zijn tijdens de zoektocht.
Interventie-analyse: Door de geselecteerde lagen in het originele model te maskeren, zagen de auteurs dat de prestaties op redeneren veel sneller verslechterden dan op algemene taken. Dit bewijst dat deze lagen disproportionaal belangrijk zijn voor redeneren.
Attributie-analyse: Frame-level attributie toont aan dat MERIT verschuift van lokaal, misleidend visueel bewijs naar temporale en causaal relevante bewijsstukken (bijv. het verbinden van gebeurtenissen die ver uit elkaar liggen in de tijd om een oorzaak te vinden).

Significantie

Deze studie biedt een fundamenteel nieuw inzicht in hoe multimodale modellen redeneren: redeneringscapaciteiten zijn niet verloren gegaan, maar zijn "verstopt" of onderdrukt door de visuele adaptatie in specifieke lagen van het taalbackbone.

De belangrijkste implicaties zijn:

Architecturale Interventie: Het is mogelijk om gespecialiseerde redeneercapaciteiten in multimodale systemen te herstellen door gerichte architecturale ingrepen (laag-selectie) in plaats van volledige hertraining.
Schaalbaarheid: De methode is rekenkundig efficiënt en kan worden toegepast op bestaande modellen om hun redeneervermogen te verbeteren zonder extra data.
Toekomstige Richting: Het suggereert dat toekomstige multimodale systemen kunnen profiteren van "perceptie-bewuste" merging-strategieën om de kloof tussen waarneming en redenering te overbruggen.

Kortom, MERIT demonstreert dat door slimme, laag-specifieke combinaties van bestaande modellen, we de zwakke schakel in temporeel redeneren kunnen repareren zonder de sterke schakel in visuele perceptie te beschadigen.