Technische Samenvatting: EVIDENT - Routing van MLLM-adaptatie via entiteit-gegronde visuele bewijzen

1. Probleemstelling

Het artikel behandelt het falen van cross-domein generalisatie van Multimodale Grootte Taalmodellen (MLLM's) bij Video Temporaal Grondvesten (VTG). Hoewel vooraf getrainde MLLM's inherente, domein-agnostische entiteitsaandachtscapaciteiten bezitten (het vermogen om taalqueries te koppelen aan relevante visuele entiteiten over diverse distributies), vernietigt naïef fijnafstemmen voor VTG-taken deze capaciteit vaak.

De auteurs identificeren een fenomeen dat zij "ontkoppeling van aandacht en lokalisatie" noemen. Wanneer een model wordt fijnafgestemd op een specifiek brondomein (In-Domain, ID), leert de MLLM om gebeurtenissen te lokaliseren door te vertrouwen op datasetspecifieke shortcuts (bijvoorbeeld bias in temporele locatie, scènecontext of uiterlijk) in plaats van op het onderliggende visuele bewijs. Bijgevolg verbetert de prestatie binnen het ID, terwijl de prestatie buiten het domein (Out-of-Domain, OOD) sterk verslechtert.

Door empirische analyse stelt het artikel vast dat deze verslechtering voornamelijk wordt gedreven door visuele domeinverschuiving (verschillen in visuele distributie tussen bron- en doelvideos) en niet door de aanwezigheid van onbekende queryconcepten. Standaard fijnafstemming zorgt ervoor dat het model overpast op scènecontexten van het brondomein, waardoor het de geleerde kennis voor temporele lokalisatie niet koppelt aan zijn vooraf getrainde entiteitsaandacht.

2. Methodologie: EVIDENT

Om dit op te lossen, stellen de auteurs EVIDENT (Evidence-grounded Entity-attentive adaptation) voor, een parameter-efficiënt kader dat temporele grondvesting verankert in de inherente entiteitsaandacht van vooraf getrainde MLLM's. Het kader bestaat uit drie kerncomponenten:

A. Entiteit Bottleneck Adapter (EB Adapter)

In plaats van de volledige MLLM fijnaf te stemmen of instructietuning opnieuw uit te voeren, plaatst EVIDENT een lichtgewicht adapter in de vroege lagen van de MLLM-decoder.

• Mechanisme: Het transformeert dichte visuele tokens naar een compacte set leerbare entiteitsniveauslots met behulp van een Slot Attention-mechanisme.
• Functie: Dit dwingt het model om de visuele scène te ontleden in discrete, semantisch coherente entiteiten (bijvoorbeeld persoon, object) in plaats van ruwe, verweven visuele tokens te verwerken.
• Reconstructie: De adapter reconstrueert de oorspronkelijke tokensequentie vanuit deze slots op een parameter-vrije manier, zodat de LLM-decoder uitsluitend gedesentraliseerde, entiteitsgerichte representaties consumeert.

B. Entiteit-Binding Distillatie (EB Distillation)

De auteurs merken op dat de visuele ruimte van de vooraf getrainde MLLM "verweven" is, wat betekent dat slots in de bottleneck zonder begeleiding van nature zouden instorten tot uniforme aandacht.

• Mechanisme: Er wordt een distillatieverlies geïntroduceerd om de vorming van slots te sturen. Het maakt gebruik van DINOv2 (een zelftoezichtend visiemodel) om pseudo-waarheid-clusterkaarten van visuele patches te genereren.
• Functie: Via Hongaarse matching en Binary Cross-Entropy (BCE) verlies wordt het model getraind om elke slot te binden aan een specifieke, semantisch coherente entiteitscluster. Dit plant "objectheidspriors" in de visuele ruimte van de MLLM, zodat slots zelfs onder domeinverschuivingen distincte entiteiten vertegenwoordigen.

C. Entiteit-naar-eVidence (E2V) Gating

Om deze geleerde entiteiten te benutten voor temporele lokalisatie, introduceert het kader een gating-mechanisme.

• Mechanisme: Voor een gegeven natuurlijke taalquery extrahert het systeem onderwerp- en objectconcepten. Vervolgens berekent het per frame een co-occurrence score op basis van de cosinusgelijkenis tussen de visuele kenmerken van het frame en de onderwerp/object-tokens van de query.
• Functie: Deze score fungeert als een poort die de bijdrage van de output van de EB Adapter moduleert. Frames waarin de query-relevante entiteiten samen voorkomen, krijgen hogere gewichten. Dit injecteert een inductieve bias dat het doeltemporele moment het moment is waarop de relevante entiteiten visueel aanwezig zijn, waardoor het model wordt gestuurd weg van datasetshortcuts.

Trainingsdoel: Het kader wordt end-to-end getraind met de visie-encoder bevroren. De EB Adapter- en LoRA-parameters worden gezamenlijk bijgewerkt met een gecombineerd verlies: $L_{total} = L_{CE} + \lambda L_{EBD}$, waarbij $L_{CE}$ het standaard cross-entropy verlies is voor het genereren van tijdstempels en $L_{EBD}$ het entiteit-binding distillatieverlies is.

3. Belangrijkste Bijdragen

1. Diagnose van OOD-falen: Het artikel demonstreert systematisch dat naïef fijnafstemmen leidt tot "ontkoppeling van aandacht en lokalisatie" en identificeert visuele domeinverschuiving als de primaire oorzaak van OOD-verslechtering, in plaats van conceptgaten.
2. EVIDENT-kader: Een parameter-efficiënte adaptatiemethode die VTG-lering routeert via entiteitsniveaurepresentaties zonder volledige instructietuning opnieuw uit te voeren. Het combineert een Entiteit Bottleneck Adapter, Entiteit-Binding Distillatie en een Entiteit-naar-eVidence gating-mechanisme.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat EVIDENT consistent de OOD-robuustheid verbetert over diverse cross-domein benchmarks (Charades-STA, QVHighlights, DiDeMo), terwijl het concurrerende In-Domain-prestaties behoudt met een bescheiden parameter-overhead (~2,36% van de 7B-backbone).

4. Experimentele Resultaten

De auteurs hebben EVIDENT geëvalueerd in cross-domein instellingen (trainen op één dataset, testen op een andere).

• Prestaties: EVIDENT presteert aanzienlijk beter dan naïef fijnafgestemde MLLM's (bijvoorbeeld Qwen2.5-VL) in OOD-scenario's. Bijvoorbeeld, op de Charades-STA $\to$ QVHighlights-taak leed de naïeve baseline een daling van meer dan 23,9 punten in R1@0.5, terwijl EVIDENT deze kloof overbrugde en een winst van +5,5 punten boven de baseline behaalde.
• Vergelijking: EVIDENT presteert beter dan zero-shot MLLM's (die geen precieze temporele lokalisatie hebben) en gespecialiseerde op DETR gebaseerde modellen (die vaak falen in generalisatie over domeinen).
• Ablatiestudies:
  • Het verwijderen van EB Distillatie resulteert in slots die niet specialiseren, wat de noodzaak bevestigt van het distillatieverlies voor entiteit-binding.
  • Het verwijderen van E2V-gating vermindert de OOD-prestaties, wat de waarde bevestigt van het gebruik van entiteiten als expliciete visuele bewijzen.
  • Het plaatsen van de adapter in vroege decoderlagen (0–10) bleek optimaal, waarbij de vooraf getrainde uitlijning wordt behouden terwijl entiteitsontleding mogelijk wordt gemaakt.

5. Betekenis en Claims

Het artikel stelt dat voor robuuste MLLM-gebaseerde VTG onder visuele domeinverschuiving de oplossing evidence-gegronde adaptatie is die volledig gebruikmaakt van vooraf getrainde entiteitsaandacht, in plaats van directe aanpassing aan de context van het brondomein.

De auteurs positioneren EVIDENT als een stap in de richting van het mitigeren van distributieveranderingen in video-interpretatie door een structurele bias naar redenering op entiteitsniveau af te dwingen. Zij betogen dat door fijnafstemming te regulariseren om voorspellingen te gronden in visueel bewijs (entiteiten) in plaats van gememoriseerde patronen, modellen transferbereik kunnen bereiken dat naïef fijnafstemmen niet kan. Het werk suggereert dat grondvesting op entiteitsniveau dient als een effectieve inductieve bias voor generaliseerbare temporele lokalisatie.

Het artikel blijft bescheiden wat betreft zijn reikwijdte, met de opmerking dat het zich richt op visuele distributieveranderingen en nog geen andere uitdagingen aanpakt, zoals lange video's, egocentrische perspectieven of open-vocabulary grondvesting, die worden overgelaten voor toekomstig werk.