💻 computer science

Combating Visual Neglect and Semantic Drift in Large Multimodal Models for Enhanced Cross-Modal Retrieval

Dit artikel stelt Salient Subject-Aware Multimodal Embedding (SSA-ME) voor, een nieuw raamwerk dat cross-modale retrieval verbetert door visuele verwaarlozing en semantische drift aan te pakken via salientie-bewuste modellering en kenmerkgeneratie om tekst beter te aligneren met semantisch betekenisvolle visuele regio's.

Oorspronkelijke auteurs: Guosheng Zhang, Linkai Liu, Keyao Wang, Haixiao Yue, Zhiwen Tan, Xiao Tan

Gepubliceerd 2026-04-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Guosheng Zhang, Linkai Liu, Keyao Wang, Haixiao Yue, Zhiwen Tan, Xiao Tan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente bibliothecaris hebt (een Groot Multimodaal Model) wiens taak het is om het perfecte plaatje te vinden op basis van een beschrijving die je hen geeft. Je zegt: "Laat me een foto van een rode auto zien," en de bibliothecaris zou direct de foto van de rode auto moeten grijpen.

Echter, het artikel betoogt dat huidige bibliothecarissen twee specifieke fouten maken:

Ze worden afgeleid door de verkeerde dingen (Semantische Drijverij): Als je vraagt om een "rode auto", kijkt de bibliothecaris misschien naar het hele plaatje, raakt in de war door de achtergrond en richt zich op een willekeurige boom of een persoon die in de buurt staat, in plaats van op de auto. Ze slagen er niet in om in te zoomen op het specifieke ding dat je noemde.
Ze negeren de plaatjes volledig (Visuele Verwaarlozing): Soms leest de bibliothecaris je tekstbeschrijving zo intensief dat ze helemaal ophouden met naar het plaatje te kijken. Ze vertrouwen voor 90% op de woorden die je hebt getypt en voor slechts 10% op het daadwerkelijke beeld, waardoor cruciale visuele details verloren gaan.

De auteurs noemen dit probleem "Visuele Verwaarlozing en Semantische Drijverij".

De Oplossing: SSA-ME (De "Schijnwerper"-bibliothecaris)

Om dit op te lossen, bouwden de onderzoekers een nieuw systeem genaamd SSA-ME (Salient Subject-Aware Multimodal Embedding). Denk aan dit systeem als het geven van een speciale schijnwerper en een markeerstift aan de bibliothecaris.

Hier is hoe het werkt, met eenvoudige analogieën:

1. De "Schijnwerper" (Saliency-Gestuurde Aandacht-uitlijning)

In plaats van met een brede, wazige blik naar het hele beeld te kijken, gebruikt het systeem een "schijnwerper" om eerst het belangrijkste object te vinden.

Hoe het werkt: Wanneer je een vraag stelt, vraagt het systeem een tweede, zeer bekwaam AI-systeem (zoals een visueel expert) om precies aan te geven welk deel van het beeld overeenkomt met je woorden.
De Analogie: Stel je voor dat je op zoek bent naar een specifieke sleutel in een rommelige kamer. Een normaal persoon zou misschien langzaam de hele kamer afzoeken. Dit systeem schijnt een fel licht direct op de sleutel en negeert de rommel. Het dwingt het model om zijn "aandacht" uitsluitend te richten op het relevante onderwerp (zoals de auto, de broek of de helm) en de achtergrondruis te negeren.

2. De "Markeerstift" (Saliency-gedreven Feature-regeneratie)

Zodra de schijnwerper het belangrijke object heeft gevonden, gebruikt het systeem een "markeerstift" om ervoor te zorgen dat dat object de ster van de show is.

Hoe het werkt: Het systeem neemt de visuele data van dat specifieke gemarkeerde object en "regeneratieert" of herbekrachtigt het geheugen van het beeld. Het verhoogt het belang van de visuele kenmerken van dat object, zodat het model ze niet vergeet.
De Analogie: Stel je voor dat je studeert voor een toets. Je leest een heel schoolboek, maar je onthoudt alleen de eerste zin omdat je verveeld was. Dit systeem pakt het belangrijkste paragraaf (het saliente onderwerp), markeert het felgeel en zorgt ervoor dat je hersenen dat deel perfect onthouden, waardoor het evenwicht wordt hersteld zodat je niet alleen de tekst uit je hoofd leert en het plaatje vergeet.

Waarom dit belangrijk is (De Resultaten)

De onderzoekers testten deze nieuwe "Schijnwerper-bibliothecaris" tegen de oude modellen met behulp van een enorme bibliotheek van 36 verschillende tests (het MMEB-benchmark).

De Oude Manier: De bibliothecaris gaf vaak het verkeerde antwoord omdat ze naar het verkeerde deel van het plaatje keken of het plaatje volledig negeerden.
De Nieuwe Manier (SSA-ME): Door het model te dwingen zich te focussen op het specifieke onderwerp en de tekst in evenwicht te brengen met het beeld, werd het systeem veel beter in het vinden van het juiste antwoord.

De Kernboodschap:
Het artikel beweert dat door deze AI-modellen te leren stoppen met "dagdromen" over de achtergrond en stoppen met het "overlezen" van de tekst, ze eindelijk precies kunnen begrijpen wat je vraagt. Het resultaat is een systeem dat aanzienlijk nauwkeuriger is in het koppelen van tekst aan afbeeldingen, met de hoogste scores ooit behaald op hun specifieke testbenchmarks.

Kortom: Ze leerden de AI om naar het juiste ding te kijken en het plaatje te onthouden, in plaats van alleen maar te gokken op basis van de woorden.

1. Probleemstelling

Het paper adresseert twee kritieke beperkingen in huidige Unified Multimodal Retrieval (UMR)-systemen op basis van Large Multimodal Models (LMM):

Semantische Afwijking in Uitlijning: Bestaande methoden vertrouwen voornamelijk op contrastief leren op sample-niveau (onderscheid tussen positieve en negatieve paren). Dit faalt vaak in het vastleggen van semantiek op subject-niveau, waardoor modellen hun aandacht verkeerd toewijzen aan semantisch irrelevante gebieden in plaats van aan de specifieke visuele subjecten die in de tekstquery worden genoemd.
Verwaarlozing van de Visuele Modus: LMM's hebben de neiging om te sterk te vertrouwen op tekstuele aanwijzingen, wat leidt tot een disbalans waarbij visuele informatie onderbenut wordt. De modellen clusteren zwaar in "tekst-biased" regio's van de embedding-ruimte, waardoor ze complementaire visuele kennis niet effectief benutten.

2. Methodologie: SSA-ME Framework

De auteurs stellen Salient Subject-Aware Multimodal Embedding (SSA-ME) voor, een framework ontworpen om fijnkorrelig representatieleren te verbeteren door middel van salientie-bewuste modellering. De architectuur bestaat uit drie hoofdfasen:

A. Multimodale Feature Extractie

Het framework gebruikt een standaard LMM-pijplijn (Vision Encoder + Projector + Taalmodel), maar hanteert het principe van Explicit One-token Limitation (EOL). Het verwerkt interleaved beeld-tekst-invoer met behulp van specifieke prompt-sjablonen om een uniforme multimodale embedding te genereren.

B. Saliency-Guided Attention Alignment (SGA)

Deze module adresseert semantische afwijking in uitlijning door het model te dwingen zich te focussen op relevante visuele subjecten.

Subject Extractie: Een prompt-gebaseerd LMM (bijv. Qwen2.5-VL) analyseert de query en het bijbehorende positieve voorbeeld om een set van saliente zelfstandige naamwoorden ( $S$ ) te extraheren die in beide voorkomen en visueel herkenbaar zijn.
Segmentatie: Een visueel expert-model (Segment Anything Model - SAM) genereert binaire segmentatiemaskers voor deze geëxtraheerde subjecten in de query-afbeelding.
Generatie van Saliency Maps: Binaire maskers worden gladgestreken met Gaussische kernen om continue saliency maps ( $A$ ) te creëren. Een validatiemechanisme voor vertrouwen (met behulp van CLIP-相似iteit) filtert subjecten met weinig vertrouwen eruit.
Verliesfunctie: Een Saliency-Guided Loss ( $L_{SG}$ ) wordt geïntroduceerd om de Kullback-Leibler (KL)-divergentie te minimaliseren tussen de interne attentieverdelingen van het model en de gegenereerde saliency maps, zodat het model zich richt op de juiste regio's.

C. Saliency-Driven Feature Regeneration (SDR)

Deze module adresseert verwaarlozing van de visuele modus door visuele features te herbekijken.

Feature Regeneratie: Het model extraheert de attentiepatronen van de visuele modus uit de laatste laag, flattet deze en gebruikt ze als gewichten om de visuele feature-tokens opnieuw te aggregeren.
Fusie: De gegenereerde, salientie-gewogen visuele samenvatting ( $\hat{F}_v$ ) wordt gefuseerd (via optelling) met de oorspronkelijke feature van het laatste token ( $F_{last}$ ) om de uiteindelijke multimodale embedding te vormen. Dit zorgt ervoor dat de uiteindelijke representatie zwaar de meest saliente visuele informatie integreert.

Trainingsdoel: Het totale verlies combineert de standaard contrastieve loss ( $L_{Con}$ ) met de salientie-gestuurde loss:
$L_{total} = L_{Con} + \alpha \cdot L_{SG}$

3. Belangrijkste Bijdragen

Perspectief op Subject-niveau: Het paper identificeert en analyseert systematisch "semantische afwijking in uitlijning" en "verwaarlozing van de visuele modus" als fundamentele gebreken in optimalisatie op sample-niveau, en stelt een verschuiving voor naar redenering op subject-niveau.
Nieuwe Componenten (SGA & SDR):
- SGA: Uitlijnt de modelattentie met semantisch betekenisvolle regio's met behulp van een distillatiebenadering vanuit LMM's en SAM.
- SDR: Herbekijkt visuele features op basis van saliency maps om te voorkomen dat het model visuele invoer negeert.
State-of-the-Art Prestaties: De methode behaalt nieuwe benchmarks op de MMEB (Multimodal Embedding Benchmark), wat aantoont dat expliciete subjectmodellering de zoeknauwkeurigheid en generalisatie aanzienlijk verbetert.

4. Experimentele Resultaten

De auteurs evalueerden SSA-ME op de MMEB-benchmark, die 20 in-distribution (IND) en 16 out-of-distribution (OOD) datasets omvat over vier taken: Classificatie, VQA, Retrieval en Visual Grounding.

Prestatiewinsten:
- SSA-ME (Qwen2VL-2B): Behaalde een totaalscore van 66,0%, wat een verbetering is van +5,9% ten opzichte van de baseline VLM2Vec (2B). Het toonde enorme verbeteringen in Classificatie (+6,7%) en VQA (+8,8%).
- SSA-ME (Qwen2VL-7B): Behaalde een totaalscore van 69,0%, wat de 7B-baseline met +3,2% overtrof en andere sterke baselines zoals MMRet.
Generalisatie: Het model toonde robuuste prestaties op OOD-datasets, met winsten van +7,2% ten opzichte van de baseline, wat wijst op sterke aanpasbaarheid aan ongezette data-distributies.
Attentiebalans: Kwalitatieve analyse (Figuur 3) toonde aan dat SSA-ME de afstand tussen visuele en tekstuele attentiegewichten aanzienlijk verminderde (tot een reductie van 99,5% in retrieval-taken), wat de verwaarlozing van de visuele modus effectief mitigeerde.
Ablatiestudies:
- Zowel de SGA- als de SDR-component droegen positief bij, waarbij hun combinatie de beste resultaten opleverde.
- Het toepassen van attentie-uitlijning op de laatste laag van de transformer bleek het meest effectief in vergelijking met vroege of middelste lagen.
- Filtering op semantische relevantie was cruciaal voor het verwijderen van ruis en het verbeteren van de groundingsnauwkeurigheid.

5. Betekenis

Dit werk is significant omdat het voorbijgaat aan het standaardparadigma van "contrastief leren" in multimodale retrieval. Door expliciet saliente subjecten te modelleren, lost SSA-ME het "black box"-probleem op van waar het model naar kijkt, wat leidt tot:

Interpreteerbaarheid: De attentiekaarten van het model aligneren met door mensen identificeerbare objecten.
Robuustheid: Betere hantering van complexe queries die fijnkorrelige visueel-tekstuele correspondentie vereisen.
Efficiëntie: Het vermogen om features te regenereren vanuit een subset van saliente tokens behoudt hoge prestaties zonder onnodig de volledige set tokens te hoeven verwerken.

Het paper stelt vast dat het integreren van redenering op subject-niveau een cruciale stap is naar het bereiken van echt universeel en gebalanceerd multimodaal begrip.