Bridging Pixels and Words: Mask-Aware Local Semantic Fusion for Multimodal Media Verification

Probleemstelling

De opkomst van geavanceerde generatieve modellen heeft geleid tot een toename van geavanceerde multimodale desinformatie (deepfakes). De grootste uitdaging ligt niet in grove feitelijke onjuistheden, maar in subtiele, lokale semantische inconsistenties tussen afbeeldingen en tekst.

Bestaande methoden voor multimodale verificatie vertrouwen vaak op een "passieve" holistische fusie. Hierbij worden de volledige afbeelding en de volledige tekst gecodeerd tot hoge-dimensionale vectoren en vervolgens samengevoegd (bijv. via attention of concatenatie). De auteurs identificeren een fundamenteel nadeel van deze aanpak: kenmerkvervaging (feature dilution).

• Een klein, maar cruciaal semantisch conflict (bijv. het woord "mislukt" in de tekst versus een afbeelding van champagne) wordt "gemiddeld" door de overweldigende globale semantische overeenkomst.
• Het lokale conflict wordt hierdoor verdoezeld, waardoor modellen moeite hebben om deze geavanceerde manipulaties te detecteren.

Mensen daarentegen gebruiken een actieve, bidirectionele verificatie: ze kruisverwijzen actief informatie (bijv. "zie ik bewijs van falen in de afbeelding?" of "past het woord 'champagne' bij de tekst?"). Dit paper probeert dit menselijke cognitieve proces computertechisch na te bootsen.

Methodologie: MaLSF Framework

De auteurs stellen MaLSF (Mask-aware Local Semantic Fusion) voor, een nieuw raamwerk dat verschuift van passieve fusie naar actieve, bidirectionele verificatie. Het raamwerk bestaat uit drie hoofdstappen:

1. Extractie van Mask-Label Pairs (Semantische Ankers)

Om fijnkorrelige redenering mogelijk te maken, worden "Mask-Label Pairs" gebruikt als basisverificatie-eenheid. Dit koppelt specifieke pixelregio's (masks) aan hun tekstuele beschrijvingen (labels). Er worden twee parsers gebruikt:

• Open Vocabulary Parser: Gebruikt een groot taalmodel (OMG-LLaVA) om beschrijvende bijschriften en bijbehorende mask-label pairs te genereren, onafhankelijk van de originele bijschrift.
• Caption-Anchored Parser: Gebruikt GLIP voor objectdetectie op basis van het originele bijschrift, gevolgd door SAM2 voor het genereren van precieze masks.

2. Bidirectionele Cross-modale Verificatie (BCV)

Dit is de kernmodule die fungeert als een "ondervrager". In plaats van features passief te mengen, gebruikt BCV twee parallelle, query-gedreven streams:

• Image-as-Query: De globale afbeelding fungeert als query om te zoeken naar contradicties in de tekstlabels.
• Text-as-Query: De tekstfuncties (bijschrift en labels) fungeren als query om te zoeken naar mismatches in de visuele regio's.
• Een gate-weighted mechanisme selecteert automatisch de informatieve lokale semantiek en onderdrukt ruis. Dit dwingt het model om drie niveaus van inconsistentie op te lossen: globaal, lokaal en cross-modaal.

3. Hiërarchische Semantische Aggregatie (HSA)

De output van de BCV-module bevat multi-granulariteit conflictsignalen. De HSA-module aggregatie deze signalen in twee fasen:

• Multi-Label Shallow Fusion: Decoupling van globale ([CLS]) en lokale (sequentie) tokens om informatieverdunning te voorkomen.
• Multi-Label Deep Fusion: Specifieke feature-aggregatie voor verschillende taken (binaire classificatie, manipulatie-type classificatie, en grounding van afbeeldingen/tekst). Dit zorgt voor taak-specifieke representaties terwijl de semantische coherentie behouden blijft.

Belangrijkste Bijdragen

1. Paradigmaverschuiving: MaLSF verplaatst multimodale verificatie van passieve fusie naar een actief, bidirectioneel verificatieproces dat menselijke cognitieve kruisverwijzing nabootst.
2. Mask-Label Pairs als Ankers: Introductie van mask-label pairs als fundamentele semantische ankers om pixels en woorden te verbinden, wat fijnkorrelige redenering mogelijk maakt.
3. Nieuwe Modules: Ontwerp van de BCV (voor het expliciet opsporen van conflicten) en HSA (voor intelligente aggregatie van deze signalen).
4. State-of-the-Art Prestaties: Het model presteert superieur op complexe taken zoals het detecteren en lokaliseren van multimodale manipulatie (DGM4) en het detecteren van nepnieuws (MFND).

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op drie datasets: DGM4 (voor manipulatie-detectie en grounding) en Weibo17/Weibo21 (voor nepnieuwsdetectie).

• DGM4 Prestaties: MaLSF behaalde de beste resultaten op 11 van de 12 evaluatiemetrics. Het verbeterde de gemiddelde prestaties met ongeveer 4,9% ten opzichte van de huidige state-of-the-art methoden (zoals HAMMER++, ASAP, EMSF). Het was vooral effectief in het lokaliseren van gemanipuleerde teksttokens en beeldregio's.
• MFND Prestaties: Op de Weibo-datasets behaalde MaLSF een nauwkeurigheid van 95,5% (Weibo21) en 93,5% (Weibo17), wat een nieuwe state-of-the-art is en de concurrentie (zoals MIMoE-FND) verslaat.
• Efficiëntie: Hoewel de inferentiesnelheid iets lager is dan HAMMER++ (22.9 FPS vs 31.1 FPS), heeft MaLSF het minste aantal trainbare parameters (319M) en levert het aanzienlijk betere prestaties.
• Interpreteerbaarheid: Visualisaties tonen aan dat het model correct focust op de gemanipuleerde gebieden (bijv. gemanipuleerde gezichten of tegenstrijdige tekstwoorden) en de bijbehorende attention-weights toewijst, wat de beslissingen van het model verklaart.

Betekenis en Impact

Dit werk is significant omdat het de beperkingen van bestaande "holistische" modellen adresseert die gevoelig zijn voor feature dilution bij subtiele manipulaties. Door de lokale semantische inconsistenties expliciet te modelleren via mask-label pairs en een bidirectionele verificatiestroom, biedt MaLSF een robuustere oplossing voor de detectie van geavanceerde desinformatie. Het raamwerk biedt niet alleen hogere nauwkeurigheid, maar ook interpreteerbaarheid door te laten zien waar en waarom een conflict wordt gedetecteerd. Dit is cruciaal voor het bouwen van betrouwbare systemen tegen de groeiende bedreiging van multimodale deepfakes.