Technische Samenvatting: SAVER – Selectieve Vision Evidence op Basis van Behoefte voor Multimodale Informatie-extractie

1. Probleemstelling

Multimodale Informatie-extractie (IE) op sociale media staat voor een unieke uitdaging: berichten bevatten vaak meerdere afbeeldingen die zwak gerelateerd, redundant of zelfs misleidend zijn ten opzichte van de begeleidende tekst. Traditionele benaderingen maken doorgaans gebruik van "altijd-aan" multimodale fusie, waarbij alle beschikbare visuele kenmerken met tekst worden samengevoegd of via attentie-mechanismen worden gefuseerd. Deze strategie is in deze context inefficiënt en contraproductief omdat:

• Rekenkundige Verspilling: Het verwerken van alle afbeeldingen, ongeacht relevantie, verhoogt de latentie en het aantal FLOPs.
• Versterking van Ruis: Altijd-aan fusie kan toevallige cross-modale correlaties versterken wanneer afbeeldingen irrelevant zijn.
• Gebrek aan Groundability-labels: Trainingsdata annoteren entiteiten en relaties, maar geven zelden aan of een specifieke tekseenheid (bijvoorbeeld een entiteitsspan of een relatietje) visueel onderbouwd is, wat het moeilijk maakt om te leren wanneer visie geraadpleegd moet worden.

De kernuitdaging is om voor elke voorspellingseenheid te bepalen of visie überhaupt geraadpleegd moet worden, en zo ja, welke kleine subset van afbeeldingen betrouwbaar bewijs levert.

2. Methodologie: Het SAVER-kader

SAVER (Selective As-Needed Vision Evidence) adresseert deze problemen door visie te behandelen als optioneel bewijs in plaats van een verplichte invoerkanaal. Het kader werkt via een modulaire pijplijn bestaande uit vier hoofdfasen:

2.1 Taakinstelling en Representaties

SAVER richt zich op twee taken:

• Multimodale Named Entity Recognition (MNER): Identificeren van entiteitsspannen en typen.
• Multimodale Relation Extraction (MRE): Classificeren van relaties tussen gemarkeerde entiteitparen.

Het systeem gebruikt een tekstencoder om token/span-representaties te genereren en een visuele encoder om globale afbeeldingsvectoren te produceren. Region-niveau vectoren worden alleen opgehaald wanneer nodig.

2.2 Conformale Groundability-gate (CGG)

De CGG is het kernmechanisme om te beslissen wanneer visie gebruikt moet worden.

• Scoren: Voor een kandidaat-span (in MNER) of een entiteitpaar (in MRE) berekent de gate een "groundability-score" ($g$) uitsluitend met behulp van opgeslagen globale afbeeldingsvectoren. Er worden geen regionvectoren opgehaald tenzij de gate geactiveerd wordt.
• Calibratie: Om expliciete groundability-labels te vermijden, maakt SAVER gebruik van een conformale calibratieprocedure op een vastgehouden split. Het selecteert een drempel ($\tau$) zodat de foutenrate van de geactiveerde subset wordt begrensd door een doelrisico ($\alpha$) met behulp van Clopper–Pearson bovengrenzen.
• Besluit: Als de score $\tau$ overschrijdt, wordt de visuele tak geactiveerd; anders volgt het model een alleen-tekstpad.

2.3 Evidence Constructor (SIS of RES)

Wanneer de gate geactiveerd wordt, moet SAVER een compacte, diverse subset van afbeeldingen selecteren uit de potentieel grote set van bijgevoegde afbeeldingen.

• Submodulaire Image Selector (SIS): De primaire selector maakt gebruik van een monotoon submodulair doel om relevantie (gelijkenis met de query) en diversiteit (dekking van andere relevante afbeeldingen) te maximaliseren. Het hanteert een gulzig algoritme met een $(1 - 1/e)$ benaderingsgarantie.
• Versterkte Evidence Selector (RES): Een optionele extensie die Reinforcement Learning (RL) gebruikt om sequentieel bewijs te verwerven met een "STOP"-actie, geoptimaliseerd via kostenbewuste beloningen.
• Aggregatie: De geselecteerde afbeeldingen (en hun top-k regio's) worden geaggregeerd met behulp van een Set Transformer om permutatie-invariantie te waarborgen.

2.4 Energie-geïnspireerde Joint Scoring Head

De laatste fase combineert tekst, optioneel visueel bewijs en consistentieregularisatie in een uniforme scorefunctie.

• Fusie: Tekstrepresentaties worden via een gating-mechanisme gefuseerd met de geaggregeerde visuele bewijslast ($z_{set}$).
• Consistentie: Een consistentiescore meet de uitlijning tussen de gefuseerde tekstrepresentatie en het visuele bewijs.
• Doel: Het model minimaliseert een energie-functie die taakspecifieke verliezen (spanvaliditeit, type, relatie), consistentieregularisatie en een spaarzaamheidsstraf voor het activeren van de visuele tak omvat. Tijdens inferentie wordt harde gating toegepast; tijdens training zorgen zachte gates voor differentieerbare optimalisatie.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Risicogestuurde Gating: De introductie van de CGG, die activeringsdrempels kalibreert om een gebonden foutenrate van de geactiveerde subset te garanderen met behulp van conformale selectieregels, waardoor effectief wordt beslist wanneer visie nodig is zonder expliciete supervisie.
2. Compacte Multi-image Evidence: Het gebruik van een submodulaire selector (SIS) om een kleine, diverse bewijsset te construeren, wat redundantie en rekenkosten vermindert terwijl relevante informatie behouden blijft.
3. Unificatie van Scoring met Consistentie & Spaarzaamheid: Een energie-geïnspireerde joint scoring head die MNER- en MRE-taken koppelt aan tekst-afbeelding consistentie en spaarzaam routing, wat de nauwkeurigheid en selectiviteit verbetert terwijl de efficiëntie behouden blijft.

4. Experimentele Resultaten

Experimenten zijn uitgevoerd op meerdere benchmarks, waaronder MRE-MI (multi-image), MNRE (single-image) en diverse MNER-datasets (Twitter-2015/2017, MNER-MI/Plus).

• Prestaties: SAVER presteert consistent beter dan sterke alleen-tekst baselines en "altijd-aan" multimodale modellen (bijvoorbeeld HVPNeT, RSRNeT) wat betreft de F1-score. De winsten zijn het meest uitgesproken in multi-image situaties waar de relevantie van afbeeldingen sterk varieert.
• Efficiëntie: SAVER vermindert de rekenkosten aanzienlijk. Op de MRE-MI-benchmark reduceerde het de FLOPs van ~60G/stuk (RSRNeT) naar 36G/stuk en de P90-latentie van 90ms naar 54ms.
• Selectiviteit en Calibratie: Het kader bereikt een hoge activeringsdekking (ActCov@0.10) terwijl de foutenrate van de geactiveerde subset onder het doelrisiconiveau ($\alpha=0.10$) blijft. Het toont superieure risico-activerings-dekking trade-offs in vergelijking met confidence-based gating baselines.
• Ablatiestudies: Het verwijderen van een component (CGG, SIS of de joint scoring head) verslechtert de prestaties, wat bevestigt dat elke module onafhankelijk bijdraagt aan het succes van het systeem.

5. Betekenis en Claims

Het artikel stelt dat SAVER een paradigma-verschuiving vertegenwoordigt voor multimodale IE: van "hoe tekst en afbeeldingen te fuseren" naar "wanneer visie te gebruiken en welke afbeeldingen te vertrouwen".

• Modulariteit: Het kader is ontworpen om modulair te zijn, waardoor integratie van alternatieve encoders of evidence selectors mogelijk is.
• Interpreteerbaarheid: In tegenstelling tot black-box fusiemodellen, biedt SAVER expliciete outputs over welke afbeeldingen zijn geselecteerd, de attentieweegs van de Set Transformer en consistentiescores voor geactiveerde eenheden.
• Praktijktoepasbaarheid: Door te vertrouwen op opgeslagen globale embeddings voor gating en alleen region-kenmerken op te halen voor geselecteerde afbeeldingen, is het kader rekenkundig haalbaar voor implementatie in de echte wereld waar latentie en kosten kritieke beperkingen zijn.

De auteurs concluderen dat selectief visueel gebruik bijzonder vitaal is bij het omgaan met de ruis, redundantie en losse uitlijning van tekst-afbeeldingsparen die kenmerkend zijn voor sociale media, en biedt een weg naar efficiëntere en nauwkeurigere multimodale extractie.