Technische Samenvatting: GAUGE

Probleemstelling

Multimodale classificatiemodellen gaan er doorgaans van uit dat alle vereiste modaliteiten (bijv. afbeeldingen, tekst, sensordata) beschikbaar zijn. Echter, in de echte wereld gaat het vaak om incomplete inputs als gevolg van sensorstoringen, privacybeperkingen of transmissiefouten. Bestaande benaderingen om deze incompletheid aan te pakken, vallen over het algemeen uiteen in twee categorieën:

1. Recovery-free methoden (zonder herstel): Voorspellen direct vanuit de beschikbare modaliteiten, waardoor imputatiefouten worden vermeden, maar waarbij potentieel herstelbare cross-modale aanwijzingen verloren gaan.
2. Recovery-based methoden (met herstel): Imputeren expliciet ontbrekende modaliteiten om complementaire aanwijzingen te herstellen. De gereconstrueerde inhoud bevat echter vaak informatie met een lage getrouwheid, ruis of semantisch inconsistente bewijslast.

Huidige dynamische fusie- en robuustheidsmechanismen opereren op een grofmazig modaliteitsniveau, waarbij een enkele controlebeslissing (bijv. een gewicht of poort) wordt toegepast op de volledige output van een modaliteit-encoder. Deze benadering faalt bij het adresseren van heterogeniteit binnen een modaliteit, waarbij informatieve en misleidende signalen binnen dezelfde gereconstrueerde modaliteit naast elkaar kunnen bestaan. Gevolgelijk kunnen bestaande methoden niet selectief onbetrouwbare componenten onderdrukken terwijl ze betrouwbare componenten binnen een enkele gereconstrueerde modaliteit behouden, wat de voorspellingsbetrouwbaarheid in gevaar brengt.

Methodologie: GAUGE

De auteurs stellen GAUGE voor (Granularity-Adaptive coUnterfactual Gating of Evidence), een lichtgewicht framework ontworpen voor fijnmazige controle van bewijslast bij incomplete multimodale classificatie. GAUGE werkt in drie fasen:

1. Complete & Encode (Volledig maken & Encoderen)

• Imputatie: Een vooraf getrainde, bevroren imputer ($\Gamma$) reconstrueert ontbrekende modaliteiten.
• Granulariteit-adaptieve encoding: Zowel geobserveerde als gereconstrueerde inputs worden gecodeerd in fijnmazige bewijseenheden. Deze eenheden komen overeen met de natuurlijke granulariteit van de encoders (bijv. beeldpatches, teksttokens of tabelvormige feature-embeddings). Als een encoder een enkele globale embedding afgeeft, komt de eenheid overeen met het modaliteitsniveau; anders komt het overeen met sub-modaliteitscomponenten.
• Sequentievorming: Alle bewijseenheden worden samengevoegd met een leerbaar [CLS] token om een multimodale sequentie $\tilde{T}_i$ te vormen.

2. Score & Gate (Counterfactual Attributie)

In plaats van expliciet in te grijpen op elke eenheid (wat $N$ extra forward passes zou vereisen), schat GAUGE het counterfactuele effect van het vervangen van elke bewijseenheid door een referentie-representatie (gesteld op nul) met behulp van een eerste-orde Taylor-benadering.

• Voorspellingsbewuste Saliency: Een ongegate forward pass bepaalt de voorspelde klasse $\hat{y}_i$. Het saliency-doel wordt gedefinieerd als de negatieve logit van deze klasse ($L_{sal} = -z_{i, \hat{y}_i}$).
• Taylor Bewijsscore: Een enkele backward pass berekent de gradiënt van de saliency-functie met betrekking tot elke bewijseenheid. De Taylor Bewijsscore ($TE_{i,j}$) wordt berekend als de $\ell_1$-norm van de kanaalsgewijze producten tussen de gradiënt en de vervangingsrichting ($d_{i,j} = 0 - e_{i,j}$). Dit aggregeert absolute bijdragen om teken-annulering te voorkomen.
• Efficiëntie: Dit proces levert scores voor alle $N$ eenheden op in één enkele forward-backward pass, waardoor de verbijsterende overhead van exacte counterfactuele evaluatie wordt vermeden.
• Normalisatie & Gating: Scores worden genormaliseerd met behulp van een N-adaptieve regel (z-score voor grote $N$, ruwe scores voor kleine $N$) en gemapt naar continue gates ($g_{i,j} \in (0,1)$) via een sigmoid-functie met een leerbaar drempelwaarde ($\tau$) en temperatuur ($\rho$).

3. Predict & Update (Voorspellen & Updaten)

• Injectie van Attention Bias: De continue gates worden omgezet in additieve attention-logit biases ($B_i$) die worden geïnjecteerd in de Key-posities van elke Transformer-block. Specifiek past $B_i$ een log-bias toe van $\log(\max\{g_{i,r}, \epsilon\})$ op de attention-logits van key $r$.
• Effect: Lagere gates resulteren in sterkere negatieve biases, waardoor bewijseenheden met een lage score worden afgewogen zonder de backbone-architectuur of sequentielengte te wijzigen.
• Training: Het model wordt getraind door de cross-entropy loss te minimaliseren op de gated voorspelling. De Taylor-scores worden losgekoppeld (detached), zodat gradiënten niet door het scoringmechanisme stromen, wat ervoor zorgt dat de imputer bevroren blijft en het proces efficiënt blijft.

Belangrijkste Bijdragen

1. Granulariteit-adaptief Paradigma: Het artikel formuleert een controleparadigma dat zowel geobserveerde als gereconstrueerde modaliteiten behandelt als collecties van door de encoder uitgegeven bewijseenheden. Dit maakt fijnmazige modulatie mogelijk op het fijnste beschikbare representatieniveau, terwijl compatibiliteit met modaliteitsniveau behouden blijft.
2. GAUGE Framework: Een lichtgewicht, counterfactuele attributie-gatingmechanisme dat voorspellingsbewuste bewijsscores afleidt via een eerste-orde Taylor-formulering. Het verkrijgt alle eenheid-niveau scores in één enkele forward-backward pass, waarmee de noodzaak voor expliciete per-eenheid interventies wordt omzeild.
3. Theoretische Analyse: De auteurs bieden een Taylor-restanalyse die de fout van de eerste-orde benadering karakteriseert ten opzichte van het exacte counterfactuele effect. Ze stellen een bovengrens vast die de Taylor-bewijsscore relateert aan de grootte van het exacte counterfactuele effect, wat de methodische aard van de methode valideert.
4. Empirische Prestaties: Uitgebreide experimenten over zes benchmarks (waaronder PolyMNIST, MST, CelebA, DVM, CAD en Infarction) tonen aan dat GAUGE beter presteert dan sterke baselines (recovery-free, recovery-based en dynamische recovery methoden) in diverse incomplete-input scenario's, met name onder zware ontbrekendeheid.

Resultaten

• Prestaties: GAUGE behaalde de beste of gelijk aan de beste prestaties in 9 van de 12 gerapporteerde incomplete-input settings.
• Vergelijking met DyMoc: Wanneer vergeleken met DyMoc (een dynamische recovery baseline met dezelfde backbone en imputatie-pipeline maar werkend op modaliteitsniveau), presteerde GAUGE beter in 10 van de 12 settings.
  • Op de CelebA-dataset met de tekstmodaliteit volledig ontbrekend, verbeterde GAUGE de nauwkeurigheid met 5,90 procentpunt ten opzichte van DyMoc.
  • Op klinische benchmarks (CAD en Infarction) liet GAUGE consistente winst zien, waarbij de verbeteringen duidelijker werden naarmate de ontbrekende ratio toenam.
• Efficiëntie: Wat betreft de scoringtijd, reduceerde GAUGE de per-sample scoringtijd van 96,43 ms (exacte counterfactuele scoring) naar 3,11 ms bij $N=91$, wat een versnelling van 31,01$\times$ oplevert.
• Kwalitatieve Analyse: Visualisaties laten zien dat GAUGE niet-uniforme gates toewijst binnen een enkele gereconstrueerde modaliteit (bijv. geïmputeerde tabelvormige features), waarbij specifieke componenten met een lage score worden afgewogen terwijl componenten met een hoge score worden behouden. Dit contrasteert met modaliteitsniveau gating, dat de gehele modaliteit uniform zou onderdrukken.

Betekenis en Claims

Het artikel beweert dat GAUGE een geprincieerd en schaalbaar framework vestigt voor fijnmazige controle van bewijslast onder modaliteitsincompletheid. Door de modulatie van multimodale bewijslast te verschuiven van grove modaliteitsniveau-aggregatie naar het fijnste niveau dat door Transformer-encoders wordt geëxposeerd, mitigeert GAUGE effectief de afweging tussen het verwerpen van ontbrekende modaliteiten en het opnemen van ruisgevoelige imputaties.

De auteurs benadrukken dat hun aanpak pass-efficiënt is, aangezien deze slechts één enkele forward-backward scoring pass vereist, ongeacht het aantal bewijseenheden, wat het geschikt maakt voor schaalbare toepassingen. De theoretische analyse biedt een grens aan de benaderingsfout, wat de methode fundeert in de counterfactuele redeneertheorie.

Beperkingen en Toekomstig Werk:
Het artikel erkent dat GAUGE momenteel vertrouwt op vooraf getrainde backbones en bevroren imputers die afkomstig zijn van bestaande baselines. Toekomstig werk wordt voorgesteld om dit pass-efficiënte counterfactuele gating-paradigma uit te breiden naar bredere multimodale redeneer- en generatiearchitecturen. De auteurs beweren niet dat GAUGE alle multimodale uitdagingen oplost, maar positioneren GAUGE als een belangrijke stap naar betrouwbare voorspellingen in hoog-risico toepassingen zoals medische diagnose en autonoom rijden, waar inputs vaak incompleet zijn.