Inference-Time Dynamic Modality Selection for Incomplete Multimodal Classification

Deze paper introduceert DyMo, een nieuw raamwerk voor dynamische modale selectie op het moment van inferentie dat het dilemma tussen het verwerpen of imputeren van ontbrekende multimodale data oplost door via een theoretisch onderbouwde beloningsfunctie op inference-time de meest betrouwbare herstelde modaliteiten te selecteren voor een betere classificatieprestatie.

De kern

Titel: DyMo: De Slimme Chef die Beslist Welke Ingrediënten Hij Gebruikt

Stel je voor dat je een meesterkok bent die een fantastisch gerecht moet maken. Je hebt een recept dat normaal gesproken vijf ingrediënten vereist: aardappelen, wortels, uien, kruiden en vlees. Maar op een dag kom je erachter dat de leverancier de aardappelen en de uien vergeten is. Wat doe je dan?

In de wereld van kunstmatige intelligentie (AI) is dit een groot probleem. Meestal hebben AI-modellen alle informatie nodig om een goede beslissing te nemen. Als er informatie ontbreekt, vallen ze vaak in twee extreme valkuilen:

1. De "Goed genoeg"-strategie (Verwerpen): De AI zegt: "Oké, ik heb geen aardappelen en uien. Ik maak het gerecht gewoon met wat ik heb." Het probleem? Het gerecht wordt saai en smaakloos, omdat de AI de waardevolle smaak van de ontbrekende ingrediënten mist.
2. De "Nabootsen"-strategie (Invullen): De AI probeert de ontbrekende aardappelen en uien te verzonnen. Het maakt een gokje. Maar wat als de AI verkeerd gokt? Stel dat hij in plaats van aardappelen per ongeluk ijsblokjes toevoegt. Dan is je gerecht niet alleen saai, maar ook nog eens onsmakelijk en verpest.

De onderzoekers van dit paper noemen dit het "Verwerpen-of-Invullen-dilemma". Je bent bang om waardevolle informatie te verliezen, maar je bent ook bang om nep-informatie toe te voegen die je verwarrend maakt.

De Oplossing: DyMo (De Slimme Chef)

De auteurs van dit paper hebben DyMo bedacht. Dit is een slimme AI die niet kiest tussen "verwerpen" of "invullen", maar een derde weg bewandelt: dynamisch selecteren.

Hier is hoe DyMo werkt, in simpele termen:

1. De Proefnemen (De "Receptuur")

Stel je voor dat je een proefnemer hebt die elke keer dat er een nieuw gerecht (een data-punt) binnenkomt, eerst kijkt wat er ontbreekt. De AI probeert de ontbrekende ingrediënten (bijvoorbeeld de aardappelen) te reconstrueren (te raden).

Maar in plaats van blindelings te vertrouwen op die geraden aardappelen, doet DyMo iets heel speciaals: het proeft ze.

2. De Proef (De "Beloning")

DyMo heeft een slimme regel: "Als het toevoegen van dit geraden ingrediënt het gerecht lekkerder maakt (de voorspelling verbetert), dan gebruik ik het. Als het het gerecht verpest, gooi ik het weg."

In de technische taal van het paper heet dit het maximaliseren van "informatie die relevant is voor de taak".

• Positieve proef: De geraden aardappel is goed en helpt de AI om het juiste gerecht te herkennen. -> Gebruiken!
• Negatieve proef: De geraden aardappel is eigenlijk een ijsblokje (verkeerd geraden). Het maakt de smaak verwarrend. -> Weggooien!
• Nul proef: Het maakt niet uit, het voegt niets toe. -> Weggooien.

3. De Slimme Chef (De "Dynamische Selectie")

DyMo is niet statisch. Het is als een chef die bij elke klant anders beslist.

• Bij klant A zijn de geraden aardappelen perfect. DyMo voegt ze toe.
• Bij klant B zijn de geraden aardappelen rot. DyMo laat ze weg en vertrouwt op de andere ingrediënten.

Dit gebeurt tijdens het eten (tijdens het gebruik van de AI), niet tijdens het koken (tijdens het trainen). DyMo kijkt dus per situatie: "Is deze specifieke geraden informatie nuttig voor deze specifieke klant?"

Waarom is dit zo belangrijk?

Vroeger waren AI-modellen als een robot die altijd hetzelfde recept volgde, ofwel blindelings alles wat er was, ofwel alles wat er ontbrak. DyMo is als een meesterkok die flexibel is.

• Hij is niet bang om te experimenteren: Hij probeert de ontbrekende informatie te vinden.
• Hij is kritisch: Hij gooit nep-informatie direct weg als het niet klopt.
• Hij leert van ervaring: Tijdens het trainen heeft hij geleerd hoe hij moet herkennen of een "geraden" ingrediënt echt goed is of niet.

De Resultaten in het Dagelijks Leven

De onderzoekers hebben DyMo getest op verschillende gebieden, zoals het herkennen van gezichten op foto's (waarbij soms de tekstbeschrijving ontbreekt) of het diagnosticeren van hartaandoeningen (waarbij soms de medische gegevens ontbreken).

Het resultaat? DyMo werkt veel beter dan de oude methoden.

• In situaties waar veel informatie ontbreekt, maakt DyMo veel minder fouten.
• Het is alsof je een chef hebt die, zelfs als de helft van de ingrediëntenkast leeg is, nog steeds een heerlijk gerecht kan maken door slim te kiezen wat hij wel en niet gebruikt.

Kortom:
DyMo lost het probleem op van "wat als er informatie ontbreekt?" door niet te kiezen tussen "niets doen" of "alles raden", maar door slim te kiezen wat er bij het raden nuttig is en wat niet. Het is de slimste manier om met onvolledige informatie om te gaan, alsof je een meesterkok bent die altijd het beste uit zijn beperkte voorraad haalt.

Technische samenvatting

Probleemstelling: Het Dilemma van Verwerpen vs. Imputatie

Multimodaal diep leren (MDL) presteert uitstekend wanneer alle data-modi (bijv. afbeeldingen, tekst, tabellen) volledig aanwezig zijn. In de praktijk zijn data echter vaak incompleet door sensorfouten, verschillende verzamelprotocollen of transmissiefouten. Bestaande methoden voor incomplete MDL vallen in twee categorieën, die beide inherent beperkingen hebben:

1. Recovery-free (Verwerpen): Methoden negeren ontbrekende modi en gebruiken alleen de aanwezige data. Dit leidt tot een verlies van waardevolle, taakrelevante informatie als de ontbrekende modus cruciaal is.
2. Recovery-based (Imputatie): Methoden proberen ontbrekende modi te reconstrueren (bijv. via generatieve modellen) en voegen deze toe. Het risico hierbij is dat de gereconstrueerde data onbetrouwbaar is (laagwaardig, wazig) of semantisch niet klopt (misalignement). Het integreren van dergelijke "ruis" kan de prestaties juist verslechteren.

De auteurs noemen dit de "discarding-imputation dilemma": het verwerpen van ontbrekende data kost informatie, terwijl het herstellen ervan ruis kan introduceren. Bestaande dynamische fusiemethoden zijn vaak niet robuust genoeg om semantische misalignementen te detecteren.

Methodologie: DyMo Framework

De auteurs stellen DyMo (Dynamic Modality Selection) voor, een nieuw raamwerk dat tijdens de inferentie (inference-time) dynamisch beslist welke herstelde modi wel of niet worden gefuseerd. Het doel is om de multimodale taakrelevante informatie te maximaliseren zonder onbetrouwbare data te integreren.

DyMo bestaat uit drie kerncomponenten:

1. Flexibele Multimodale Architectuur

• Het netwerk is ontworpen om voorspellingen te doen op basis van willekeurige subsets van modi.
• Het gebruikt modality-specifieke encoders (bijv. CNN voor beelden, MLP/Transformer voor tekst) en een multimodale Transformer om interacties te modelleren.
• Ontbrekende modi worden gemaskeerd met dummy tokens, zodat de structuur behouden blijft zonder de representatie te verstoren.

2. Dynamische Modusselectie-algoritme (Inferentie)

Dit is het hart van DyMo. In plaats van alle herstelde data te gebruiken, selecteert het algoritme iteratief de meest informatieve modi op basis van een nieuwe beloningsfunctie: Multimodal Task-Relevant Information Reward (MTIR).

• Theoretische Basis: De auteurs leiden theoretisch af dat het verminderen van de taakverliesfunctie (cross-entropy loss) leidt tot een verhoging van de ondergrens van de wederzijdse informatie tussen de representatie en de label. Omdat de ware data-distributie tijdens inferentie onbekend is, gebruiken ze de afname van de empirische cross-entropy loss als een proxy voor informatiegain.
• MTIR Berekening: Voor een herstelde modus wordt de winst berekend als het verschil in loss tussen het model met alleen de waargenomen modi en het model met de herstelde modus toegevoegd.
  • Positieve reward: De modus voegt relevante informatie toe.
  • Nul/Negatieve reward: De modus is van lage kwaliteit of semantisch misalignend (ruis).
• Intra-Class Similarity Calibration (ICS): Om de betrouwbaarheid te verhogen, wordt de reward gecorrigeerd op basis van hoe representatief de nieuwe representatie is binnen de voorspelde klassecluster (vergeleken met de trainingsprototypes). Dit voorkomt dat het model te snel accepteert als de nieuwe data de representatie verplaatst naar een minder betrouwbare regio.
• Iteratief Proces (Algorithm 1): Het algoritme voegt stap voor stap de herstelde modus met de hoogste gecorrigeerde reward toe, totdat er geen positieve winst meer is. Onbetrouwbare modi worden direct verworpen.

3. Oplossing voor Robuust Training

Om het netwerk te trainen voor deze dynamische inferentie, gebruiken ze twee strategieën:

• Incomplete Simulation Training: Tijdens het trainen worden willekeurige subsets van modi weggehaald (random sampling van moduscombinaties) om het netwerk te leren omgaan met diverse ontbrekingspatronen.
• Auxiliary Missing-Agnostic Contrastive Loss: Een extra verliesfunctie die ervoor zorgt dat samples van dezelfde klasse dicht bij elkaar clusteren in de latente ruimte, ongeacht welke modi aanwezig zijn. Dit versterkt de robuustheid van de features.

Belangrijkste Resultaten

DyMo is getest op vijf diverse datasets, waaronder natuurlijke beelden (PolyMNIST, DVM), medische beelden (UK Biobank) en synthetische datasets (MST, CelebA).

• Prestaties: DyMo overtreft significant de state-of-the-art (SOTA) methoden, zowel voor recovery-based als recovery-free benaderingen.
  • Bijvoorbeeld: Op PolyMNIST met 80% ontbrekende modi boekte DyMo een verbetering van 13.12% in nauwkeurigheid ten opzichte van eerdere dynamische methoden.
  • Op medische datasets (UKBB) werd de AUC met 1.97% verbeterd bij 70% ontbrekende tabulaire data.
• Robuustheid: DyMo presteert consistent goed, ongeacht de kwaliteit van de gebruikte reconstructiemethode (bijv. MoPoE, MMVAE+, TIP). Dit bewijst dat het selectie-algoritme effectief onbetrouwbare herstellingen filtert.
• Ablatie Studies: Experimenten tonen aan dat elke component (iteratieve selectie, ICS-calibratie, en de specifieke trainingsstrategie) essentieel is voor de uiteindelijke prestaties. Zonder selectie (alleen alle data integreren) daalt de prestatie aanzienlijk door ruis.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Eerste studie naar het dilemma: Het is het eerste werk dat het "verwerpen vs. imputatie"-dilemma expliciet adresseert in incomplete MDL en dynamische neurale netten introduceert om dit op te lossen.
2. Nieuwe Selectie-algoritme: Een principieel gebaseerd algoritme dat gebaseerd is op het maximaliseren van taakrelevante informatie, in plaats van te vertrouwen op modality-specifieke features of statische gewichten.
3. Praktische Toepasbaarheid: DyMo is plug-and-play met bestaande reconstructiemethoden en vereist geen extra architecturale overhead tijdens de inferentie, behalve de dynamische selectiestap.
4. Real-world Impact: De methode biedt een oplossing voor een veelvoorkomend probleem in de praktijk (incomplete data in healthcare en marketing), waarbij het vertrouwen in AI-systemen wordt vergroot door het filteren van onbetrouwbare gegenereerde data.

Kortom, DyMo verschuift de paradigma van "ofwel alles gebruiken ofwel niets" naar een slimme, adaptieve fusie die de kwaliteit van elke individuele herstelde modus beoordeelt op basis van zijn bijdrage aan de uiteindelijke taak.