🤖 AI

Deep Multimodal Learning with Missing Modality: A Survey

Deze survey biedt het eerste uitgebreide overzicht van deep learning-methoden voor Multimodal Learning met ontbrekende modaliteit (MLMM), waarbij de motivaties, verschillen met standaardopstellingen, huidige technieken, toepassingen, datasets en toekomstige uitdagingen worden toegelicht.

Oorspronkelijke auteurs: Renjie Wu, Hu Wang, Hsiang-Ting Chen, Gustavo Carneiro

Gepubliceerd 2026-02-05

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Renjie Wu, Hu Wang, Hsiang-Ting Chen, Gustavo Carneiro

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Vijf Zintuigen" Probleem

Stel je voor dat je probeert een film te begrijpen. Meestal heb je twee belangrijke inputs: zicht (de video) en geluid (de dialoog en muziek). Dit is als een "multimodaal" systeem — het gebruikt meerdere zintuigen om het volledige verhaal te begrijpen.

Echter, in de echte wereld gaat er wel eens iets mis. Misschien zijn je speakers kapot (geen geluid), of gaat het scherm op zwart (geen video). Misschien ben je in een mistig bos waar je niets kunt zien, maar wel een geritsel hoort. Dit is het Missing Modality probleem (het probleem van de ontbrekende modaliteit).

De meeste AI-modellen zijn als studenten die alleen weten hoe ze moeten studeren als ze zowel hun tekstboek als hun audio-notities hebben. Als je er één wegneemt, raken ze in paniek en falen ze. Deze survey-paper is een enorme gids voor onderzoekers over hoe je AI kunt leren om kalm te blijven en goed te presteren, zelfs wanneer het een van zijn "zintuigen" verliest.

Waar gaat dit artikel over?

Dit artikel is een survey. Zie het als een bibliothecaris die elk boek (354 papers!) heeft gelezen dat tussen 2012 en 2025 over dit specifieke onderwerp is geschreven. De auteurs, Renjie Wu en zijn team, hebben al deze verschillende oplossingen georganiseerd in een duidelijke kaart, zodat onderzoekers weten wat werkt, wat niet werkt en waar ze de volgende stap moeten zetten.

Ze noemen dit veld MLMM (Multimodal Learning with Missing Modality).

De Twee Hoofstrategieën: "De Data Fixen" vs. "Het Brein Fixen"

De auteurs verdelen alle oplossingen in twee grote kampen, zoals het repareren van een kapotte auto door óf de onderdelen te repareren óf de manier waarop de bestuurder rijdt te veranderen.

1. Dataverwerking: "De Onderdelen Fixen"

Deze aanpak probeert de ontbrekende informatie aan te vullen voordat de AI überhaupt begint na te denken.

De "Lege Pagina" Methode (Modality Composition): Stel je voor dat je een boek leest, maar er is een pagina uitgescheurd. Je zou de lege ruimte gewoon wit kunnen laten (nullen) of willekeurige onzin kunnen opschrijven (willekeurige waarden). De AI leert de lege ruimte te negeren en zich op de rest te concentreren. Het is simpel, maar niet erg slim.
De "Kopieer-Plak" Methode (Retrieval): Als er een pagina ontbreekt, zoek je andere exemplaren van hetzelfde boek in de bibliotheek, vindt de bijbehorende pagina en plakt deze erin. Dit werkt goed als de boeken identiek zijn, maar als de verhalen iets verschillen, plak je misschien de verkeerde scène in.
De "Verbeeldingskracht" Methode (Modality Generation): Dit is de meest geavanceerde methode. De AI fungeert als een creatieve schrijver. Als het geluid ontbreekt, kijkt de AI naar de video en stelt zich voor hoe het geluid zou moeten zijn, en creëert het dit vervolgens. Het is als een goochelaar die een konijn uit een hoed tovert. De paper merkt op dat dit wel cool is, maar dat de AI soms kan "hallucineren" (dingen verzinnen die niet waar zijn).

2. Strategieontwerp: "Het Brein Fixen"

In plaats van te proberen de ontbrekende data te repareren, verandert deze aanpak de architectuur van de AI, zodat deze van nature met ontbrekende data kan omgaan.

De "Spotlight" Methode (Attention): Stel je een leraar voor in een klaslokaal. Als een leerling afwezig is, stopt de leraar niet met de les; hij schijnt gewoon zijn spotlight op de leerlingen die er wel zijn. "Attention"-mechanismen stellen de AI in staat om dynamisch alleen op de beschikbare data te focussen en de ontbrekende delen te negeren.
De "Bijles" Methode (Distillation): Stel je een slimme student (de Leraar) voor die alle boeken heeft. Een minder slimme student (de Leerling) heeft slechts de helft van de boeken. De Leraar legt de ontbrekende hoofdstukken uit aan de Leerling. De Leerling leert het hele verhaal te begrijpen, zelfs zonder het fysieke boek.
De "Teamwerk" Methode (Model Combinaties): In plaats van één gigantische AI, heb je een team van specialisten. Als de video ontbreekt, vraag je het aan de "Audio-expert". Als het geluid ontbreekt, vraag je het aan de "Video-expert". Zij stemmen samen over het antwoord.
Het "Superbrein" (Large Language Models): Recentelijk zijn enorme AI-modellen (zoals de modellen achter chatbots) zo slim geworden dat ze tekst, afbeeldingen en geluid tegelijkertijd kunnen begrijpen. Ze zijn zo flexibel dat als je één input weghaalt, ze zich simpelweg aanpassen en doorgaan, bijna als een mens die nog steeds een verhaal kan vertellen, zelfs als hij het plaatje niet kan zien.

Waar wordt dit voor gebruikt? (Voorbeelden uit de echte wereld)

De paper somt veel plekken op waar dit cruciaal is:

Medische Scans: Een arts heeft misschien een MRI-scan, maar geen CT-scan voor een patiënt. De AI moet de ziekte kunnen diagnosticeren met alleen de MRI, zonder wild te gokken.
Zelfrijdende Auto's: De camera van een auto kan verblind worden door sneeuw, of de radar kan defect raken. De AI van de auto moet veilig blijven rijden met alleen de sensoren die nog wel werken.
Emotie Detectie: Een videogesprek kan slechte audio hebben, maar een heldere video. De AI moet nog steeds in staat zijn om te zien of je blij of verdrietig bent door naar je gezicht te kijken.
Robotica: Een robot die een grot verkent, kan zijn GPS-signaal verliezen. Hij moet kunnen navigeren met alleen zijn camera's en tastsensoren.

De Problemen die we nog niet hebben opgelost

Ondanks al deze slimme trucjes, wijst de paper op enkele grote hoofdpijnklachten:

De "Fake Data" Valstrik: Wanneer AI ontbrekende data "verzint", verzint het soms details die fout zijn. Als een zelfrijdende auto een weg verzint waar een afgrond is, is dat gevaarlijk.
De "Luie" AI: Soms, zelfs als de AI probeert het ontbrekende stuk in te vullen, eindigt het ermee dat de AI de nieuwe informatie negeert en zich alleen op de ene sensor vertrouwt die het wel heeft, wat misschien niet genoeg is.
De "Rommelige Bibliotheek": Er is geen enkele standaardtest. De ene onderzoeker test zijn AI met 10% ontbrekende data, terwijl een ander test met 90%. Het is moeilijk om te vergelijken wie er echt de beste is.
Te Zwaar: Veel van deze oplossingen vereisen enorme computerkracht (zoals een supercomputer). Maar apparaten in de echte wereld (zoals een smartwatch of een drone) zijn klein en hebben zwakke batterijen. We hebben "lichtgewicht" oplossingen nodig die werken op kleine chips.

De Kernboodschap

Dit artikel is een routekaart. Het vertelt ons dat hoewel we grote vooruitgang hebben geboekt in het leren van AI om om te gaan met kapotte sensoren en ontbrekende data, we nog steeds betere manieren nodig hebben om dit te doen zonder dingen te verzinnen, zonder supercomputers nodig te hebben en zonder in de war te raken door rommelige werkelijkheden. Het doel is om AI te bouwen die net zo robuust is als een mens: in staat om de wereld te begrijpen, zelfs als het zicht wazig is of de microfoon kapot is.

Technische Samenvatting: Deep Multimodal Learning met Ontbrekende Modaliteiten: Een Survey

1. Probleemdefinitie

Het artikel behandelt het Missing Modality Problem (probleem van ontbrekende modaliteiten) in Deep Multimodal Learning. In real-world scenario's worden multimodale systemen frequent geconfronteerd met incomplete data als gevolg van sensordefecten, hardwarebeperkingen, privacyrestricties, gegevensverlies of omgevingsinterferentie. In tegenstelling tot conventioneel multimodal learning, waarbij wordt aangenomen dat alle $N$ modaliteiten consistent beschikbaar zijn tijdens training en testen, beoogt Multimodal Learning with Missing Modality (MLMM) modellen te ontwikkelen die robuust en presterend blijven wanneer één of meer inputmodaliteiten afwezig zijn. De kernuitdaging is om de beschikbare modaliteiten effectief te benutten terwijl de prestaties vergelijkbaar blijven met systemen die getraind zijn met volledige informatie, zonder dat de prestaties verslechteren door de afwezigheid van kritieke inputs.

2. Methodologie Taxonomie

De auteurs stellen een nieuwe, fijnmazige taxonomie voor die bestaande diepe MLMM-methoden categoriseert in twee primaire aspecten: Dataverwerking en Strategieontwerp. Deze aspecten zijn verder onderverdeeld in vier typen en twaalf subcategorieën (samengevat in Tabel 1 van het artikel).

A. Aspect van Dataverwerking

Dit aspect richt zich op hoe het model met ontbrekende informatie omgaat op het niveau van de data of de representatie.

Modality Imputation (Modaliteitsimputatie): Werkt op het niveau van de ruwe data om ontbrekende informatie aan te vullen.
- Modality Composition (Modaliteitssamenstelling): Vervangt ontbrekende data door nul- of willekeurige waarden of haalt/kopieert data van vergelijkbare instanties (bijv. K-Nearest Neighbors). Hoewel simpel, falen deze methoden vaak bij taken op pixelniveau en kunnen ze leiden tot overfitting of dubbele samples.
- Modality Generation (Modaliteitsgeneratie): Gebruikt generatieve modellen (Auto-Encoders, GANs, Diffusion Models) om ontbrekende modaliteiten te synthetiseren vanuit de beschikbare modaliteiten. Individuele generatoren worden per modaliteit getraind, terwijl uniforme generatoren proberen alle ontbrekende modaliteiten simultaan te produceren. Deze methoden verbeteren de datadiversiteit maar verhogen de computationele en opslagkosten.
Representation-Focused Models (Representatiegerichte Modellen): Werkt op het niveau van de feature-representatie.
- Coordinated-Representation (Gecoördineerde Representatie): Legt restricties op (bijv. Tensor Rank Regularization, Deep Canonical Correlation Analysis) om beschikbare modaliteiten uit te lijnen in een gedeelde semantische ruimte, wat zorgt voor semantische consistentie, zelfs met ontbrekende inputs.
- Representation Composition (Representatiesamenstelling): Voegt beschikbare representaties samen middels rekenkundige operaties (pooling, optelling) of retrieval-gebaseerde methoden om een volledige representatie te vormen zonder leerbare parameters.
- Representation Generation (Representatiegeneratie): Gebruikt generatieve modellen om ontbrekende feature-representaties direct te creëren.
  - Indirect-to-Task: Behandelt modaliteitsreconstructie als een hulp-taak (auxiliary task) tijdens de training (vaak met Encoder-Decoder architecturen), maar verwijdert de generator tijdens de inferentie.
  - Direct-to-Task: Brengt beschikbare representaties direct in kaart naar de ontbrekende representaties met behulp van kleine generatieve netwerken (bijv. Hallucination Networks, Bayesian learning) zonder een expliciete reconstructiestap.

B. Aspect van Strategieontwerp

Dit aspect richt zich op architecturale aanpassingen en modelcombinaties om te adapteren aan variërende inputcondities.

Architecture-Focused Models (Architectuurgerichte Modellen): Ontwerpt flexibele architecturen die adapteren aan het aantal beschikbare modaliteiten.
- Attention-Based (Op aandacht gebaseerd): Maakt gebruik van self-attention mechanismen (intra- en inter-modaliteit) en masking-strategieën om beschikbare modaliteiten dynamisch te fuseren. Omvat Transformer-gebaseerde Joint Representation Learning (JRL) en Parameter-Efficient Learning (PEL) methoden zoals Prompt en Adapter tuning.
- Distillation-Based (Op distillatie gebaseerd): Transfereert kennis van een "teacher" model (getraind op volledige modaliteiten) naar een "student" model (dat omgaat met ontbrekende modaliteiten). Omvat response distillation (logits), intermediate feature distillation, en proces-gebaseerde methoden zoals Mean Teacher en Self-Distillation.
- Graph Learning-Based (Op graafleren gebaseerd): Modelleert relaties tussen modaliteiten en samples met behulp van Graph Neural Networks (GNNs) om beschikbare features dynamisch te fuseren en ontbrekende modaliteiten te compenseren via graph completion of message passing.
- Multimodal Large Language Models (MLLMs): Benut foundation modellen (bijv. LLaVA, AnyGPT) waarbij de LLM fungeert als een feature processor die in staat is een variabel aantal modaliteit-tokens te accepteren, waardoor ontbrekende inputs op natuurlijke wijze worden afgehandeld via hun flexibele architectuur.
Model Combinaties (Modelcombinaties): Gebruikt strategieën die gebruikmaken van meerdere gespecialiseerde modellen.
- Ensemble Methods (Ensemblemethoden): Combineert voorspellingen van meerdere modellen (multimodaal of unimodaal) via voting of gewogen gemiddelden.
- Dedicated Training (Specifieke Training): Traint specifieke modellen voor specifieke combinaties van ontbrekende modaliteiten (bijv. een model uitsluitend voor Modality 1+3) en selecteert het juiste model tijdens de inferentie.
- Discrete Scheduler (Discrete Scheduler): Gebruikt een LLM als controller om downstream modules te orkestreren en te selecteren op basis van beschikbare modaliteiten en taakinstructies.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

Uitgebreide Survey: Het biedt de eerste uitgebreide review van diepe MLMM-methoden over diverse domeinen (Affective Computing, Medisch, Remote Sensing, Robotica, etc.), vergezeld van een compilatie van relevante datasets.
Nieuwe Taxonomie: Het introduceert een fijnmazig classificatiekader gebaseerd op Dataverwerking (Imputatie vs. Representatie) en Strategieontwerp (Architectuur vs. Combinaties), wat een gestructureerde manier biedt om bestaande literatuur te analyseren.
Kritische Analyse: Het biedt een diepgaande analyse van huidige benaderingen, waarbij de trade-offs (bijv. generatieve methoden vs. efficiëntie, recovery vs. non-recovery) worden belicht, en identificeert openstaande uitdagingen en toekomstige onderzoeksrichtingen.

4. Resultaten en Statistieken

De survey analyseert 354 significante papers gepubliceerd tussen 2012 en augustus 2025. Belangrijke statistische bevindingen zijn:

Verdeling van Methoden: Ongeveer 75,5% van de werken richt zich op het herstellen (recovering) van ontbrekende modaliteitsinformatie (early, intermediate, of late-stage recovery), terwijl 24,5% zich richt op inferentie zonder herstel (non-recovery).
Herstelfasen: Intermediate-stage recovery (feature-level) is het meest prevalent (45,8%), gevolgd door early-stage (20,3%) en late-stage (4,7%).
Beperkingen in Trainingsdata: Er bestaat een aanzienlijke kloof in het omgaan met incomplete trainingsdatasets. Slechts 36,4% van de gereviewde werken trainde op datasets waarbij ontbrekende modaliteitsdata niet beschikbaar was tijdens de training; de meerderheid (63,6%) nam aan dat er tijdens de training toegang was tot volledige data en simuleerde alleen de ontbrekende modaliteit tijdens de testfase.
Technische Evolutie: Het veld is geëvolueerd van vroege heuristische oplossingen op dataniveau en ensemblemethoden naar representatie-leren, flexibel architectuurontwerp (attention, distillatie), en recentelijk foundation-model-gebaseerde benaderingen.

5. Betekenis en Claims

De auteurs beweren dat deze survey de eerste uitgebreide review is die specifiek gericht is op deep multimodal learning met ontbrekende modaliteiten. De betekenis ligt in:

Het Verenigen van het Veld: Het bieden van een gestructureerde taxonomie die uiteenlopende methoden uit computer vision, NLP en signaalverwerking overbrugt.
Benadrukken van Real-World Relevantie: Het benadrukken dat ontbrekende modaliteiten niet slechts synthetische uitdagingen zijn, maar inherent zijn aan real-world implementaties (bijv. sensoruitval bij ruimteverkenning, privacy in medische AI).
Identificeren van Kritieke Gaten: Het artikel wijst op een bescheiden maar stevige wijze erop dat huidige benchmarks vaak niet in staat zijn om realistische patronen van ontbrekende data te modelleren (bijv. asynchrone sensoruitval) en dat de meeste methoden worstelen met incomplete trainingsdatasets.
Toekomstige Richtingen: Het roept op tot de ontwikkeling van verenigde benchmarks (vergelijkbaar met MultiBench), meer efficiënte en lichtgewicht modellen voor edge-apparaten, en robuuste methoden voor streaming data en wetenschappelijke toepassingen waar data inherent incompleet is.

Het artikel concludeert dat hoewel er vooruitgang is geboekt, het veld behoefte heeft aan meer rigoureuze evaluatieprotocollen, gestandaardiseerde benchmarks en architecturen die expliciet zijn ontworpen voor de structurele en persistente ontbrekende data die in real-world omgevingen wordt aangetroffen.