🤖 machine learning

Co-Learning for Missing Arbitrary Modalities in Multi-modal Classification

Dit artikel introduceert een multi-modaal co-leerkader dat is ontworpen om ontbrekende willekeurige modaliteiten in classificatietaken te verwerken door de voorkeur te geven aan intermodale samenwerking boven fusie, waarbij twee complementaire benaderingen worden geboden die significante winsten in robuustheid laten zien bij variërende gradaties van modaliteitsafwezigheid.

Oorspronkelijke auteurs: Francisco Mena, Dino Ienco, Roberto Interdonato, Cassio F. Dantas, Simon Besnard

Gepubliceerd 2026-07-28

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Francisco Mena, Dino Ienco, Roberto Interdonato, Cassio F. Dantas, Simon Besnard

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme legpuzzel probeert op te lossen, maar in plaats van slechts één afbeelding, heb je een team van vrienden, die elk een ander stukje van de puzzel vasthouden. Eén vriend heeft de lucht, een ander de oceaan en een derde de bergen. Als je al hun stukjes bij elkaar legt, krijg je een perfecte, complete afbeelding. Dit is hoe "multi-modale" AI werkt: het combineert verschillende soorten gegevens—zoals foto's, geluid en sensorgegevens—om slimmere beslissingen te nemen. Maar hier is de crux: in de echte wereld verloopt niet alles volgens plan. Misschien gaat de camera kapot, wordt de microfoon nat, of raakt een sensor zonder batterij. Plotseling mist je team een paar vrienden en is de puzzel incompleet. Als je AI alleen getraind is om te werken wanneer iedereen aanwezig is, zal het craschen en falen op het moment dat een stukje ontbreekt. Dit is een groot probleem voor robots, zelfrijdende auto's en medische apparaten die betrouwbaar moeten werken, zelfs wanneer hun instrumenten falen.

Het artikel dat je zojuist hebt gelezen, pakt dit exacte hoofdpijndossier aan. Het stelt de vraag: Hoe kunnen we een AI leren om slim en accuraat te blijven, zelfs wanneer het een aantal van zijn gegevensbronnen mist? De auteurs stellen een slimme nieuwe manier voor om deze systemen te trainen, niet door ze te dwingen de ontbrekende stukjes aan elkaar te "lijmen", maar door de verschillende gegevensbronnen te leren met elkaar te communiceren en elkaar te helpen. Ze noemen dit "co-learning" (samenleren). Denk hierbij aan een studiegroep waarbij de student die goed is in wiskunde de student die goed is in geschiedenis helpt, zodat als de geschiedenisstudent afwezig is, de wiskundestudent toch het hele verhaal kan uitleggen. De onderzoekers testten hun ideeën op twee zeer verschillende uitdagingen: het identificeren van gewastypes vanuit satellietgegevens en het herkennen van menselijke activiteiten via draagbare sensoren. Ze ontdekten dat hun nieuwe methoden de AI veel veerkrachtiger maken, waardoor het op koers blijft, zelfs wanneer de gegevens rommelig of incompleet worden.

Het Probleem: Wanneer het Team een Lid Verliest

In de wereld van kunstmatige intelligentie is "multi-modale classificatie" als het hebben van een detective die meerdere zintuigen gebruikt om een zaak op te lossen. In plaats van alleen naar een foto van de plaats delict te kijken, luistert de detective ook naar audio-opnames, leest getuigenverklaringen en controleert weerberichten. Door al deze aanwijzingen te combineren, kan de detective (of de AI) een veel betere gok maken over wat er is gebeurd. Echter, het echte leven is rommelig. In het gebied van Earth Observation (aardobservatie) kan een satellietcamera worden geblokkeerd door wolken, of kan een radar uitvallen. In mensgerichte studies kan een draagbare sensor leeglopen of de verbinding verliezen.

Het grote probleem is dat de meeste AI-modellen worden getraind met de aanname dat alle aanwijzingen altijd aanwezig zullen zijn. Als je een model traint met vijf soorten gegevens en het vervolgens probeert te gebruiken met slechts drie, raakt het vaak in de war en maakt het verschrikkelijke fouten. Eerdere pogingen om dit op te lossen richtten zich meestal op "robuuste fusie", wat lijkt op het bouwen van een tafel die blijft staan, zelfs als je er een poot onder uithaalt. De auteurs van dit artikel stellen dat deze aanpak beperkingen heeft, vooral wanneer je veel verschillende soorten gegevens hebt en elke combinatie daarvan weg kan vallen. Ze wilden weten: Wat als we niet alleen probeerden het gat te dichten, maar in plaats daarvan de resterende gegevensbronnen leerden om voor elkaar in te springen?

De Oplossing: Een Studiegroep voor Gegevens

De auteurs introduceren een framework genaamd "Co-Learning for Missing Arbitrary Modalities". In plaats van de AI te dwingen alle gegevens samen te smelten tot één grote klont, zetten ze een team van gespecialiseerde modellen op, één voor elk type gegevens (zoals één voor optische beelden, één voor radar, één voor weergegevens). Deze modellen worden getraind om samen te werken en hun kennis te delen.

Ze ontwikkelden twee specifieke strategieën, of "methoden", om deze teamwork te laten werken:

Co-Miss (Co-learning voor ontbrekende gegevens): Deze methode is als een rigoureuze oefening. Tijdens de training wordt de AI gedwongen om constant te oefenen met ontbrekende gegevens. Het is alsof de leraar willekeurig tegen de geschiedenisstudent zegt: "Je bent vandaag afwezig," en de wiskundestudent moet alsnog de hele les uitleggen. De AI leert om de volledige groep te "imiteren", zelfs wanneer delen van het team ontbreken. Dit wordt "missing distillation" genoemd. Het werkt bijzonder goed wanneer slechts één of enkele stukken informatie ontbreken.
FullCo (Volledige Co-learning): Deze methode is ontworpen voor de worst-case scenario's, waarbij bijna het hele team ontbreekt. Het maakt gebruik van een techniek genaamd "mutual distillation" (wederzijdse distillatie), waarbij elk gegevensmodel probeert te leren van de anderen en van de uiteindelijke groepsbeslissing. Het is als een rondvechtende studiedag waarbij iedereen iedereen onderwijst. Deze aanpak blinkt uit wanneer de AI met zeer weinig informatie wordt achtergelaten, zoals wanneer slechts één sensor nog werkt.

Beide methoden vertrouwen op twee niveaus van leren. Op het kenmerkniveau (feature level) leren de modellen te identificeren wat "gedeeld" is (zoals de algemene vorm van een boom, die zowel een foto als een radar kan zien) en wat "specifiek" is (zoals de textuur van de schors, die alleen de foto kan zien). Op het beslissingsniveau (decision level) gebruiken ze kennisdistillatie, waarbij de modellen proberen het eens te worden over het uiteindelijke antwoord, waardoor ze elkaar helpen op het juiste spoor te blijven, zelfs wanneer de gegevens schaars zijn.

De Resultaten: Sterker in de Storm

De onderzoekers testten hun ideeën op twee real-world datasets. De eerste was Multi-CropHarvest, wat het identificeren van gewastypes omvat met behulp van vier verschillende sensoren: optische beelden, radar, weergegevens en topografische kaarten. De tweede was HL-Opportunity, een dataset met 19 verschillende sensoren op een persoonlijk lichaam om activiteiten te herkennen zoals "een broodje maken" of "opruimen".

De resultaten waren veelbelovend. Wanneer de AI werd getest met alle gegevens aanwezig, presteerde hij zeer goed. Maar de echte test kwam toen ze begonnen met het verwijderen van gegevens:

In het scenario "Minimal Missing" (waarbij slechts één sensor faalde), was de Co-Miss methode de ster. De nauwkeurigheid daalde nauwelijks, wat bewees dat de "oefen"-aanpak het perfect voorbereidde op kleine storingen.
In het scenario "Extreme Missing" (waarbij bijna alle sensoren faalden, waardoor er slechts één overbleef), nam de FullCo methode de leiding. Terwijl andere methoden instortten en hun prestaties aanzienlijk lieten dalen, wist FullCo stand te houden, wat bewees dat de "wederzijdse onderwijs"-strategie hielp om de storm te overleven.

Bijvoorbeeld, in de taak voor gewasherkenning, wanneer de AI werd overgelaten met slechts één sensor, zagen traditionele methoden hun prestaties met ongeveer 40 punten dalen. De methoden van de auteurs daalden veel minder, waarbij FullCo slechts ongeveer 24 punten verloor. In de taak voor activiteitsherkenning met 19 sensoren behield de FullCo-methode een hoog nauwkeurigheidsniveau, zelfs toen de meeste sensoren weg waren, waarmee het veel andere state-of-the-art benaderingen overtrof.

Wat Dit Betekent

Het artikel suggereert dat door de focus te verleggen van alleen het "lijmen" van gegevens naar het leren van gegevensbronnen om samen te werken, we veel robuustere AI-systemen kunnen bouwen. De auteurs ontdekten dat hun methoden consequent beter presteerden dan of gelijk waren aan de beste bestaande technieken in verschillende scenario's met ontbrekende gegevens.

Ze merkten echter ook een afweging op. De Co-Miss methode, hoewel uitstekend voor problemen met kleine hoeveelheden ontbrekende gegevens, is computationeel duur om te trainen omdat het elke mogelijke combinatie van ontbrekende gegevens moet simuleren. Als je 10 sensoren hebt, zijn dat meer dan 1.000 combinaties om te oefenen! Om deze reden raden ze FullCo aan voor situaties waarin gegevens ernstig ontbreken of wanneer je een groot aantal sensoren hebt.

Uiteindelijk laat dit werk zien dat de toekomst van betrouwbare AI niet alleen gaat over het hebben van meer gegevens; het gaat erom de gegevens die we hebben te leren hoe ze elkaar kunnen helpen wanneer het misgaat. Of het nu een satelliet is die door wolken probeert te kijken of een smartwatch die je workout volgt wanneer de batterij leeg is, deze co-learning strategieën bieden een pad naar AI die niet opgeeft wanneer de lichten uitgaan.

Technische Samenvatting: Co-Learning voor Ontbrekende Willekeurige Modaliteiten in Multi-modale Classificatie

1. Probleemdefinitie

Multi-modale classificatie maakt gebruik van complementaire informatie uit diverse databronnen om de voorspellende prestaties te verbeteren. Echter, real-world toepassingen worden vaak geconfronteerd met inconsistente beschikbaarheid van modaliteiten tussen training en inferentie vanwege operationele beperkingen (bijv. sensorfouten, privacyrestricties, omgevingsfactoren zoals bewolking).

Hoewel eerder onderzoek zich grotendeels heeft gericht op bimodaal opstellingen of op het ontwerpen van robuuste fusieprocessen (bijv. Modality Dropout), blijft er een aanzienlijke kloof bestaan in het afhandelen van ontbrekende willekeurige modaliteiten. Dit scenario doet zich voor wanneer elke subset van de trainingsmodaliteiten tijdens de inferentie afwezig kan zijn, variërend van het verlies van één enkele modaliteit (minimaal) tot het verlies van alle modaliteiten behalve één (extreem). Bestaande methoden falen vaak bij het generaliseren buiten specifieke ontbrekende patronen of bimodaal beperkingen.

2. Methodologie

De auteurs stellen een multi-modaal co-learning framework voor dat prioriteit geeft aan inter-modale samenwerking boven traditionele multi-modale fusie. De kernfilosofie is om elke modaliteit aan te moedigen om bij te dragen aan en te profiteren van anderen, in plaats van uitsluitend te vertrouwen op een centraal fusiemechanisme.

2.1. Architectuuroverzicht

Het framework maakt gebruik van decision-level (late) fusion. Het gebruikt modaliteit-specifieke encoders ( $E_m$ ) om elke input $X_m$ te verwerken. Deze encoders leren expliciet twee soorten feature-representaties:

Gedeelde Features ( $z^{sha}_m$ ): Klasse-relevante features die invariant zijn over de modaliteiten heen.
Specifieke Features ( $z^{spe}_m$ ): Klasse-relevante features die uniek zijn voor een specifieke modaliteit.

De uiteindelijke voorspelling wordt verkregen door het middelen van de per-modaliteit waarschijnlijkheidschattingen ( $\hat{y}_m$ ).

2.2. Leercriteria

Het model wordt geoptimaliseerd met een combinatie van feature-level en decision-level verliesfuncties:

A. Feature-Level Learning (Co-learning)

Modality Discriminant Loss ( $L_{mod}$ ): Een hulp-classifier voorspelt de bron van de modaliteit vanuit de specifieke features ( $z^{spe}_m$ ), wat het model dwingt om modaliteit-unieke representaties te leren.
Volume-Based Contrastive Loss ( $L_{cont}$ ): Gebaseerd op GRAM, minimaliseert deze loss het volume van de Gramiaanse matrix gevormd door gedeelde features over alle modaliteiten heen. Dit dwingt de gedeelde features van verschillende modaliteiten dichter bij elkaar in de embedding space, wat een verenigde representatie bevordert.

B. Decision-Level Learning (Knowledge Distillation)
De auteurs introduceren twee verschillende strategieën om ontbrekende modaliteiten af te handelen, wat resulteert in twee voorgestelde methoden:

Co-Miss (Co-learning for Missing):
- Strategie: Maakt gebruik van Missing Distillation.
- Mechanisme: Tijdens de training simuleert het model uitputtend alle mogelijke combinaties van ontbrekende modaliteiten ( $2^M - 1$ gevallen) met behulp van Modality Dropout (ModDrop).
- Doel: De voorspelling afgeleid van een ontbrekende subset ( $\hat{y}_{miss}$ ) wordt gedwongen om zowel de grondwaarheid (ground truth) als de consensus afgeleid van full-modality data ( $\hat{y}_{full}$ ) na te bootsen.
- Loss: $L_{miss} = L_{CE}(y, \hat{y}_{miss}) + \lambda \cdot L_{KD}(\hat{y}_{full}, \hat{y}_{miss})$ .
FullCo (Full Co-learning):
- Strategie: Maakt gebruik van Mutual Distillation.
- Mechanisme: Ontworpen voor extreme ontbrekende condities. Elke individuele per-modaliteit voorspelling ( $\hat{y}_m$ ) wordt getraind om de full-modality consensus ( $\hat{y}_{full}$ ) en de grondwaarheid na te bootsen.
- Doel: Dit zorgt ervoor dat zelfs een enkele beschikbare modaliteit de prestaties van de volledige set kan benaderen.
- Loss: $L_{mut} = \frac{1}{M} \sum L_{CE}(y, \hat{y}_m) + \lambda \cdot L_{KD}(\hat{y}_{full}, \hat{y}_m)$ .

3. Belangrijkste Bijdragen

Generalisatie naar Willekeurige Ontbrekende Patronen: Het werk adresseert het algemene scenario van "ontbrekende willekeurige modaliteiten", waarbij minimale, matige en extreme ontbrekende condities worden behandeld, in plaats van de analyse te beperken tot bimodaal opstellingen.
Dual-Strategy Framework: De introductie van twee complementaire methoden:
- Co-Miss: Geoptimaliseerd voor minimale ontbrekende condities (één ontbrekende modaliteit).
- FullCo: Geoptimaliseerd voor extreme ontbrekende condities (alle modaliteiten behalve één afwezig).
Feature-Decision Synergie: De integratie van volume-gebaseerde contrastieve leer (feature-level) met kennisdistillatie (decision-level) om robuuste representaties te creëren die effectief functioneren, zelfs wanneer data incompleet is.
Uitgebreide Evaluatie: Validatie op twee diverse benchmarks: Multi-CropHarvest (4 modaliteiten: optisch, radar, weer, topografie) en HL-Opportunity (19 sensor-modaliteiten voor menselijke activiteitsherkenning).

4. Experimentele Resultaten

De methoden werden geëvalueerd tegen zeven state-of-the-art concurrenten en standaard baselines (unimodaal, feature-fusion, decision-fusion).

Multi-CropHarvest (4 Modaliteiten):
- Co-Miss behaalde de beste prestaties in full-modality en minimale ontbrekende condities.
- FullCo presteerde beter dan alle methoden in matige en extreme ontbrekende condities.
- Beide methoden deelden de beste gemiddelde rangschikking (1.5) over alle condities, wat de concurrenten (bijv. DSensD+, DML) aanzienlijk overtrof met een verbetering van ongeveer 4 punten in de macro missing F1-score ten opzichte van de dichtstbijzijnde concurrent.
HL-Opportunity (19 Modaliteiten):
- Vanwege de hoge redundantie onder 19 sensoren was de prestatievermindering minimaal wanneer slechts één modaliteit ontbrak.
- FullCo behaalde de op één na beste resultaten over alle condities (statistisch vergelijkbaar met de beste in full en moderate gevallen) en de beste gemiddelde rangschikking (2.4).
- In extreme ontbrekende condities bleef FullCo robuust, terwijl baseline methoden significante prestatiedalingen vertoonden.
Ablatie-studies:
- De contrastieve loss ( $L_{cont}$ ) werd geïdentificeerd als het meest kritieke component voor robuustheid.
- Decision-level distillatie was cruciaal voor het afhandelen van ernstige ontbrekende condities, terwijl feature-level samenwerking essentieel was voor minimale/matige condities.
- De volume-gebaseerde contrastieve loss bleek superieur aan standaard pairwise contrastieve losses voor ontbrekende scenario's.

5. Betekenis en Claims

Het artikel claimt dat de voorgestelde co-learning strategieën de robuustheid van multi-modale classificatiemodellen effectief verbeteren in real-world scenario's waar de beschikbaarheid van data onvoorspelbaar is.

Complementaire Sterktes: De studie benaduleert dat geen enkele methode alle scenario's domineert; Co-Miss blinkt uit wanneer dataverlies gering is, terwijl FullCo superieur is wanneer dataverlies ernstig is.
Praktische Toepasbaarheid: De methoden bieden een levensvatbare oplossing voor domeinen zoals Earth Observation (waar bewolking of satellietgaten leiden tot dataverlies) en human-centered sensing (waar sensoren kunnen falen of batterijen kunnen uitgeput raken).
Beperkingen: De auteurs erkennen dat Co-Miss een schaalbaarheidslimietatie heeft ( $O(2^M)$ trainingscomplexiteit) door de uitputtelijke simulatie van ontbrekende gevallen, waardoor FullCo de aanbevolen aanpak is voor scenario's met veel modaliteiten ( $M \ge 10$ ) of extreme ontbrekende condities.

Het werk concludeert dat het combineren van co-learning (feature sharing) met kennisdistillatie (decision alignment) een synergetische aanpak biedt voor het bouwen van veerkrachtige multi-modale systemen die in staat zijn om willekeurige onvolledigheid van data te verwerken.