C$^2$MOE: Consistency and Complementarity-guided Mixture of Experts for Incomplete Multimodal Emotion Learning

Stel je voor dat je probeert te raden hoe een vriend zich voelt door simpelweg naar een video van hem te kijken terwijl hij praat. Je hebt drie aanwijzingen: wat hij zegt (tekst), hoe zijn stem klinkt (audio) en hoe zijn gezicht eruitziet (video). In de wereld van kunstmatige intelligentie wordt dit Multimodale Emotieherkenning genoemd. Het is als het hebben van een super slimme detective die al deze aanwijzingen combineert om menselijke emoties beter te begrijpen dan een enkele aanwijzing alleen zou kunnen. Maar hier komt de adder onder het gras: in de echte wereld gaat er wel eens wat mis. Misschien valt de microfoon uit, bevriest de camera of verbreekt de internetverbinding. Plotseling mist je detective de helft van de aanwijzingen. Als de AI niet gebouwd is om met deze ontbrekende stukjes om te gaan, raakt hij in de war en maakt hij foutieve gissingen. Dit is het probleem waar wetenschappers proberen op te lossen: hoe leren we computers om de "gaten in te vullen" van ontbrekende informatie zonder de ware betekenis van de emotie te verliezen?

Dit artikel introduceert een nieuwe oplossing genaamd C2MOE (Consistency and Complementarity-guided Mixture of Experts). Denk hierbij aan een team van gespecialiseerde detectives die samenwerken om de zaak op te lossen wanneer er bewijsmateriaal ontbreekt. De onderzoekers realiseerden zich dat eerdere methoden probeerden ontbrekende gegevens te herstellen door simpelweg te kopiëren wat ze wisten van andere aanwijzingen, maar dat dit vaak leidde tot saaie, repetitieve gissingen die unieke details misten. C2MOE doet iets slims. Het splitst de taak op in twee duidelijke rollen. Eén expert, de "Consistentie-detective", zoekt naar de gedeelde patronen tussen de aanwijzingen—zoals hoe een droevige stem meestal past bij een fronsend gezicht. De andere, de "Complementariteit-detective", zoekt naar de unieke details die slechts één aanwijzing kan bieden—zoals een specifieke woordkeuze die alleen de tekst kan onthullen. Door een slimme "manager" (een routing netwerk) te gebruiken om te beslissen naar welke detective er op elk gegeven moment geluisterd moet worden, kan het systeem ontbrekende informatie veel nauwkeuriger reconstrueren. De auteurs testten dit op twee beroemde datasets van videoreacties (CMU-MOSI en CMU-MOSEI) en ontdekten dat C2MOE bestaande methoden consequent overtrof, vooral wanneer grote delen van de gegevens ontbraken. Ze suggereren dat door de balans te vinden tussen de behoefte aan gedeelde patronen en de behoefte aan unieke details, de AI robuust kan blijven, zelfs wanneer de gegevens incompleet zijn.

Het Detectiveteam: Hoe C2MOE werkt

Om te begrijpen hoe C2MOE werkt, stel je voor dat je een kapotte puzzel probeert te reconstrueren, maar je hebt slechts de helft van de stukjes. In het verleden probeerden AI-modellen de ontbrekende stukjes te raden door gewoon naar de stukjes te kijken die ze hadden en te hopen op het beste. Soms hadden ze geluk, maar vaak gokten ze steeds hetzelfde, waardoor ze de unieke details misten die het plaatje bijzonder maakten.

De auteurs van dit artikel stellen dat er twee verschillende soorten informatie zijn die we nodig hebben om te herstellen:

1. Consistentie: Dit is de "gedeelde taal" tussen de aanwijzingen. Als iemand schreeuwt, is hun stem luid, hun gezicht rood en hun woorden agressief. Deze drie dingen zijn consistent met elkaar.
2. Complementariteit: Dit is de "unieke smaak" van elke aanwijzing. De tekst kan je vertellen waarover ze schreeuwen, terwijl de audio vertelt hoe boos ze zijn, en de video laat zien tegen wie ze schreeuwen. Dit zijn verschillende puzzelstukjes die niet overlappen, maar die beide noodzakelijk zijn.

Het probleem is dat deze twee doelen vaak met elkaar in strijd zijn. Als je te veel focust op het consistent maken van alles, kun je de unieke details uitwissen. Als je te veel focust op de unieke details, kun je de verbinding tussen de aanwijzingen verliezen.

De Mixture of Experts (MoE).
In plaats van één grote hersenpan die alles probeert te doen, gebruikt C2MOE een "Mixture of Experts"-aanpak. Stel je een detectivebureau voor met twee specialisten:

• De Consistentie-expert: Deze detective is goed in het herkennen van patronen. Als de tekst zegt "Ik ben blij", weet deze expert dat de stem vrolijk moet klinken en het gezicht moet glimlachen. Hun taak is om ervoor te zorgen dat de ontbrekende stukjes perfect passen bij de stukjes die we al hebben.
• De Complementariteit-expert: Deze detective is goed in het opmerken van de vreemde, unieke zaken. Als de tekst zegt "Ik ben blij", maar de stem klinkt sarcastisch, dan merkt deze expert op dat de stem een unieke "smaak" heeft die de tekst niet vangt. Hun taak is om ervoor te zorgen dat we die unieke details niet verliezen wanneer we de gaten invullen.

De Slimme Manager
Hoe weet de AI naar welke detective er geluisterd moet worden? Het gebruikt een routing netwerk, dat fungeert als een slimme manager. Wanneer de AI een stuk data ziet, vraagt de manager: "Moeten we het patroon matchen, of moeten we een uniek detail vinden?" Op basis van het antwoord wijst de manager een score toe aan elke expert. Als het ontbrekende stukje moet passen bij de rest, krijgt de Consistentie-expert een hoge score. Als het iets nieuws moet toevoegen, krijgt de Complementariteit-expert de voorkeur. Het uiteindelijke antwoord is een mix van beide, gewogen door hoeveel de manager elke expert vertrouwt.

Het Experiment: C2MOE op de proef stellen

De onderzoekers testten hun nieuwe systeem op twee grote collecties video-reacties van het internet (CMU-MOSI en CMU-MOSEI). Deze datasets bevatten duizenden video's waarin mensen over diverse onderwerpen praten, en de AI moet raden of ze blij, verdrietig, boos, etc. zijn.

Om de test realistisch te maken, simuleerden ze "ontbrekende gegevens" door willekeurig delen van de video's te verbergen. Soms verborgen ze de audio, soms de video, en soms de tekst. Ze testten zelfs scenario's waarbij tot wel 70% van de gegevens ontbrak!

De Resultaten
De resultaten waren indrukwekkend. In bijna elk scenario versloeg C2MOE de andere topmethoden.

• Op de CMU-MOSI dataset, wanneer alle drie de aanwijzingen (tekst, audio, video) beschikbaar waren, behaalde C2MOE een nauwkeurigheid van 88,5% (binaire nauwkeurigheid) en 47,4% (7-klassen nauwkeurigheid).
• Toen ze de video en audio verborgen, waardoor alleen de tekst overbleef, wist C2MOE nog steeds 87,3% nauwkeurigheid te behalen, wat beter was dan de op één na beste methode.
• Zelfs toen de ontbrekende ratio hoog was (tot 0,7, wat betekent dat 70% van de data weg was), hield C2MOE de stand veel beter vol dan de anderen. Terwijl de prestaties van andere modellen scherp daalden naarmate er meer data verdween, daalde de prestatie van C2MOE slechts licht.

De auteurs keken ook naar hoe goed de AI de ontbrekende stukjes invulde. Ze gebruikten een visuele tool genaamd t-SNE om te zien hoe de "gereconstrueerde" data eruitzag vergeleken met de echte data. Ze ontdekten dat de gissingen van C2MOE veel dichter bij het origineel lagen en de vorm en structuur van de data intact hielden, terwijl andere methoden rommelige, verspreide gissingen produceerden.

Waarom dit ertoe doet

De belangrijkste les is dat het proberen om alles hetzelfde te maken (consistentie) niet genoeg is. Je moet ook de unieke verschillen tussen de aanwijzingen (complementariteit) respecteren. Door een team van gespecialiseerde experts en een slimme manager te gebruiken om tussen hen te schakelen, kan C2MOE de rommelige, incomplete realiteit van de echte wereld veel beter aan dan eerdere modellen.

Het artikel suggereert dat deze aanpak een belangrijke stap voorwaarts is voor het maken van AI die menselijke emoties kan begrijpen, zelfs wanneer de gegevens imperfect zijn. Hoewel de auteurs niet beweren dat ze het probleem van ontbrekende gegevens voor altijd hebben opgelost, suggereren hun experimenten sterk dat deze "Consistentie en Complementariteit" strategie een krachtige manier is om AI robuuster en betrouwbaarder te maken. Zoals zij zeggen: de beste resultaten kwamen voort uit het balanceren van zowel de gedeelde patronen als de unieke details, wat bewijst dat een beetje teamwork tussen verschillende soorten experts een heel eind komt.