Expert-Guided Multimodal Fusion for Unified Emotion and Sentiment Analysis

Stel je voor dat je probeert de stemming van een vriend te begrijpen door alleen naar hem te kijken. Je luistert niet alleen naar wat hij zegt; je kijkt ook naar zijn gezichtsuitdrukkingen, luistert naar de toon van zijn stem en let op zijn lichaamstaal. In de wereld van de informatica wordt dit "multimodale emotie-begrip" genoemd. Het is een tak van kunstmatige intelligentie die zich ermee bezighoudt om machines te leren voelen wat mensen voelen door tekst, audio en video te combineren. Een lange tijd waren computers hier erg slecht in. Ze konden een zin lezen en raden of deze blij of verdrietig was, maar ze misten vaak de sarcasme in een stem of het verdriet dat achter een glimlach verborgen zat. Ze behandelden deze verschillende aanwijzingen als afzonderlijke, onverbonden puzzelstukjes in plaats van als onderdelen van één enkel, complex beeld. Dit is belangrijk omdat als we willen dat computers goed worden in het helpen bij mentale gezondheid, natuurlijk met ons chatten of sociale media analyseren, ze de volledige emotionele context moeten begrijpen, niet alleen de woorden.

Maak kennis met een nieuw team onderzoekers die een systeem hebben gebouwd genaamd EGMF (Expert-Guided Multimodal Fusion). Denk aan dit systeem als een super slimme detective-eenheid die werkt binnen een gigantische taal-hersenen. In plaats van audio, video en tekst gewoon aan elkaar te lijmen, hebben ze een speciale "fusie-keuken" gecreëerd waar drie verschillende soorten expert-chefs samenwerken om het perfecte begrip van emoties te bereiden. Eén chef is een "Lokale Expert" die inzoomt op kleine, subtiele details zoals een lichte frons of een trillende stem. Een andere is een "Semantische Expert" die kijkt hoe de stem en het gezicht overeenkomen met de woorden. De derde is een "Globale Expert" die een stap terug doet om het grote plaatje van het hele gesprek te zien. Deze experts roepen niet zoma van hun mening; ze gebruiken een slim "gating-systeem" om te beslissen wie er aan het woord komt op basis van de huidige situatie. Als het gesprek chaotisch is, neemt de Globale Expert de leiding; als het een rustig moment is, schittert de Lokale Expert.

De onderzoekers ontdekten dat deze teamaanpak ongelooflijk goed werkt. Ze testten hun systeem op vier verschillende datasets, inclus kind van Engelse en Chinese gesprekken. Op de Engelse emotiedataset genaamd MELD behaalde hun systeem een gewogen F1-score van 65,57%, waarmee ze de vorige beste methode met 0,06% versloegen. Op de Chinese dataset CHERMA zagen ze een enorme sprong, waarbij de score met 3,36% verbeterde naar 73,90%. Voor sentimentanalyse (het meten van hoe positief of negatief iets is), bereikten ze 87,09% op de Engelse MOSEI-dataset en 82,43% op de Chinese SIMS-V2-dataset.

Wat dit nog indrukwekkender maakt, is hoe ze het deden. In plaats van het hele gigantische brein opnieuw te trainen (wat een eeuwigheid zou duren en een fortuin zou kosten), gebruikten ze een slim trucje genaamd LoRA (Low-Rank Adaptation). Stel je voor dat het gigantische taalmodel een enorme bibliotheek vol boeken is. In plaats van elk boek te herschrijven, voegden ze gewoon een paar plaknotities toe met nieuwe instructies. Hierdoor konden ze het systeem leren om emoties te begrijpen zonder dat daar een supercomputer ter grootte van een stad voor nodig was. Ze ontdekten ook dat hun systeem bijzonder goed is in het omgaan met het Chinees, wat suggereert dat het "expertenteam" vooral goed is in het decoderen van de complexe mix van visuele en audio-aanwijzingen in die taal. Hoewel het systeem niet perfect is — het worstelt nog steeds een beetje met zeer subtiele emoties zoals "afkeer" of extreem intense gevoelens — bewijst het dat een verenigde, door experts geleide aanpak een krachtige nieuwe manier is om machines te helpen de rommelige, prachtige complexiteit van menselijke gevoelens te begrijpen.