Token-Region Guided Cross-Attention Fusion for Multimodal Affect Interpretation

Stel je het internet voor als een gigantisch, chaotisch digitaal dorpsplein waar iedereen schreeuwt, grapt en verhalen deelt. In dit dorp zijn "memes" de populairste manier om te communiceren. Denk niet aan een meme alleen als een grappige afbeelding, maar als een digitale sandwich: het heeft een visuele laag (de afbeelding) en een tekstuele laag (de woorden die erop geschreven staan). Meestal werken deze twee lagen samen om een grap te vertellen of een idee te delen. Maar soms, vooral in de politiek, wordt de sandwich ingewikkeld. De tekst kan sarcastisch zijn, de afbeelding kan misleidend zijn, of het geheel kan een slimme valstrik zijn die ontworpen is om je een bepaald gevoel te geven over een leider of een beleid.

Voor computers is het begrijpen van deze digitale sandwiches een nachtmerrie. Het is alsof je een raadsel probeert op te lossen waarbij de afbeelding en de woorden verschillende talen spreken. Als een computer alleen naar de afbeelding kijkt, mist hij misschien de grap. Als hij alleen de woorden leest, mist hij misschien de context. Dit wordt nog moeilijker wanneer de taal een taal is die computers minder vaak hebben bestudeerd dan het Engels, zoals Bengaals. Onderzoekers in het veld van "affective computing" — wat gewoon een chique manier is om te zeggen: "machines leren gevoelens en intentie te begrijpen" — proberen een super slimme detective te bouwen die naar deze memes kan kijken en kan uitzoeken: "Probeert deze persoon mij te laten lachen, of proberen ze mijn politieke mening te veranderen?"

Dit is precies de puzzel waar een team onderzoekers van de Bangladesh University of Engineering and Technology zich mee bezighoudt. Zij richtten zich op Bengaalse memes, die vaak rommelig, artistiek en vol politieke satire zijn. Hun doel was om een systeem te bouwen dat het verschil kan zien tussen een meme die gewoon voor de lol is en een die probeert een politieke agenda door te drukken. Ze ontdekten dat het geheim voor het oplossen hiervan niet was om alle informatie in een blender te gooien en te hopen op het beste. In plaats daarvan bouwden ze een systeem dat werkt als een zeer zorgvuldige detective, dat de computer dwingt om naar de afbeelding en de woorden samen te kijken, door specifieke woorden te koppelen aan specifieke delen van de afbeelding, net zoals een detective een beschrijving van een verdachte koppelt aan een foto van een plaats delict.

Het Nieuwe Gereedschapskist van de Detective

De onderzoekers, Musa Tur Farazi en Nufayer Jahan Reza, realiseerden zich dat eerdere pogingen om dit op te lossen een beetje leken op het proberen te lezen van een stripboek door eerst naar de plaatjes op één pagina te kijken en daarna naar de woorden op een andere pagina, apart van elkaar. Ze stelden een nieuwe methode voor genaamd "Multimodal Cross-Attention Fusion". Dat is een mond vol, dus laten we dat uitleggen met een eenvoudige analogie.

Stel je voor dat je een complexe goocheltruc probeert te begrijpen. Je hebt een video van de truc (de afbeelding) en een transcript van wat de goochelaar zegt (de tekst). Een simpele computer zou gewoon de video bekijken en dan het transcript apart lezen en dan raden wat er gebeurde. Maar een slimme detective weet dat de woorden van de goochelaar alleen zin hebben als je ziet waar hij naar wijst in de video.

Het nieuwe systeem van het team werkt als volgt:

1. De Ogen en Oren: Eerst gebruikt het systeem een krachtig "oog" (een Vision-Language Model) om de rommelige, artistieke tekst op de meme te lezen, zelfs als de achtergrond druk is of het lettertype vreemd is. Het gebruikt ook een "brein" dat miljoenen plaatjes en zinnen heeft gezien om de algemene sfeer van de afbeelding en de betekenis van de woorden te begrijpen.
2. De Matchmaker: Dit is het magische deel. In plaats van de afbeelding en de tekst gewoon aan elkaar te plakken, gebruikt het systeem een "Cross-Attention"-mechanisme. Stel je voor dat de woorden in de meme aan de afbeelding vragen: "Hé, heb je het over dit deel van de afbeelding?" en de afbeelding antwoordt: "Ja, dat ben ik!" of "Nee, kijk hierheen!" Het systeem stemt specifieke woorden af op specifieke regio's van de afbeelding. Als de tekst "corrupt" zegt en de afbeelding toont een politicus, koppelt het systeem die twee nauw aan elkaar. Als de tekst "held" zegt maar de afbeelding toont een schurk, merkt het systeem de mismatch op.
3. Het Regelboek: Ze hebben ook geprobeerd een "politiek regelboek" (een lexicon) toe te voegen om de computer te helpen. Dit is als het geven van een lijst met woorden die vaak in politieke toespraken voorkomen aan de detective. Ze ontdekten echter iets verrassends: als je de detective dwingt om te zwaar op deze lijst te vertrouwen, begint hij fouten te maken. Hij kan denken dat een meme politiek is, alleen maar omdat er een politiek woord in staat, zelfs als de context totaal anders is.

Wat Ze Vonden

Het team testte hun nieuwe "Matchmaker"-systeem op een dataset genaamd PoliMemeDecode1, die vol zit met Bengaalse memes. Ze vergeleken hun methode met oudere manieren van doen, zoals alleen naar de afbeelding kijken, alleen de tekst lezen, of simpelweg de afbeelding en de tekst aan elkaar plakken zonder speciale koppeling.

De resultaten waren indrukwekkend. Hun nieuwe systeem, dat woorden zorgvuldig met beelddelen koppelt, behaalde een score genaamd "Macro-F1" van ongeveer 0,94. Om dit in perspectief te plaatsen: dit is een zeer hoge score, wat betekent dat het systeem bijna altijd correct was. Het presteerde aanzienlijk beter dan de oudere methoden. Zo behaalde alleen kijken naar de afbeelding een score rond de 0,88, en alleen het lezen van de tekst rond de 0,85. Toen ze probeerden de afbeelding en tekst simpelweg aan elkaar te plakken zonder de "Matchmaker"-aandacht, steeg de score naar 0,935, maar de nieuwe aandachtsmethode tilde het zelfs naar 0,940.

Echter, het artikel weerlegde ook een populair idee. Veel onderzoekers dachten dat het toevoegen van een "politiek regelboek" (het lexicon) de computer slimmer zou maken. De auteurs ontdekten het tegenovergestelde. Toen ze probeerden het vertrouwen van het systeem te vergroten met dit regelboek, daalde de prestatie zelfs. De score zakte naar 0,915 toen ze het volledige systeem met het regelboek gebruikten. Waarom? Omdat het regelboek de computer te rigide maakte. Het begon politieke intentie overal te zien, zelfs in onschuldige grappen, wat leidde tot meer valse alarmen. Het artikel suggereert dat de computer beter leert wanneer hij zelf de verbinding tussen de afbeelding en de tekst ontdekt, in plaats van gedwongen te worden een vooraf geschreven lijst met trefwoorden te volgen.

Waarom Het Ertoe Doet

De onderzoekers stopten niet bij de cijfers. Ze keken onder de motorkap om te zien hoe de computer dacht. Ze ontdekten dat het systeem daadwerkelijk aandacht besteedde aan de juiste zaken. Wanneer ze een techniek genaamd "SmoothGrad" gebruikten om te zien op welke delen van de afbeelding de computer zich concentreerde, highlightte dit de gezichten van mensen en de tekst die over de afbeelding lag, terwijl de willekeurige achtergrondruis werd genegeerd. Dit bewees dat de computer niet gewoon gokte; het verbond de visuele bewijslast echt met de tekstuele betekenis.

Ze controleerden ook of de computer zelfverzekerd was in zijn antwoorden. De resultaten lieten zien dat het systeem goed gekalibreerd was, wat betekent dat wanneer het zei dat het 90% zeker was, het meestal ook echt zo was. De weinige keren dat het fout ging, kwam dat vaak omdat de meme zelf werkelijk verwarrend of ambigu was, wat een moeilijke uitdaging is voor zowel mens als machine.

Uiteindelijk laat dit paper zien dat voor talen met weinig middelen zoals het Bengaals, de beste manier om politieke memes te begrijpen niet is om de computer te dwingen een woordenboek van "slechte woorden" te memoriseren. In plaats daarvan is het de computer leren een goede detective te zijn die het hele plaatje bekijkt, de aanwijzingen koppelt en het verhaal begrijpt. Door een methode te gebruiken die tokens (woorden) uitlijnt met visuele regio's, heeft het team een hulpmiddel gecreëerd dat niet alleen nauwkeuriger is, maar ook betrouwbaarder, met een state-of-the-art prestatie die suggereert dat deze aanpak een krachtige manier is om de complexe, rommelige en vaak politieke wereld van internetmemes te ontcijferen.