Token-Region Guided Cross-Attention Fusion for Multimodal Affect Interpretation

Imaginez l'internet comme une place de village numérique, géante et chaotique, où tout le monde crie, plaisante et partage des histoires. Dans cette ville, les « mèmes » sont le moyen de communication le plus populaire. Considérez un mème non pas seulement comme une image amusante, mais comme un sandwich numérique : il possède une couche visuelle (l'image) et une couche textuelle (les mots écrits dessus). Habituellement, ces deux couches travaillent ensemble pour raconter une blague ou partager une idée. Mais parfois, surtout en politique, le sandwich devient complexe. Le texte peut être sarcastique, l'image peut être trompeuse, ou l'ensemble peut être un piège habile conçu pour vous faire ressentir une certaine chose à propos d'un dirigeant ou d'une politique.

Pour les ordinateurs, comprendre ces sandwichs numériques est un cauchemar. C'est comme essayer de résoudre une énigme où l'image et les mots parlent des langues différentes. Si l'ordinateur ne regarde que l'image, il pourrait passer à côté de la blague. S'il lit seulement les mots, il pourrait manquer le contexte. Cela devient encore plus difficile lorsque la langue est une langue que les ordinateurs n'ont pas autant étudiée que l'anglais, comme le bengali. Des chercheurs dans le domaine de l'« informatique affective » — ce qui est juste une façon sophistiquée de dire « enseigner aux machines à comprendre les sentiments et l'intention » — essaient de construire un détective super intelligent capable de regarder ces mèmes et de déterminer : « Cette personne essaie-t-elle de me faire rire, ou essaie-t-elle de changer mon opinion politique ? »

C'est exactement le puzzle abordé par une équipe de chercheurs de l'Université d'ingénierie et de technologie du Bangladesh. Ils se sont concentrés sur les mèmes en bengali, qui sont souvent désordonnés, artistiques et pleins de satire politique. Leur objectif était de construire un système capable de faire la différence entre un mème qui est juste pour s'amuser et un qui cherche à pousser un agenda politique. Ils ont découvert que le secret pour résoudre cela n'était pas de jeter toutes les informations dans un mixeur en espérant que cela fonctionne. Au lieu de cela, ils ont construit un système qui agit comme un détective très minutieux, forçant l'ordinateur à regarder l'image et les mots ensemble, en faisant correspondre des mots spécifiques à des parties spécifiques de l'image, un peu comme un détective faisant correspondre la description d'un suspect à une photo de la scène du crime.

La nouvelle boîte à outils du détective

Les chercheurs, Musa Turazi et Nufayer Jahan Reza, ont réalisé que les tentatives précédentes pour résoudre ce problème étaient un peu comme essayer de lire une bande dessinée en regardant les images d'une page et les mots d'une autre page séparément. Ils ont proposé une nouvelle méthode appelée « Fusion par attention croisée multimodale ». C'est un terme un peu compliqué, alors décortiquons-le avec une analogie simple.

Imaginez que vous essayez de comprendre un tour de magie complexe. Vous avez une vidéo du tour (l'image) et une transcription de ce que dit le magicien (le texte). Un ordinateur simple pourrait simplement regarder la vidéo, puis lire la transcription séparément, et ensuite deviner ce qui s'est passé. Mais un détective intelligent sait que les paroles du magicien n'ont de sens que si vous voyez où il pointe dans la vidéo.

Le nouveau système de l'équipe fonctionne ainsi :

1. Les yeux et les oreilles : D'abord, le système utilise un « œil » puissant (un modèle vision-langage) pour lire le texte artistique et désordonné du mème, même si l'arrière-plan est bruyant ou que la police est étrange. Il utilise également un « cerveau » qui a vu des millions d'images et de phrases pour comprendre l'ambiance générale de l'image et le sens des mots.
2. Le entremetteur : C'est la partie magique. Au lieu de simplement coller l'image et le texte ensemble, le système utilise un mécanisme d'« attention croisée ». Imaginez que les mots du mème demandent à l'image : « Hé, est-ce que tu parles de cette partie de l'image ? » et que l'image répond : « Oui, c'est moi ! » ou « Non, regarde par ici ! ». Le système aligne des mots spécifiques avec des régions spécifiques de l'image. Si le texte dit « corrompu » et que l'image montre un politicien, le système lie étroitement ces deux éléments. Si le texte dit « héros » mais que l'image montre un méchant, le système remarque le décalage.
3. Le livre de règles : Ils ont également essayé d'ajouter un « livre de règles politiques » (un lexique) pour aider l'ordinateur. C'est comme donner au détective une liste de mots qui apparaissent souvent dans les discours politiques. Cependant, ils ont découvert quelque chose de surprenant : si vous forcez le détective à s'appuyer trop lourdement sur cette liste, il commence à commettre des erreurs. Il pourrait penser qu'un mème est politique simplement parce qu'il contient un mot politique, même si le contexte est totalement différent.

Ce qu'ils ont découvert

L'équipe a testé son nouveau système d'« entremetteur » sur un ensemble de données appelé PoliMemeDecode1, qui regorge de mèmes en bengali. Ils ont comparé leur méthode à d'anciennes façons de faire, comme regarder l'image seule, lire le texte seul, ou simplement coller l'image et le texte ensemble sans correspondance spéciale.

Les résultats ont été impressionnants. Leur nouveau système, qui fait correspondre soigneusement les mots aux parties de l'image, a obtenu un score appelé « Macro-F1 » d'environ 0,94. Pour mettre cela en perspective, c'est un score très élevé, ce qui signifie que le système a eu raison presque tout le temps. Il a nettement surpassé les anciennes méthodes. Par exemple, regarder uniquement les images obtenait un score d'environ 0,88, et lire uniquement le texte environ 0,85. Lorsqu'ils ont essayé de simplement coller l'image et le texte ensemble sans l'attention de l'« entremetteur », le score est monté à 0,935, mais la nouvelle méthode d'attention a poussé ce score encore plus haut à 0,940.

Cependant, l'article a aussi infirmé une idée populaire. De nombreux chercheurs pensaient que l'ajout d'un « livre de règles politiques » (le lexique) aiderait l'ordinateur à être plus intelligent. Les auteurs ont trouvé l'opposé. Lorsqu'ils ont tenté de booster la confiance du système en utilisant ce lexique, la performance a chuté. Le score est tombé à 0,915 lorsqu'ils ont utilisé le système complet avec le lexique. Pourquoi ? Parce que le livre de règles rendait l'ordinateur trop rigide. Il commençait à voir une intention politique partout, même dans des blagues inoffensives, ceant ainsi plus de fausses alertes. L'article suggère que l'ordinateur apprend mieux lorsqu'il découvre par lui-même la connexion entre l'image et le texte, plutôt que d'être forcé de suivre une liste de mots-clés pré-écrite.

Pourquoi c'est important

Les chercheurs ne se sont pas contentés des chiffres. Ils ont regardé sous le capot pour voir comment l'ordinateur réfléchissait. Ils ont découvert que le système prêtait attention aux bonnes choses. Lorsqu'ils ont utilisé une technique appelée « SmoothGrad » pour voir quelles parties de l'image l'ordinateur surveillait, cela mettait en évidence les visages des personnes et le texte superposé à l'image, ignorant le bruit de fond aléatoire. Cela prouvait que l'ordinateur ne faisait pas que deviner ; il connectait réellement les preuves visuelles au sens textuel.

Ils ont également vérifié si l'ordinateur était confiant dans ses réponses. Les résultats ont montré que le système était bien calibré, ce qui signifie que lorsqu'il disait être sûr à 90 %, il avait généralement raison. Les rares fois où il s'est trompé, c'était souvent parce que le mème lui-même était véritablement confus ou ambigu, ce qui est un défi de taille pour tout humain ou machine.

En fin de compte, cet article montre que pour les langues à faibles ressources comme le bengali, la meilleure façon de comprendre les mèmes politiques n'est pas de forcer l'ordinateur à mémoriser un dictionnaire de « mauvais mots ». Il s'agit plutôt d'enseigner à l'ordinateur à être un bon détective qui regarde l'ensemble de l'image, fait correspondre les indices et comprend l'histoire. En utilisant une méthode qui aligne les jetons (mots) avec les régions visuelles, l'équipe a créé un outil qui est non seulement plus précis, mais aussi plus fiable, atteignant une performance de pointe qui suggère que cette approche est un moyen puissant de décoder le monde complexe, bruyant et souvent politique des mèmes Internet.