NepOOC-M: Bilingual Nepali-English Benchmark and Comparative Analysis of Multimodal Architectures for OOC Detection

À l'ère numérique, un mensonge voyage souvent plus vite que la vérité, mais ce n'est pas toujours parce que la vérité est cachée. Parfois, le mensonge est construit à partir de la vérité elle-même. C'est la nature de la désinformation hors contexte, une pratique trompeuse où une photographie authentique et inchangée est associée à une légende fausse ou trompeuse. L'image reste intacte ; une photo d'une foule réelle, d'un bâtiment réel ou d'une personne réelle est extraite de son moment et de son lieu d'origine. La tromperie réside entièrement dans l'histoire racontée aux côtés de l'image. Une photo d'une inondation d'il y a dix ans peut être présentée comme une catastrophe actuelle, ou la photo d'un politicien dans un pays peut être présentée comme s'il se trouvait dans un autre. Parce que l'image elle-même est authentique, elle passe les contrôles visuels qui détectent habituellement les photos truquées ou les deepfakes. Le défi pour les ordinateurs comme pour les humains n'est pas de repérer une image fausse, mais de réaliser que l'histoire jointe à celle-ci ne correspond pas à la réalité capturée dans le cadre.

Pendant des années, des chercheurs ont construit des outils pour détecter ces décalages, mais la majeure partie de leurs travaux s'est concentrée sur les informations en langue anglaise et sur des contextes à hautes ressources. Cela a laissé une lacune importante dans la compréhension du fonctionnement de ces tromperies dans d'autres parties du monde, particulièrement dans les régions où les langues et les cultures sont distinctes. Au Népal, où la désinformation peut exacerber les tensions politiques ou propager la panique lors de catastrophes naturelles, le problème est urgent. Le contexte local est vital ; une légende peut faire référence à un village spécifique, à un responsable local ou à un événement régional qu'un système anglophone ne reconnaîtrait jamais comme suspect. Pour répondre à cela, un chercheur nommé Sanjeev Khatiwada s'est donné pour mission de construire un nouveau type de banc d'essai, conçu spécifiquement pour la langue népalie et les manières uniques dont la désinformation s'y propage.

Le résultat est une nouvelle collection de données appelée NepOOC, le premier banc d'essai public de ce type pour le népalais. Elle contient 1 090 paires d'images et de légendes, réparties équitablement entre publications honnêtes et trompeuses. Les publications trompeuses ont été soigneusement classées en cinq types de mensonges : des histoires totalement inventées, des légendes factuellement erronées mais ne concernant ni le temps ni le lieu, des images provenant du mauvais moment, des images provenant du mauvais lieu, et des images de mauvaises personnes. Pour garantir la fiabilité des données, plusieurs experts ont examiné les paires, et ils se sont accordés sur la classification des publications trompeuses avec un haut degré de cohérence. Le jeu de données comprend des exemples réels tirés de rapports de vérification des faits (fact-checking), de portails d'actualités et d'archives de réseaux sociaux, capturant la réalité désordonnée de la façon dont ces mensonges apparaissent réellement dans la nature.

Avec ce nouveau jeu de données en main, le chercheur a testé cinq systèmes informatiques différents pour voir lequel pouvait le mieux détecter les mensonges. Ces systèmes allaient de simples lecteurs de texte à des machines complexes qui tentaient d'examiner à la fois l'image et les mots simultanément. L'objectif était de voir si l'examen de l'image aidait l'ordinateur à comprendre le mensonge, ou si la lecture de la légende suffisait. Les conclusions furent surprenantes et claires. Le système le plus performant était un modèle multimodal combinant un analyseur visuel et un lecteur de texte, mais il n'était pas plus performant qu'un système qui ne lisait que le texte. En fait, un modèle qui regardait uniquement les mots a obtenu exactement le même score élevé que le système le plus complexe qui regardait à la fois l'image et les mots.

Les données ont montré que la partie visuelle de l'image n'apportait presque aucune aide pour résoudre l'énigme. Lorsque les chercheurs ont testé des systèmes qui regardaient uniquement les images, ignorant totalement le texte, ils n'ont pas fait mieux que le hasard. Les images elles-mêmes, étant authentiques, ne contenaient aucun indice sur la tromperie. Le mensonge résidait entièrement dans l'histoire. Le système basé uniquement sur le texte, qui lisait la légende et la vérifiait par rapport à ses connaissances du monde, a pu identifier le décalage avec une précision quasi parfaite. Cela suggère que pour ce type de problème spécifique, à l'échelle actuelle des données, les mots portent toute l'information nécessaire. Les caractéristiques visuelles, qui sont si souvent l'objet de la recherche en intelligence artificielle, étaient essentiellement silencieuses dans ce contexte.

L'étude a également exploré si rendre les systèmes informatiques plus complexes ou spécialisés permettrait d'obtenir de meilleurs résultats. Ils ont testé différents types de réseaux neuronaux et ont tenté d'adapter des modèles spécifiquement pour l'écriture Devanagari utilisée en népalais. Les résultats ont indiqué que ces ajustements architecturaux ne faisaient pas de différence significative. Un lecteur de texte standard et bien entraîné fonctionnait tout aussi bien qu'un lecteur spécialisé. Le facteur le plus important pour la réussite n'était pas la sophistication de la machine, mais la quantité de données dont elle disposait pour apprendre. Lorsque les chercheurs ont testé les systèmes avec de plus petites quantités de données d'entraînement, les modèles plus complexes ont eu du mal, tandis que les modèles textuels plus simples sont restés stables. Cela pointe vers une voie claire pour l'avenir : la clé d'une meilleure détection n'est pas de construire des algorithmes plus intelligents, mais de rassembler plus d'exemples de ces mensonges pour enseigner aux systèmes.

Ce travail remet en question une hypothèse courante dans le domaine de l'intelligence artificielle, qui suppose souvent que la combinaison de la vision et du langage conduit toujours à une meilleure performance. Dans le cas de la désinformation hors contexte au Népal, la composante visuelle était redondante. La tromperie était une tromperie linguistique, ancrée dans les affirmations spécifiques faites sur les personnes, les lieux et les événements. L'étude conclut que pour les langues à faibles ressources et les types spécifiques de désinformation, se concentrer sur le texte et élargir le jeu de données est une voie plus directe et plus efficace pour progresser que d'essayer d'élaborer des systèmes multimodaux plus complexes. Elle souligne que parfois, l'outil le plus puissant est simplement une meilleure compréhension de l'histoire qui est racontée.