MultivationBench: A Benchmark for Multimodal Sequential Motivation Reasoning
L'article introduit MultivationBench, un nouveau benchmark basé sur des cadres psychologiques qui évalue la capacité des grands modèles de langage multimodaux à effectuer un raisonnement motivationnel séquentiel dans des récits visuels pilotés par une narration, révélant que les modèles actuels peinent à maintenir un raisonnement cohérent à travers des contextes dynamiques malgré leurs capacités de reconnaissance statique.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous regardez un film, mais au lieu de simplement voir ce qui se passe, vous essayez de deviner pourquoi les personnages agissent ainsi. C'est le cœur de l'« intelligence sociale », un super-pouvoir que possèdent les humains et qui nous permet de comprendre les sentiments et les objectifs cachés derrière nos actions. Les scientifiques appellent cela le « raisonnement de la motivation ». Il ne s'agit pas seulement de voir quelqu'un prendre un téléphone ; il s'agit de déterminer s'il appelle à l'aide, s'il vérifie l'heure ou s'il regarde la photo d'un être cher disparu. Habituellement, nous ne devinons pas cela à partir d'une seule image figée. Nous regardons l'histoire se dérouler, en récoltant des indices au fil du temps. Si un personnage semble triste dans la scène un, puis voit une photo dans la scène deux, notre hypothèse sur sa motivation change. Ce document examine si les nouveaux cerveaux informatiques ultra-intelligents (appelés Modèles de Langage Multimodaux de Grande Taille) peuvent accomplir ce même genre de « travail de détective social ». Bien que ces ordinateurs soient excellents pour regarder une image et la décrire, ou lire une histoire et répondre à des questions, cette recherche pose une question plus difficile : peuvent-ils suivre l'évolution des sentiments d'un personnage tout au long d'une histoire complète, tout comme le fait un humain ?
Les chercheurs derrière cette étude, dirigés par une équipe de l'Université des sciences et technologies de Hong Kong et d'Amazon, ont décidé de construire un test géant pour le découvrir. Ils ont créé ce qu'ils appellent le MultivationBench. Voyez cela comme une immense bibliothèque de 1 000 histoires visuelles courtes, mélangeant clips de films et publications sur les réseaux sociaux, contenant plus de 4 000 moments spécifiques où un personnage fait quelque chose. Mais ce n'est pas seulement un test de « ce qui s'est passé » ; c'est un test de « pourquoi cela s'est passé ». Pour rendre le test équitable et scientifique, l'équipe a utilisé deux célèbres manuels de psychologie : la hiérarchie des besoins de Maslow (qui classe les désirs humains, de la survie de base comme la nourriture et la sécurité aux objectifs plus élevés comme l'amour et le perfectionnement de soi) et les 16 besoins fondamentaux de Reiss (qui examine des pulsions personnelles spécifiques comme la curiosité, l'honneur ou la famille).
L'équipe a demandé aux modèles informatiques de regarder ces histoires image par image. À chaque étape, les modèles devaient deviner la motivation du personnage en se basant uniquement sur ce qu'ils avaient vu jusqu'alors. La partie délicate ? À mesure que l'histoire progressait, de nouvelles informations apparaissaient qui changeaient complètement la raison d'une action antérieure. Par exemple, un personnage peut tendre la main vers un téléphone, et au début, on pourrait croire qu'il vérifie simplement un message (un besoin « Cognitif »). Mais plus tard, l'histoire révèle qu'il regarde une photo de sa famille tout en se sentant seul lors d'une fête, ce qui signifie que la véritable raison était en réalité liée à « l'Amour et l'Appartenance ». L'ordinateur devait être assez intelligent pour dire : « Attendez, je me suis trompé auparavant ; maintenant je connais la vraie raison. »
Les résultats ont été un véritable signal d'alarme pour le monde de la technologie. L'article a révélé que, bien que ces modèles d'IA avancés soient plutôt bons pour deviner les motivations dans des histoires courtes et simples, ils éprouvent de réelles difficultés lorsque l'histoire s'allonge. Sur les 1 000 histoires testées, les modèles ont rarement réussi à maintenir leur raisonnement cohérent du début à la fin. En fait, lorsqu'on leur demandait de réussir chaque motivation dans une histoire entière, les meilleurs modèles ne réussissaient que dans moins de 1 % des cas. L'étude suggère que ces cerveaux d'IA sont comme des étudiants qui sont excellents pour mémoriser des faits, mais médiocres pour comprendre le déroulement d'une intrigue. Ils ont tendance à rester bloqués sur la première chose qu'ils voient et échouent à mettre à jour leur pensée lorsque de nouvelles preuves arrivent. Ils « hallucinent » souvent des raisons qui semblent plausibles mais qui ne sont pas soutenues par l'histoire, ou ils passent à côté des raisons émotionnelles plus profondes et complexes qui nécessitent de relier les points à travers l'ensemble du récit.
Les chercheurs ont également comparé l'IA à de vrais humains. Les humains, qui étaient des étudiants de deuxième cycle, étaient nettement meilleurs pour cette tâche, surtout lorsque les histoires étaient longues et complexes. Cet écart montre que, bien que l'IA s'améliore dans la vision et la lecture, elle manque encore du « cerveau social » nécessaire pour comprendre comment nos motivations évoluent et changent au fil du temps. L'article conclut que nous sommes encore loin d'avoir des ordinateurs capables de comprendre véritablement les raisons changeantes et complexes qui sous-tendent le comportement humain dans une histoire. C'est un rappel que comprendre pourquoi les gens font ce qu'ils font est beaucoup plus difficile que de simplement savoir ce qu'ils ont fait.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.