Social Norm Reasoning in Multimodal Language Models: An Evaluation

Cette étude évalue la capacité de cinq modèles de langage multimodaux à raisonner sur les normes sociales à partir de scénarios textuels et visuels, révélant qu'ils surpassent les humains dans le texte mais peinent davantage avec les images, GPT-4o se distinguant comme le modèle le plus prometteur pour l'intégration dans des systèmes multi-agents malgré des difficultés persistantes face aux normes complexes.

L'essentiel

Voici une explication de cette recherche, imagée et simplifiée, comme si nous en discutions autour d'un café.

🌍 Le Grand Défi : Enseigner la "Pudeur" aux Robots

Imaginez que vous construisez un robot pour qu'il vive parmi nous, dans notre société. Ce robot ne doit pas seulement savoir marcher ou parler ; il doit comprendre les règles non écrites de la vie en société. C'est ce qu'on appelle les normes sociales.

Par exemple :

• Il faut frapper à la porte avant d'entrer.
• On ne jette pas ses déchets dans le parc.
• On laisse sa place aux personnes âgées dans le bus.

Jusqu'à présent, les chercheurs essayaient d'enseigner ces règles aux robots comme on apprendrait les tables de multiplication à un enfant : en écrivant des codes informatiques très stricts (des formules logiques). C'est comme essayer de décrire une tempête en utilisant uniquement une règle à dessin : ça marche pour les lignes droites, mais ça rate complètement pour le chaos de la réalité.

🎨 La Nouvelle Approche : Les "Super-Intelligences" Multimodales

Les auteurs de cette étude (de l'Université d'Otago, en Nouvelle-Zélande) se sont dit : "Et si on utilisait les nouveaux modèles d'intelligence artificielle (les MLLM) qui voient et lisent comme des humains ?"

Ils ont pris cinq de ces super-intelligences (dont GPT-4o, Qwen, Gemini, etc.) et les ont mises à l'épreuve. Leur mission ? Comprendre des histoires sociales présentées de deux façons :

1. En texte (comme une petite nouvelle).
2. En images (sous forme de bandes dessinées à 4 cases).

🧪 L'Examen de Fin d'Études

Pour tester ces robots, les chercheurs ont créé 30 histoires basées sur 5 règles sociales différentes. Chaque histoire avait 6 variantes pour voir si le robot comprenait les nuances :

• Le robot a-t-il respecté la règle ?
• A-t-il été félicité pour son bon comportement ?
• A-t-il été puni pour son erreur ?
• A-t-il puni quelqu'un d'autre qui n'avait pas puni le coupable ? (C'est ce qu'on appelle une "méta-norme", une règle sur les règles, très complexe !).

Ensuite, on a posé 8 questions à chaque modèle (ex: "Qui a transgressé la règle ?", "A-t-on grondé le coupable ?") et on a comparé leurs réponses avec celles d'humains (les "correcteurs").

🏆 Les Résultats : Qui a gagné ?

Voici ce que l'étude a révélé, avec quelques métaphores :

1. Le Texte est leur "Super-Pouvoir"
Les robots sont d'excellents lecteurs. Quand on leur donne une histoire écrite, ils comprennent très bien les règles sociales. C'est comme s'ils avaient lu tous les livres de la bibliothèque.

• Le champion : GPT-4o a obtenu un score incroyable de 98,75 % en texte. C'est le "sage" du groupe.
• Le champion gratuit : Qwen-2.5VL a aussi très bien fait (97,5 %), ce qui est une excellente nouvelle car c'est un modèle gratuit.

2. Les Images sont leur "Zone de Turbulence"
Quand on passe aux images (les bandes dessinées), les robots trébuchent un peu plus. C'est comme si un lecteur brillant devenait soudainement distrait quand on lui montre un film muet. Ils ont du mal à déduire les émotions ou les actions cachées dans un dessin.

• Le score moyen en image est tombé à 83,58 %.
• GPT-4o reste le meilleur (92,5 %), mais même lui fait des erreurs.
• LLaMa-4 Maverick a eu le plus de mal, surtout avec les images (76,66 %).

3. Le Piège des "Règles sur les Règles"
La plus grande difficulté pour tous les robots était de comprendre les méta-normes (la variante V5).

• Exemple : "Si Paul ne punit pas Jean qui a jeté un papier, doit-on punir Paul ?"
• C'est comme un jeu d'échecs à trois dimensions. Les robots ont souvent eu la tête qui tourne ici, avec des scores beaucoup plus bas (autour de 75 %). Ils comprennent bien "Ne jette pas de papier", mais ils peinent à comprendre "Ne sois pas complice de celui qui jette du papier".

💡 La Leçon à Retenir

Cette étude nous dit deux choses importantes :

1. L'avenir est prometteur : Nous avons maintenant des outils (comme GPT-4o ou Qwen) capables de comprendre le comportement social humain bien mieux que les anciens robots programmés à la main. Ils pourraient bientôt aider les robots sociaux à être plus polis et plus sûrs.
2. Il reste du travail : Les robots sont encore des "élèves brillants en théorie mais parfois distraits en pratique visuelle". Ils doivent apprendre à mieux lire les images et à comprendre les règles complexes de la vie en société.

En résumé, nous ne sommes plus au stade où les robots ne savent pas ce qu'est un "bon comportement". Ils savent maintenant lire le manuel d'instructions. Le prochain défi est de leur apprendre à appliquer ces règles dans le monde réel, rempli d'images, d'émotions et de situations imprévues.

Résumé technique

Voici un résumé technique détaillé de l'article « Social Norm Reasoning in Multimodal Language Models: An Evaluation » en français.

1. Problématique et Contexte

Les systèmes multi-agents (SMA) normatifs (NorMAS) visent à créer des agents capables de comprendre, de raisonner et de respecter les normes sociales pour assurer l'ordre et la coopération. Traditionnellement, le raisonnement sur les normes repose sur des approches symboliques (logique déontique), qui sont rigides, difficiles à mettre à l'échelle et nécessitent un encodage manuel des règles.

Bien que les Grands Modèles de Langage (LLM) offrent une alternative prometteuse pour un raisonnement contextuel, la recherche précédente s'est limitée aux scénarios textuels. Le problème central abordé par cet article est l'évaluation des capacités des Modèles de Langage Multimodaux (MLLM) à raisonner sur les normes sociales non seulement à partir de textes, mais aussi à partir d'images (scènes visuelles), ce qui est crucial pour des applications robotiques réelles où les agents perçoivent le monde visuellement.

2. Méthodologie

Les auteurs ont conçu un cadre d'évaluation systématique impliquant cinq MLLM de pointe :

• Modèles évalués : GPT-4o, Gemini 2.0 Flash, Qwen-2.5VL (72B), Intern-VL3 (14B) et Meta LLaMa-4 Maverick.
• Données de test :
  • 5 Scénarios de normes : Frapper à la porte, ne pas jeter de déchets, faire la queue, être ponctuel, céder sa place aux personnes âgées.
  • 6 Variantes par scénario : Chaque variante explore différentes combinaisons d'adhésion/violation de la norme et de conséquences (ex: adhésion sans éloges, adhésion avec éloges, violation sans sanction, sanction douce, sanction sévère, et méta-norme où un tiers sanctionne ceux qui ne sanctionnent pas la violation).
  • Format : 30 histoires textuelles et 30 bandes dessinées (comics) générées à partir de ces histoires (4 panneaux chacune).
• Tâche d'évaluation : Pour chaque histoire, les modèles devaient répondre à 8 questions (définies dans le Tableau 2 de l'article) couvrant l'identification de la norme, le sujet, la détection de l'adhésion/violation, la présence de sanctions, d'éloges et de méta-punitions.
• Référence de vérité (Ground Truth) : Établie par consensus entre les auteurs et validée par des évaluateurs externes, avec un score de Cohen's Kappa indiquant un accord presque parfait (>0.90).
• Analyse : Comparaison des réponses des modèles contre la vérité terrain, calcul de la précision, et analyse statistique (tests t appariés, Friedman, Nemenyi).

3. Contributions Clés

• Première évaluation multimodale des normes : C'est la première étude à évaluer spécifiquement la capacité de raisonnement sur les normes sociales des MLLM en intégrant à la fois des entrées textuelles et visuelles.
• Cadre d'évaluation nuancé : Introduction de variantes complexes incluant des méta-normes (normes régissant les sanctions), ce qui teste la capacité de raisonnement à plusieurs niveaux des modèles.
• Benchmark de modèles : Comparaison approfondie entre des modèles propriétaires (GPT-4o) et open-source/gratuits (Qwen-2.5VL), fournissant des données précieuses pour la communauté SMA.
• Validation rigoureuse : Utilisation de bandes dessinées générées par IA pour simuler la perception visuelle des robots, avec une validation humaine robuste.

4. Résultats Principaux

Les résultats sont présentés sous forme de boîtes à moustaches et d'analyses statistiques :

• Supériorité du texte sur l'image : Les modèles ont significativement mieux performé sur les histoires textuelles (Précision moyenne 95,33 %) que sur les images (Précision moyenne 83,58 %). Le test t apparié confirme cette différence (p < 0,001). Cela suggère que les capacités d'inférence textuelle des LLM actuels sont plus avancées que leur compréhension visuelle des contextes sociaux.
• Performance des modèles :
  • GPT-4o est le meilleur modèle dans les deux modalités (98,75 % en texte, 92,5 % en image).
  • Qwen-2.5VL se classe deuxième et est noté comme la meilleure alternative gratuite (97,5 % en texte, 85,41 % en image).
  • Meta LLaMa-4 Maverick a obtenu les scores les plus faibles, surtout en traitement d'images (76,66 %).
• Difficulté des méta-normes : Le raisonnement sur les méta-normes (Variante V5, où l'on sanctionne les non-sanctionneurs) s'est révélé être la tâche la plus difficile pour tous les modèles, avec une précision médiane de seulement 75 %. Les modèles ont mieux détecté les violations simples (Catégorie 2) que les adhésions (Catégorie 1) ou les méta-normes (Catégorie 3).
• Analyse par scénario : Les scénarios « Ne pas jeter de déchets » et « Frapper à la porte » ont été les mieux compris, tandis que « Céder sa place » a posé le plus de difficultés, probablement en raison de la difficulté à représenter visuellement l'action de « céder » dans une bande dessinée statique.

5. Signification et Implications

• Faisabilité pour les SMA : L'étude démontre que les MLLM, en particulier GPT-4o et Qwen-2.5VL, sont des composants fondamentaux viables pour développer des agents sociaux (robots, assistants) capables d'interpréter et de respecter les normes sociales à partir de données multimodales.
• Limites actuelles : La difficulté des modèles à traiter les méta-normes et les scènes visuelles complexes indique qu'il reste des défis à relever pour une intégration complète dans des environnements dynamiques réels.
• Perspectives futures : Les auteurs suggèrent d'étendre l'évaluation aux vidéos (avec audio), d'explorer le fine-tuning et le RAG (Retrieval-Augmented Generation) pour une spécialisation de domaine, et de tester ces modèles sur des robots physiques dans des interactions réelles pour valider leur capacité à gérer des normes implicites et culturellement contingentes.

En conclusion, bien que les MLLM montrent un potentiel remarquable pour le raisonnement social, leur capacité à comprendre les nuances visuelles et les structures normatives complexes (méta-normes) nécessite encore des améliorations avant un déploiement autonome complet dans des systèmes multi-agents critiques.