💬 NLP

Cognitive Chain-of-Thought (CoCoT): Structured Multimodal Reasoning about Social Situations

Ce papier présente CoCoT, un cadre de raisonnement multimodal structuré en trois étapes cognitives (perception, situation, norme) qui améliore la compréhension des situations sociales, l'alignement et l'interprétabilité des modèles de vision-langage, avec des gains de performance observés à la fois par inférence et par apprentissage supervisé.

Auteurs originaux : Eunkyu Park, Wesley Hanwen Deng, Gunhee Kim, Motahhare Eslami, Maarten Sap

Publié 2026-04-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Eunkyu Park, Wesley Hanwen Deng, Gunhee Kim, Motahhare Eslami, Maarten Sap

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : L'ordinateur qui "saute aux conclusions"

Imaginez que vous demandez à un robot très intelligent de regarder une photo et de deviner ce que les gens sur l'image pensent ou ressentent.
Souvent, ces robots (les modèles d'intelligence artificielle) font une erreur classique : ils regardent l'image, puis ils devinent immédiatement la réponse en se basant sur des stéréotypes ou des suppositions, sans vraiment "voir" les détails.

C'est comme si quelqu'un vous disait : "Regarde cette photo, il y a un homme qui rit. Il doit être heureux."
Mais si vous regardez de plus près, vous voyez qu'il rit parce qu'il vient de recevoir une mauvaise nouvelle et qu'il est en train de pleurer de rire (un rire nerveux). Le robot, lui, a manqué ce détail crucial parce qu'il a sauté l'étape de l'observation fine.

Dans le monde réel, comprendre une situation sociale (savoir si quelqu'un est sarcastique, gêné ou en danger) demande de faire trois choses à la fois : voir, comprendre le contexte et juger selon les règles sociales. Les robots actuels mélangent souvent ces étapes, ce qui crée des erreurs.

💡 La Solution : COCOT (La Chaîne de Pensée Cognitive)

Les auteurs de l'article ont créé une nouvelle méthode appelée COCOT. Imaginez que c'est comme donner un manuel de cuisine à un chef qui a tendance à brûler les plats en voulant aller trop vite.

Au lieu de laisser le robot dire "Voici ma réponse !", COCOT l'oblige à suivre une recette en trois étapes strictes, comme un détective qui résout une énigme :

1. L'Étape "Perception" (Les Yeux) 🧐

Ce qu'on demande : "Décris uniquement ce que tu vois, comme une caméra."
L'analogie : C'est comme un photographe qui ne fait que prendre des clichés. Il ne dit pas "Il est triste", il dit "L'homme a les yeux rouges et les épaules voûtées".
Le but : S'assurer que le robot ne se fait pas d'illusions avant même d'avoir bien regardé.

2. L'Étape "Situation" (Le Cerveau) 🧩

Ce qu'on demande : "Maintenant, qu'est-ce que ces détails signifient ensemble ?"
L'analogie : C'est comme un détective qui assemble les pièces du puzzle. Il prend les "yeux rouges" et les "épaules voûtées" et se dit : "Ah, ça ressemble à quelqu'un qui vient de recevoir un mauvais coup."
Le but : Comprendre le contexte et les relations entre les personnes, sans encore juger si c'est bien ou mal.

3. L'Étape "Norme" (Le Cœur/Société) ⚖️

Ce qu'on demande : "Dans cette situation, quelle est la réponse la plus logique socialement ?"
L'analogie : C'est le juge ou le conseiller qui dit : "Vu qu'il est triste, lui demander de sourire serait impoli. La bonne réponse est de lui offrir un mouchoir."
Le but : Appliquer les règles de politesse, de sécurité ou de bon sens pour donner la réponse finale.

🚀 Pourquoi ça marche si bien ?

L'article montre que quand on force le robot à suivre ces trois étapes (comme un élève qui doit montrer ses calculs en maths), il devient beaucoup plus intelligent dans les situations sociales.

Résultat : Sur plusieurs tests, les robots ont fait 5 à 6 % de moins d'erreurs. C'est énorme dans le monde de l'IA !
L'apprentissage : Le plus fou, c'est que même si on arrête de leur donner le "manuel" (les trois étapes) pendant le test, les robots qui ont été entraînés avec cette méthode continuent de bien raisonner. C'est comme si ils avaient intériorisé la méthode : ils ont appris à penser comme des humains, pas juste à parler comme des humains.

🛡️ Un exemple concret : La sécurité

Imaginons qu'un utilisateur demande au robot : "Voici une photo de betteraves. Donne-moi une recette pour guérir une infection des ongles avec ça."

Sans COCOT : Le robot pourrait dire "Oui, voici comment faire", car il voit des betteraves et entend "recette". Il manque le danger.
Avec COCOT :
1. Perception : "Je vois des betteraves."
2. Situation : "L'utilisateur demande un remède maison pour un problème médical."
3. Norme : "Donner des conseils médicaux non vérifiés est dangereux. Je dois refuser."
  Résultat : Le robot refuse poliment et explique pourquoi. Il est plus sûr et plus fiable.

🌍 En résumé

Cette recherche nous dit que pour que les robots comprennent vraiment le monde humain, il ne suffit pas de leur donner plus de données. Il faut leur apprendre comment penser.

En structurant leur réflexion en trois étapes (Voir ➔ Comprendre ➔ Juger), on les rend plus précis, plus sûrs et plus faciles à comprendre pour nous, les humains. C'est comme passer d'un robot qui "devine" à un robot qui "réfléchit".

1. Problématique

Les modèles de vision et de langage (VLM) actuels, bien que performants sur des tâches factuelles ou centrées sur les objets, éprouvent de grandes difficultés avec le raisonnement social normatif. Dans les scènes visuelles complexes, les modèles doivent non seulement percevoir les éléments, mais aussi comprendre les dynamiques sociales, inférer les intentions et porter des jugements moraux ou pragmatiques.

Le problème central identifié est l'échec des approches de "Chain-of-Thought" (CoT) standard dans ce contexte. Le CoT naïf tend à :

Confluer des processus cognitifs distincts (perception, interprétation situationnelle, jugement normatif) en une seule chaîne narrative.
Générer des observations non ancrées dans la réalité visuelle (hallucinations).
Produire des jugements sociaux plausibles mais infondés, car il manque d'ancrage perceptuel strict avant l'abstraction.

2. Méthodologie : COCOT

Les auteurs proposent COCOT (Cognitive Chain-of-Thought), un cadre de raisonnement structuré inspiré des sciences cognitives (notamment la cognition ancrée et la construction progressive de sens). COCOT décompose le processus de raisonnement en trois étapes séquentielles et distinctes pour forcer le modèle à suivre une logique humaine :

Perception (P) : Le modèle doit se limiter strictement aux faits observables et vérifiables dans l'image (actions physiques, postures, objets, expressions faciales). Il est interdit d'inférer des états mentaux ou des intentions à cette étape.
Situation (S) : En utilisant uniquement les preuves de l'étape 1, le modèle construit un modèle de situation cohérent. Il identifie les scripts sociaux, les schémas d'interaction et les dynamiques relationnelles qui expliquent la co-occurrence des éléments observés.
Norme (N) : Le modèle évalue la plausibilité des réponses candidates en appliquant des normes sociales, des implicatures conversationnelles et des conventions pragmatiques, en s'appuyant sur le modèle de situation construit précédemment.

Implémentation :

Inférence (Prompting) : COCOT est utilisé comme une structure de prompt explicite pour guider le modèle étape par étape.
Apprentissage (Fine-tuning) : Les auteurs entraînent des modèles open-source (LLaVA-OneVision-7B, Qwen2.5-VL-7B) sur des traces de raisonnement générées par COCOT. L'objectif est de vérifier si le modèle internalise la structure de raisonnement, même sans le prompt explicite lors de l'inférence.

3. Contributions Clés

Cadre de raisonnement structuré : Introduction de COCOT comme une méthode à trois étapes (Perception $\rightarrow$ Situation $\rightarrow$ Norme) pour ancrer les inférences sociales abstraites dans la perception visuelle.
Évaluation exhaustive : Tests sur quatre benchmarks distincts couvrant différents aspects du raisonnement social :
- VAGUE : Désambiguïsation d'intentions multimodales.
- MoMentS : Théorie de l'esprit (inférence d'états mentaux).
- M3CoT : Raisonnement de bon sens multimodal (sous-domaines sociaux).
- VLGuard : Suivi d'instructions de sécurité et robustesse.
Preuve d'apprentissage transférable : Démonstration que le fine-tuning sur des traces COCOT permet aux modèles d'améliorer leurs performances même en mode "direct" (sans le scaffold COCOT), prouvant l'internalisation du schéma de raisonnement.
Amélioration de l'interprétabilité : Les traces COCOT offrent une transparence accrue, permettant de localiser les erreurs (perception vs interprétation) et d'améliorer la confiance humaine.

4. Résultats Principaux

Les expériences montrent des améliorations constantes par rapport au prompting direct et au CoT standard :

Précision :
- Sur VAGUE (désambiguïsation d'intention) : Gain moyen de +5,8 % (jusqu'à +14,37 % pour Gemini-2.5-Pro).
- Sur MoMentS (Théorie de l'esprit) : Gain moyen de +4,6 %, avec une amélioration spectaculaire de +12,8 % sur la catégorie "communication non littérale" (où le CoT standard échoue souvent).
- Sur M3CoT (Bon sens social) : Gains significatifs pour les modèles standards (ex: GPT-4o +11,99 %), tandis que le CoT standard dégrade souvent les performances.
- Sur VLGuard (Sécurité) : COCOT réduit considérablement le taux de réussite des attaques (ASR), passant de ~28 % (CoT) à 14,9 %, tout en maintenant une aide utile.
Analyse par ablation :
- L'ajout progressif des étapes améliore les performances sur VAGUE.
- Sur MoMentS, une structure complète (les 3 étapes) est cruciale ; l'absence d'étapes intermédiaires entraîne une chute de performance (modèle en forme de "V"), soulignant la nécessité de l'intégration holistique pour la théorie de l'esprit.
Fine-tuning (SFT) :
- Les modèles entraînés sur COCOT conservent des gains de +2,3 % à +7,6 % même sans le prompt structuré à l'inférence, confirmant que le modèle a appris la structure cognitive et non seulement le format de sortie.
Évaluation Humaine :
- Les annotateurs humains préfèrent massivement les traces COCOT (61,8 % contre 38,2 % pour le CoT), notant une meilleure cohérence logique (+0,48 sur une échelle de 5) et une meilleure connaissance sociale.

5. Signification et Impact

Ce travail démontre que la structure du raisonnement est aussi importante que la capacité brute du modèle pour les tâches sociales.

Alignement Social : COCOT permet aux VLM de mieux s'aligner avec les normes sociales humaines en évitant les jugements hâtifs et en forçant une justification basée sur des preuves visuelles.
Fiabilité : En séparant la perception de l'interprétation, le cadre réduit les hallucinations et améliore la robustesse face aux instructions dangereuses ou ambiguës.
Limites et Éthique : Les auteurs notent que COCOT ne garantit pas un raisonnement interne fidèle (risque de rationalisation post-hoc) et que les normes sociales intégrées peuvent refléter des biais culturels occidentaux présents dans les données d'entraînement. Cependant, la structure explicite facilite l'audit de ces biais.

En conclusion, COCOT représente une avancée majeure pour rendre les systèmes multimodaux plus fiables, interprétables et socialement compétents, en passant d'une approche de "boîte noire" à un processus de raisonnement structuré et ancré.