🤖 AI

Structural Ranking of the Cognitive Plausibility of Computational Models of Analogy and Metaphors with the Minimal Cognitive Grid

Ce papier applique le cadre de la Grille Cognitive Minimale pour évaluer et classer systématiquement la plausibilité cognitive des principaux modèles computationnels de l'analogie et de la métaphore, notamment SME, CogSketch, METCL et les LLM, en utilisant une approche quantitative formalisée fondée sur le rapport fonctionnel/structurel, la généralité et la correspondance des performances.

Auteurs originaux : Alessio Donvito, Antonio Lieto

Publié 2026-05-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Alessio Donvito, Antonio Lieto

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un juge dans une émission de talents, mais au lieu de chanteurs ou de danseurs, les candidats sont des programmes informatiques tentant de se comporter comme des penseurs humains. Plus précisément, ils essaient de résoudre des énigmes impliquant des analogies (comme « A est à B ce que C est à D ») et des métaphores (comme « Mon travail est une prison »).

Les auteurs de cet article, Alessio Donvito et Antonio Lieto, ont créé un système de notation spécial appelé la Grille Cognitive Minimale (MCG). Imaginez cette grille comme un tabouret à trois pieds. Pour qu'un ordinateur puisse s'asseoir confortablement sur ce tabouret et être considéré comme un modèle « cognitivement plausible » (c'est-à-dire qu'il pense comme un humain, et non pas qu'il ressemble simplement à un humain), il doit trouver l'équilibre sur ses trois pieds.

Voici comment fonctionnent les trois pieds, en utilisant des analogies simples :

Pied 1 : La Correspondance du Plan (Ratio Fonctionnel/Structural)

La Question : L'ordinateur construit-il sa réponse de la même manière que le cerveau humain, ou obtient-il simplement la bonne réponse par magie ?

L'Analogie : Imaginez deux personnes essayant de construire une niche pour oiseau.
- Personne A (Le Modèle Structural) : Utilise du bois, des clous et un marteau, en suivant exactement les mêmes étapes qu'un charpentier. Ils peuvent être lents, mais leur processus est semblable à celui d'un humain.
- Personne B (Le Modèle Fonctionnel) : Utilise une imprimante 3D ou une découpeuse laser. Ils obtiennent exactement la même niche, mais la machine à l'intérieur est totalement différente des mains d'un humain.
L'Affirmation de l'Article : Les auteurs soutiennent que pour qu'un ordinateur soit un bon modèle de la manière dont nous pensons, il doit utiliser l'approche « bois et clous » (structurelle).
- SME et CogSketch : Ce sont comme les charpentiers. Ils utilisent des règles spécifiques (comme « une chose se mappe à une chose ») qui imitent la façon dont les humains font des analogies. Ils obtiennent de bons scores ici.
- LLM (comme GPT-4) : Ce sont comme les imprimantes 3D. Ils sont incroyables pour fabriquer la niche (obtenir la bonne réponse), mais ils le font en devinant des modèles à partir d'une immense bibliothèque de livres, et non en suivant des étapes logiques semblables à celles des humains. Ils obtiennent des scores très bas ici car leur « machinerie interne » est étrangère à la pensée humaine.
- METCL : C'est un charpentier intermédiaire. Il utilise un ensemble différent de plans (se concentrant sur la catégorisation plutôt que sur la mise en correspondance), il obtient donc un score intermédiaire.

Pied 2 : Le Couteau Suisse (Généralité)

La Question : L'ordinateur peut-il effectuer de nombreux types de pensée différents, ou est-il un one-trick pony (un spécialiste d'une seule chose) ?

L'Analogie :
- Le Spécialiste : Un joueur d'échecs maître qui peut battre un grand maître mais ne peut pas nouer ses lacets ou cuire un œuf.
- Le Généraliste : Quelqu'un qui peut jouer aux échecs, cuisiner, conduire une voiture et résoudre des problèmes de mathématiques.
L'Affirmation de l'Article : Les auteurs examinent si ces systèmes peuvent gérer les mathématiques, les énigmes visuelles, le langage et même le mouvement physique (compétences sensorimotrices).
- LLM : Ce sont les Généralistes ultimes. Ils peuvent lire, écrire, faire des mathématiques et regarder des images. Ils obtiennent les scores les plus élevés ici.
- SME et CogSketch : Ce sont les Spécialistes. Ils sont excellents dans des énigmes logiques spécifiques (comme les motifs visuels) mais ne peuvent pas vraiment faire de mathématiques ou comprendre des phrases complexes. Ils obtiennent de faibles scores ici.
- METCL : Également un spécialiste, se concentrant principalement sur les métaphores linguistiques.

Pied 3 : Le Test du Miroir (Correspondance de Performance)

La Question : Lorsque l'ordinateur se trompe, commet-il le même type d'erreur qu'un humain ?

L'Analogie : Imaginez passer un examen.
- Si vous répondez mal à une question parce que vous avez mal compris le concept, c'est une erreur « humaine ».
- Si vous répondez mal parce que l'ordinateur a bugué ou a deviné au hasard, c'est une erreur « machine ».
- L'objectif est de voir si les « bugs » de l'ordinateur ressemblent à de la confusion humaine.
L'Affirmation de l'Article :
- SME et CogSketch : Ils excellent dans ce domaine. Lorsqu'ils échouent à une énigme visuelle (comme les Matrices Progressives de Raven), ils échouent sur les exactes mêmes énigmes difficiles qui posent problème aux humains. Ils prennent même un temps de réflexion similaire. Ils obtiennent des scores très élevés.
- LLM : Ils obtiennent souvent la bonne réponse, mais lorsqu'ils échouent, leurs erreurs semblent différentes de celles des humains. Ils peuvent se tromper à cause d'un léger changement de formulation qui ne dérouterait pas une personne. Ils obtiennent des scores plus bas ici.

Le Tableau des Scores Final

Les auteurs combinent ces trois scores pour déterminer qui remporte le titre de « Plausibilité Cognitive ». Ils ont décidé que le Pied 1 (Le Plan) est le plus important car l'objectif principal est de comprendre comment les humains pensent, et non pas simplement d'obtenir la bonne réponse.

Le Gagnant (Selon des règles strictes) : CogSketch et SME. Même s'ils sont des « one-trick ponies » (faible généralité), ils pensent comme des humains. Ce sont les meilleurs modèles pour étudier l'esprit humain.
Le Second : METCL. Il se situe au milieu, réalisant certaines choses semblables à l'humain, mais pas aussi de manière complète que les deux premiers.
La Boîte « Magique » : LLM (GPT-4, etc.). Ils sont incroyablement intelligents et polyvalents (généralité élevée), mais ils ne pensent pas comme des humains. Si vous voulez un outil pour résoudre des problèmes, ils sont excellents. Mais si vous voulez un modèle pour expliquer pourquoi les humains pensent comme ils le font, l'article indique qu'ils ne sont pas le meilleur choix.

La Grande Conclusion

L'article conclut que être « intelligent » (obtenir la bonne réponse) est différent d'être « cognitivement plausible » (penser comme un humain).

Les LLM sont comme un super-acteur qui peut mémoriser un script parfaitement et sonner exactement comme un humain, mais ils ne ressentent pas réellement les émotions.
SME/CogSketch sont comme un acteur de méthode qui ressent réellement les émotions et réfléchit à travers la logique du personnage, même s'il ne peut pas mémoriser autant de répliques.

Les auteurs ont construit cette grille pour aider les scientifiques à décider quel programme informatique est le meilleur « acteur de méthode » pour étudier l'esprit humain. Ils ont constaté que si les « super-acteurs » (LLM) sont impressionnants, les « acteurs de méthode » (SME/CogSketch) restent la référence pour comprendre les mécanismes de la pensée humaine.

Résumé technique : Classement structurel de la plausibilité cognitive des modèles computationnels de l'analogie et des métaphores avec la Grille Cognitive Minimale

Énoncé du problème
La création et l'interprétation des analogies et des métaphores sont fondamentales pour la compétence sémantique humaine. Bien que de nombreux modèles computationnels aient été proposés pour reproduire ces capacités, il manque des cadres systématiques et quantitatifs pour évaluer leur plausibilité cognitive — spécifiquement, la mesure dans laquelle leurs mécanismes internes s'alignent sur les processus cognitifs humains plutôt que de simplement produire des sorties fonctionnellement équivalentes. Les systèmes d'Intelligence Artificielle actuels, en particulier les Grands Modèles de Langage (LLM), atteignent souvent de hautes performances sur les tâches d'analogie mais opèrent via des mécanismes (par exemple, la reconnaissance de motifs statistiques) qui diffèrent fondamentalement de la cognition humaine. L'article répond au besoin d'une métrique standardisée pour distinguer les artefacts « fonctionnels » (qui imitent la sortie) des modèles « structurels » (qui imitent les mécanismes cognitifs internes), évaluant ainsi leur pouvoir explicatif en sciences cognitives.

Méthodologie : La Grille Cognitive Minimale (MCG)
Les auteurs emploient et opérationnalisent formellement la Grille Cognitive Minimale (MCG), un cadre proposé par Lieto (2021) pour classer les systèmes artificiels selon leur précision structurelle par rapport à des cibles biologiques ou cognitives. La méthodologie implique une évaluation quantitative selon trois dimensions distinctes :

Ratio Fonctionnel/Structurel (FSR) : Cette dimension évalue l'équilibre entre la réplication fonctionnelle (correspondance des sorties) et l'implémentation structurelle (correspondance des mécanismes). Les auteurs définissent une métrique, $FSRM$, basée sur un ensemble de contraintes structurelles dérivées de deux théories cognitives principales :
- Théorie de la Mise en Correspondance Structurelle (SMT) : Les contraintes incluent la mise en correspondance un-à-un, la connectivité parallèle, la systématicité (préférence pour des structures relationnelles interconnectées) et la projection inférentielle.
- Théorie de la Catégorisation de la Métaphore (CTM) : Les contraintes incluent la catégorisation (interpréter les métaphores comme des énoncés d'inclusion de classe) et la sélection de propriétés (transférer des caractéristiques saillantes).
  Les modèles sont notés selon qu'ils implémentent ces mécanismes structurellement ( $s_i=1$ ) ou simplement fonctionnellement ( $s_i=0$ ), pondérés par l'importance théorique de chaque contrainte.
Généralité (GM) : Cette dimension évalue l'étendue des fonctions cognitives qu'un modèle peut simuler, fondée sur la taxonomie Cattell-Horn-Carroll (CHC) des capacités cognitives humaines. Les auteurs évaluent les modèles sur cinq domaines : Connaissances Quantitatives, Raisonnement Fluide, Traitement Visuel, Connaissances Linguistiques/Verbales, et Capacités Sensorielles/Motrices. Des scores sont attribués en fonction d'une couverture complète (1), partielle (0,5) ou absente (0), avec un schéma de pondération spécifique qui met l'accent sur l'importance des capacités sensorielles/motrices dans la cognition incarnée.
Adéquation des Performances (PMM) : Cette dimension quantifie l'alignement entre le comportement du modèle et le comportement humain, considérant non seulement la précision mais aussi les schémas d'erreurs et les temps de réponse. Le score est une somme pondérée de :
- Delta de Précision : L'écart par rapport à la performance de référence humaine.
- Schémas d'Erreurs : Si le modèle reproduit la distribution des erreurs humaines (par exemple, échouer sur les mêmes items difficiles).
- Temps de Réponse : La similarité de la latence d'exécution par rapport aux temps de réaction humains.

Contributions clés

Opérationnalisation formelle : L'article fournit une opérationnalisation mathématique rigoureuse de la MCG, transformant des distinctions théoriques qualitatives en scores quantitatifs ($FSRM$, $GM$, $PMM$) permettant une comparaison directe d'architectures d'IA disparates.
Métrique unifiée de plausibilité cognitive (CPM) : Les auteurs introduisent un score composite, $CPM = \lambda \cdot FSR'_M + \mu \cdot GM + \nu \cdot PMM$ , qui intègre les trois dimensions. Ils proposent un schéma de pondération ( $\lambda=0,5, \mu=0,25, \nu=0,25$ ) qui privilégie la fidélité structurelle, arguant que le pouvoir explicatif en sciences cognitives dépend principalement de l'alignement des mécanismes internes avec la théorie humaine.
Analyse comparative systématique : Le cadre est appliqué à quatre classes distinctes de systèmes :
- SME (Structure-Mapping Engine) et CogSketch : Systèmes symboliques basés sur la SMT.
- METCL : Un modèle logique pour la génération de métaphores basé sur la CTM.
- LLM : Incluant GPT-3.5, GPT-4 et GPT-4o.

Résultats
L'évaluation produit des profils distincts pour chaque système :

SME et CogSketch : Atteignent les plus hauts Scores Structurels ( $FSR'_M \approx 0,606$ ) grâce à leur implémentation explicite des contraintes SMT (mise en correspondance un-à-un, systématicité). Ils démontrent également la plus haute Adéquation des Performances ( $PMM \approx 0,923$ ) sur les Matrices Progressives de Raven, reproduisant la précision humaine et les schémas d'erreurs. Cependant, ils obtiennent des scores très bas en Généralité ( $GM \approx 0,063–0,125$ ) car ils manquent de capacités en raisonnement quantitatif, traitement du langage et tâches sensori-motrices.
METCL : Occupe une position intermédiaire. Il obtient un score modéré en Fidélité Structurelle ( $FSR'_M \approx 0,407$ ) en implémentant les contraintes CTM (catégorisation, sélection de propriétés) mais manque de contraintes structurelles basées sur la SMT. Sa Généralité est limitée ( $GM \approx 0,125$ ) et l'Adéquation des Performances est modérée ( $PMM \approx 0,714$ ).
LLM : Présentent la plus haute Généralité ( $GM \approx 0,500–0,800$ ), couvrant les domaines quantitatif, fluide, visuel et linguistique. Cependant, ils montrent une très faible Fidélité Structurelle ( $FSR'_M \approx 0,109$ ), échouant à implémenter les contraintes SMT comme la systématicité ou la mise en correspondance un-à-un dans un sens mécaniste. Leur Adéquation des Performances est mitigée ( $PMM \approx 0,578$ ), montrant souvent une haute précision mais des schémas d'erreurs divergents (par exemple, échouer sur des tâches riches en leurres où les humains réussissent) et manquant de données d'alignement temporel.

Sous le schéma de pondération non égal proposé (priorisant la plausibilité structurelle), CogSketch et SME se classent premiers en plausibilité cognitive globale. Sous un schéma de pondération égal, les LLM surpassent METCL en raison de leur supériorité en généralité, un résultat que les auteurs décrivent comme « paradoxal » compte tenu du manque de contraintes inspirées cognitivement chez les LLM.

Signification et affirmations
L'article affirme que la MCG offre un « plan » pour une comparaison généralisable et reproductible des systèmes d'IA basée sur leur plausibilité biologique ou cognitive, plutôt que sur leur simple sortie fonctionnelle.

Pouvoir explicatif : Les auteurs soutiennent que le Ratio Fonctionnel/Structurel est la dimension critique pour les sciences cognitives car il évalue si le succès d'un modèle est ancré dans des mécanismes pertinents pour le phénomène (par exemple, la mise en correspondance relationnelle) plutôt que dans une généralisation statistique.
Distinction par rapport au béhaviorisme : Le cadre vise à éviter un « béhaviorisme renouvelé » en pénalisant les systèmes qui atteignent une performance de niveau humain via des processus internes non humains.
Évolutivité : La méthodologie est présentée comme un outil évolutif pour évaluer les générations actuelles et futures d'IA, fournissant un langage de mesure commun à travers les architectures symboliques, sub-symboliques et hybrides.
Limites : Les auteurs reconnaissent modestement des limites, notamment la disponibilité inégale des données de référence (les LLM sont testés sur plus de jeux de données que SME/CogSketch), l'absence de données de temps de réponse pour certains systèmes, et le fait que les poids des contraintes sont actuellement basés sur la pertinence théorique plutôt que sur une dérivation axée sur les données. Ils suggèrent que les travaux futurs devraient se concentrer sur l'expansion des jeux de données et le raffinement des schémas de pondération pour étendre davantage la généralisabilité du cadre.