Quantification and object perception in Multimodal Large Language Models and human linguistic cognition

Titre de l'étude

Quantification et perception des objets dans les grands modèles de langage multimodaux (MLLM) et la cognition linguistique humaine.

1. Problématique et Contexte

La quantification est un phénomène linguistique complexe qui relie le sens, la logique, la pragmatique et la cognition numérique. Bien que les Grands Modèles de Langage (LLM) et Multimodaux (MLLM) excellent dans de nombreuses tâches, ils éprouvent des difficultés notables à maîtriser la quantification, tant dans des tâches visuelles que textuelles.

Les raisons exactes de ces échecs restent floues. La littérature existante n'a pas encore exploré systématiquement trois aspects clés de la quantification humaine partagés cross-linguistiquement :

1. L'organisation en échelles lexicales : La hiérarchie implicite entre les quantificateurs (ex: quelques < certains < beaucoup < la plupart).
2. Les plages d'usage et la prototypicalité : Les seuils contextuels et les valeurs centrales (modes) associés à chaque quantificateur.
3. Les biais du système de nombre approximatif : Les distorsions cognitives humaines liées à la densité, l'espace et la taille des objets lors de l'estimation de quantités.

L'étude vise à déterminer comment ces caractéristiques sont encodées dans l'architecture des modèles, comment elles diffèrent de la cognition humaine, et si ces performances varient selon le type de modèle (modèles de "réflexion" vs modèles d'"instruction") et la langue cible.

2. Méthodologie

Participants et Modèles :

• Humains : 240 participants recrutés via Prolific, répartis équitablement dans six langues (Anglais, Grec, Russe, Espagnol, Italien, Catalan).
• Modèles (MLLM) : Cinq modèles ont été testés via API, divisés en deux catégories :
  • Modèles d'instruction (Généraux) : GPT-4o, Gemma 3, Molmo 2.
  • Modèles de "réflexion" (Thinking/Reasoning) : o4-mini, GLM-4.6V-thinking (entraînés avec Renforcement Learning sur des problèmes vérifiables pour générer des chaînes de pensée).

Tâche Expérimentale :
Les participants (humains et modèles) ont été exposés à des stimuli visuels générés par ordinateur (carrés noirs et cercles blancs sur un canevas) contenant un nombre variable de carrés (N) et de cercles (100-N).
Pour chaque image, ils devaient :

1. Choisir le quantificateur le plus approprié parmi une liste : un peu, certains, beaucoup, la plupart (traduits dans les 6 langues).
2. Estimer la proportion approximative de carrés (par tranches de 10%).

Contrôles :

• Les images étaient générées aléatoirement pour éviter les biais de position.
• La température des modèles était fixée à 0 pour maximiser la cohérence numérique.
• Les traductions des quantificateurs ont été validées par des locuteurs natifs et la littérature linguistique pour garantir l'équivalence sémantique et pragmatique (implicatures scalaires).

3. Résultats Clés

A. Système de nombre approximatif (Estimation des proportions)

• Humains : Montrent une grande précision dans l'estimation des proportions.
• Modèles de réflexion (Thinking) : Surpassent les modèles d'instruction et se rapprochent davantage des performances humaines, bien qu'ils tendent encore à sous-estimer légèrement les proportions élevées (>50%).
• Modèles d'instruction : Tendent à sous-estimer significativement les proportions de carrés noirs lorsque celles-ci dépassent 50%.
• Conclusion : Les modèles de réflexion possèdent de meilleures capacités de numérosité, ce qui suggère que leurs erreurs de quantification ne proviennent pas uniquement d'une mauvaise estimation visuelle.

B. Production de quantificateurs et échelles lexicales

• Ordre des échelles : Les données humaines confirment l'échelle standard < *un peu, certains, beaucoup, la plupart* >.
  • Les modèles de réflexion respectent globalement cet ordre, mais montrent des variations inter-langues et inter-modèles non observées chez l'humain (ex: GLM-4.6V utilise rarement "beaucoup" par rapport à "certains").
  • Les modèles d'instruction échouent souvent à respecter cet ordre hiérarchique. Par exemple, dans certains cas, "la plupart" est utilisé pour des proportions inférieures à "beaucoup", violant les définitions ensemblistes.
• Définitions ensemblistes : Les modèles d'instruction ne respectent pas les définitions logiques strictes (ex: "la plupart" devrait impliquer >50%, mais les modèles l'utilisent sur une large gamme de proportions).

C. Plages d'usage et Prototypicalité

• Modes (Valeurs prototypiques) :
  • Pour les humains, le mode de "la plupart" se situe entre 91% et 100%.
  • Pour les modèles (réflexion et instruction), ce mode chute drastiquement à 51%-70%.
• Intervalles Interquartiles (IQR) : Les modèles affichent des plages d'usage soit beaucoup plus larges, soit beaucoup plus étroites que celles des humains. Par exemple, pour "beaucoup", les humains ont un IQR de 40 (40%-80%), tandis que les modèles de réflexion ont un IQR de 20 (30%-50%).
• Significativité Statistique : Des régressions multinomiales confirment que les différences entre humains et modèles sont statistiquement significatives pour tous les types de modèles et toutes les langues. Les quantificateurs "beaucoup" et "certains" sont particulièrement problématiques pour les modèles.

D. Impact de la Langue

• Aucune langue n'a permis aux modèles de reproduire parfaitement le comportement humain.
• L'anglais n'est pas la langue où les modèles performent le mieux (contre-intuitif par rapport à la littérature habituelle).
• Les langues romanes testées (Espagnol, Italien, Catalan) ne montrent pas de pattern commun, suggérant que les modèles n'ont pas de représentation conceptuelle centralisée pour la quantification, mais plutôt des représentations spécifiques à chaque langue.

4. Contributions Clés

1. Analyse Multidimensionnelle : Première étude à examiner simultanément l'estimation numérique, l'organisation en échelles lexicales et les valeurs prototypiques dans les MLLMs.
2. Comparaison Architecturale : Mise en évidence de la supériorité des modèles de "réflexion" (entraînés au raisonnement) sur les modèles d'instruction pour les tâches numériques et d'organisation des échelles, tout en montrant que l'entraînement RL ne suffit pas à capturer la pragmatique humaine (seuils contextuels).
3. Perspective Cross-Linguistique : Démonstration que les difficultés de quantification sont robustes à travers des familles linguistiques diverses (germanique, romane, slave, hellénique) et que les modèles ne généralisent pas les règles sémantiques comme le font les humains bilingues/multilingues.
4. Diagnostic des Limites : Identification précise que le problème ne réside pas seulement dans la reconnaissance d'objets, mais dans l'encodage sémantique et pragmatique des quantificateurs, en particulier pour les termes à seuil variable ("beaucoup", "certains").

5. Signification et Implications

Cette étude remet en question la nature des MLLMs en tant qu'agents sémantiques et pragmatiques authentiques.

• Limites de l'approche distributionnelle : Les résultats suggèrent que l'apprentissage basé sur les motifs statistiques distributionnels (le cœur des LLM) est insuffisant pour capturer la logique ensembliste et les inférences pragmatiques (implicatures scalaires) qui régissent la quantification humaine.
• Gap Cognitif : Même les modèles les plus avancés ("thinking") échouent à modéliser la variabilité intra-locuteur et les seuils contextuels flexibles propres à la cognition humaine.
• Futur de la recherche : Pour que les MLLMs atteignent une compréhension linguistique profonde, ils devront probablement intégrer des mécanismes de raisonnement explicite sur les nombres et des modèles pragmatiques probabilistes (type inférence bayésienne) au-delà de la simple prédiction de tokens.

En résumé, bien que les MLLMs puissent imiter certaines structures de surface, ils manquent encore de la "cognition de la quantité" fondamentale qui permet aux humains de naviguer fluidement entre le nombre, la proportion et le langage.