Résumé technique : Contraintes linguistiques sur les inférences inductives des modèles de langage

Énoncé du problème

La cognition humaine repose sur la capacité à faire des inférences inductives sur les catégories, un processus fortement contraint par la forme linguistique des propositions. La recherche développementale (Gelman et al., 2002) a établi que les humains différencient trois types d'énoncés lorsqu'ils étendent des propriétés nouvelles aux membres d'une catégorie :

1. Quantificateurs universels : « Tous les ours sont daxables. »
2. Énoncés génériques : « Les ours sont daxables. » (Pluriels nus)
3. Quantificateurs indéfinis : « Certains ours sont daxables. »

Les humains présentent un comportement inductif gradué constant : TOUS > GÉNÉRIQUE > CERTAINS. Si les contraintes logiques de « tous » et « certains » sont claires, le statut des génériques est théoriquement complexe ; ils désignent des généralisations de type loi, robustes aux contre-exemples, mais ne sont pas explicitement marqués dans le langage.

Le problème central abordé dans cet article est de savoir si les apprenants statistiques à usage général, spécifiquement les modèles de langage visuel (VLM), possèdent la capacité de distinguer ces types de propositions de manière analogue aux humains. Plus précisément, les VLM modulent-ils leurs inférences inductives en fonction de subtiles indices linguistiques (quantificateurs vs génériques) plutôt qu'en se basant simplement sur des différences de forme de surface ?

Méthodologie

L'étude reproduit le design expérimental de Gelman et al. (2002) en utilisant des VLM, structuré en trois expériences séquentielles pour garantir des comparaisons « équitables entre espèces ».

1. Tests de précondition

Avant de tester le raisonnement inductif, les auteurs ont vérifié que les modèles candidats satisfaisaient deux présuppositions de base :

• Identification de catégorie : Les modèles ont été testés sur leur capacité à identifier de manière robuste la présence ou l'absence de catégories spécifiques dans des images. En utilisant le jeu de données THINGS, les modèles ont été interrogés avec des échantillons positifs et négatifs (basés sur la similitude, taxonomiques et aléatoires).
• Sensibilité aux quantificateurs : Un nouveau benchmark d'inspiration développementale a été créé pour tester si les modèles comprennent la portée de « tout » par rapport à « certains ». Cela impliquait 6 conditions sur deux modalités (Vision + Langage et Langage seul), faisant varier le contexte (tout/certains), la cible du quantificateur (tout/certains) et la proportion d'entités satisfaisant la propriété.

2. Expérience d'inférence inductive

Seuls les modèles satisfaisant solidement les tests de précondition (spécifiquement Qwen3-VL 4B et 8B) ont été utilisés pour l'expérience principale.

• Stimuli : Les modèles se sont vu présenter des prémisses attribuant une propriété nouvelle (utilisant des mots non-lexicaux comme « daxable » ou des termes pseudo-scientifiques comme « hormone T9 ») à une catégorie. Les prémisses variaient selon le type de proposition : Tous, Certains, ou Générique (pluriel nu).
• Tâche : On a demandé aux modèles de déterminer si un membre spécifique de la catégorie (présenté via une image ou une phrase possessive comme « mon ours ») possédait la propriété nouvelle.
• Mesure : La probabilité relative d'une réponse « Oui » ($p_{rel}(Oui)$) a été calculée pour mesurer la force de la généralisation inductive.

3. Analyse de représentation post-hoc

Pour déterminer si les différences de comportement provenaient de la reconnaissance de la forme de surface ou de contraintes sémantiques plus profondes, les auteurs ont analysé les représentations vectorielles internes des modèles.

• Contrôle : Ils ont introduit des variations de forme de surface (par exemple, associer « tout » avec « chaque », « certains » avec « certains » et les génériques avec des articles indéfinis comme « un ours ») pour s'assurer que le regroupement n'était pas uniquement piloté par la similitude lexicale.
• Analyse : Une analyse en composantes principales (PCA) a été effectuée sur les états cachés des prémisses à travers diverses couches du modèle Qwen3-VL-8B.

Résultats clés

1. Performance des préconditions

• Identification de catégorie : La plupart des VLM ont obtenu une grande précision sur les échantillons positifs mais ont éprouvé des difficultés avec les échantillons négatifs basés sur la similitude. Qwen2.5-VL-7B et Qwen3-VL-8B ont montré la plus haute précision conjointe.
• Sensibilité aux quantificateurs : Les modèles ont généralement bien performé sur les conditions « Certains/Certains ». Cependant, la performance sur les conditions « Tout » a montré une variation dépendante de la modalité, de nombreux modèles peinant dans le domaine Vision + Langage. Seuls Qwen3-VL 4B et 8B ont démontré une précision quasi parfaite à travers toutes les conditions et modalités, les qualifiant pour l'expérience principale.

2. Comportement d'inférence inductive

Les VLM sélectionnés (Qwen3-VL 4B et 8B) ont présenté un alignement comportemental avec les données humaines :

• Généralisation graduée : La probabilité d'étendre une propriété à une instance spécifique suivait le schéma : TOUS > GÉNÉRIQUE > CERTAINS.
• Indépendance de la modalité : Ce schéma s'est maintenu à travers les modalités Vision + Langage et Langage seul, suggérant une représentation générale de ces contraintes.
• Effets d'animacité : La prémisse « Générique » a produit des probabilités de généralisation plus faibles pour les catégories inanimées par rapport aux catégories animées, s'alignant sur les observations linguistiques selon lesquelles les génériques sont plus fréquemment appliqués aux animés.

3. Représentations internes

La PCA des états cachés des modèles a révélé que :

• Les propositions n'étaient pas regroupées uniquement par forme de surface (par exemple, « tout » et « chaque » ne restaient pas distincts de « certains » et « certains » sur la seule base des différences lexicales).
• Au lieu de cela, les représentations s'organisaient selon les contraintes inductives. Dans les couches intermédiaires (ex: couche 18), les propositions quasi-synonymes (ex: « tout » vs « chaque ») devenaient entremêlées, tandis que les propositions ayant des portées inductives différentes (Tout vs Certains vs Générique) se séparaient.
• Cette organisation suggère que les modèles représentent la signification des propositions concernant leur portée de généralisation, plutôt que simplement leur surface lexicale.

Principales contributions

1. Alignement comportemental : L'article fournit la preuve que les VLM peuvent distinguer les propositions universelles, génériques et indéfinies d'une manière cohérente avec le raisonnement inductif humain (Gelman et al., 2002).
2. Représentation des contraintes : Il démontre que ces distinctions sont encodées dans l'espace de représentation interne des modèles sur la base des contraintes inductives, et non simplement par des similitudes de forme de surface.
3. Benchmark développemental : Les auteurs publient un nouveau benchmark pour tester les VLMs sur le « tout » et le « certain » dans les modalités de langage et de vision + langage, comblant une lacune dans la littérature existante qui se concentre souvent sur les quantificateurs vagues.
4. Focus sur la forme de surface : Contra�à les travaux précédents se concentrant sur le contenu conceptuel, cette étude isole l'effet des changements de forme de surface (quantificateurs) tout en maintenant le contenu conceptuel constant.

Signification et affirmations

Les auteurs affirment que leurs résultats suggèrent que les VLMs organisent les propositions de manières qui reflètent les contraintes cognitives humaines concernant l'inférence inductive. Cela est significatif car les génériques constituent historiquement un « casse-tête » pour les linguistes et les spécialistes de la cognition en raison de leur absence de marquage explicite et de leur sémantique complexe.

L'article cadre modestement sa contribution comme l'établissement d'un alignement comportemental entre les VLMs et les humains. Il ne prétend pas que les modèles possèdent une cognition humaine ou que les modèles « comprennent » les génériques au sens philosophique. Au lieu de cela, il postule que si deux systèmes (humains et VLMs) résolvent un problème difficile (distinguer les contraintes inductives) en satisfaisant des contraintes fonctionnelles similaires, leurs solutions peuvent être similaires de manières fonctionnellement pertinentes (invoquant le « principe de contravariance »).

Les auteurs concluent qu'une analyse mécaniste supplémentaire des (V)LM pourrait aider à éclairer l'acquisition et le traitement des énoncés génériques, offrant une perspective computationnelle sur un problème de longue date en psychologie cognitive du langage. Ils notent explicitement les limites, incluant l'absence de preuve causale, la disparité d'échelle de données d'entraînement entre les modèles et les humains, ainsi que la nature monolingue (anglais) de l'étude.