💬 NLP

Focus particles and scalar inferences across humans and language models

Cet article examine si les humains et les grands modèles de langage génèrent des jugements scalaires cohérents pour des particules de focalisation comme « même » et « seulement », constatant que bien que leurs résultats s'alignent souvent, ils reposent probablement sur des mécanismes sous-jacents fondamentalement différents.

Auteurs originaux : Catherine M. Brousse, Nelu D. Radpour

Publié 2026-08-11

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Catherine M. Brousse, Nelu D. Radpour

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre comment un cerveau — ou un ordinateur super intelligent — décide de la signification de quelque chose. Les scientifiques se demandent depuis longtemps si nos cerveaux traitent les mots comme des objets physiques que l'on peut déplacer dans l'espace, ou s'ils les traitent plutôt comme des signaux émotionnels. Pensez-y de cette façon : quand vous entendez un mot qui signifie « bien », est-ce que vous pensez automatiquement à « droite » ou « haut », et quand vous entendez « mal », est-ce que vous pensez à « gauche » ou « bas » ? Cette idée est appelée « codage spatial », et elle suggère que nos esprits pourraient être comme une carte où le sens est dessiné avec des flèches. Mais il existe une autre idée : peut-être que nos cerveaux regardent simplement le sentiment du mot (est-il positif ou négatif ?) et ignorent totalement la carte. C'est la vision « évaluative ». Comprendre laquelle de ces visions est vraie est important, car cela nous aide à déterminer si l'intelligence artificielle pense comme nous, ou si elle est juste un très bon imitateur qui ne « ressent » pas réellement les choses comme nous le faisons.

Dans cette étude, les chercheuses Catherine Brousse et Nelu Radpour ont décidé de mettre cela à l'épreuve en utilisant deux « cerveaux » très différents : un groupe de 108 volontaires humains et un modèle de langage massif appelé Llama 3.3 70B. Elles ont utilisé un type spécial de tour de mots appelé « particules de focalisation ». Vous savez, ces petits mots comme « même » et « seulement » qui changent l'ambiance d'une phrase sans changer les faits principaux ? Par exemple, dire « Mike peut même faire un gâteau » donne l'impression que faire un gâteau est une surprise ou un niveau de base, tandis que « Mike peut seulement faire un gâteau » donne l'impression qu'il n'a pas d'autres compétences, ce qui est un jugement très spécifique et limitatif. Les chercheuses voulaient voir si changer la disposition des choix de réponses changerait la façon dont les gens et l'IA évaluaient ces phrases.

Elles ont mis en place quatre manières différentes de demander des réponses. Imaginez un curseur pour évaluer la capacité : parfois, c'était une ligne horizontale (bas à gauche, haut à droite), parfois, c'était une ligne verticale (bas en bas, haut en haut). Elles ont aussi inversé les étiquettes, de sorte que « bas » était à droite ou en haut, juste pour voir si le cerveau était confus par la direction. Les humains et l'IA ont tous deux lu 60 phrases sur des personnes accomplissant des tâches, certaines avec « même » et d'autres avec « seulement », et ont évalué la capacité de la personne sur une échelle de 1 à 5.

Les résultats ont été fascinants. Les humains et l'IA étaient d'accord sur la logique de base : les phrases avec « seulement » recevaient des évaluations élevées (signifiant que la personne semblait très capable d'une manière spécifique), et les phrases avec « même » recevaient des évaluations plus basses. Crucialement, peu importait que les boutons de réponse soient inversés de haut en bas ou de côté. Les jugements restaient les mêmes. Cela suggère que pour les humains comme pour l'IA, ces jugements de mots sont dictés par le sens des mots, et non par l'emplacement des boutons sur l'écran. La théorie de la « carte » n'a pas gagné ; la théorie du « sens » a gagné.

Cependant, l'IA et les humains n'étaient pas des jumeaux identiques. L'IA était beaucoup plus extrême dans ses opinions. Quand l'IA voyait une phrase avec « seulement », elle donnait le score maximum de 5 à chaque fois, sans aucune variation. Les humains, quant à eux, étaient plus nuancés, donnant un mélange de scores élevés mais pas toujours le 5 parfait. Les chercheuses ont découvert que même lorsqu'elles essayaient de rendre l'IA plus « aléatoire » en changeant ses paramètres internes (appelés température), elle donnait toujours la même réponse de manière répétée. Cela suggère que si l'IA peut copier le schéma général de la pensée humaine, elle manque de la variabilité naturelle et désordonnée que possèdent les vraies personnes. C'est comme si l'IA était un robot qui avait mémorisé parfaitement le livre de règles, tandis que les humains sont une foule de personnes qui sont toutes d'accord sur la règle mais qui ont tout de même leurs propres petites particularités. L'étude suggère que les modèles d'IA actuels sont peut-être excellents pour obtenir la « moyenne » correcte, mais qu'ils ne sont peut-être pas les meilleurs modèles pour comprendre comment les esprits humains réels fonctionnent, car ils ne semblent pas posséder ce même éventail de différences individuelles.

Résumé technique : Particules de focalisation et inférences scalaires chez les humains et les modèles de langage

Problème et motivation
L'étude aborde une question centrale en sciences cognitives et en traitement du langage naturel : comment les humains et les systèmes artificiels interprètent le sens structuré, plus précisément en ce qui concerne les particules sensibles à la focalisation comme même (even) et seulement (only). Ces particules modifient le sens inféré d'une phrase en introduisant des attentes concernant les alternatives (par exemple, même met en évidence des alternatives de faible probabilité, tandis que seulement introduit l'exclusivité) sans altérer le contenu propositionnel de base.

Un débat théorique clé concerne le mécanisme qui régit les jugements scalaires associés à ces particules. Un compte rendu postule que les jugements sont fondés sur un codage spatial, où des magnitudes abstraites sont projetées sur des dimensions spatiales (par exemple, gauche-droite ou haut-bas), impliquant que l'orientation de l'échelle de réponse devrait systématiquement influencer les jugements (Dehaene et al., 1993). Un autre compte rendu, basé sur le principe de correspondance de polarité, suggère que les jugements sont pilotés par la structure évaluative et linguistique, signifiant que les différences entre les particules devraient rester stables indépendamment de la configuration spatiale (Proctor & Cho, 2006).

Avec des preuves récentes montrant que les grands modèles de langage (LLM) développent des représentations internes structurées de l'information linguistique (Kryvosheieva et al., 2025), les auteurs examinent si les LLM présentent des schémas de jugement scalaire similaires à ceux des humains. Crucialement, contrairement aux humains dont les représentations spatiales sont façonnées par l'interaction incarnée, les modèles basés sur les transformeurs traitent les jetons simultanément via une attention bidirectionnelle (Vaselles et al., 2017). Cette étude teste si des jugements scalaires similaires émergent de principes de représentation partagés ou de mécanismes sous-jacents distincts.

Méthodologie
Les chercheurs ont mené une étude comparative impliquant des participants humains et un LLM à travers quatre configurations d'échelle de réponse.

Stimuli : 60 phrases décrivant des tâches liées à la capacité (ex. : « Mike peut faire un gâteau »). Trente items contenaient la particule même et trente contenaient seulement.
Participants humains : $N = 108$ participants ont complété l'une des quatre études Qualtrics.
Manipulations expérimentales : La configuration spatiale de l'échelle de réponse a été manipulée selon deux dimensions :
1. Format spatial : Horizontal vs Vertical.
2. Correspondance d'étiquettes : Standard (faible capacité à gauche/bas, haute capacité à droite/haut) vs Inversée (étiquettes inversées).
  Cela a produit quatre conditions : horizontal-standard, horizontal-inversé, vertical-standard et vertical-inversé.
Procédure : Les participants ont évalué la capacité de l'individu dans la phrase sur une échelle de Likert en 5 points.
Collecte de données du LLM : Les données ont été collectées via Llama 3.3 70B par l'API Groq. Chaque stimulus a été présenté dans un prompt reflétant la structure de l'enquête humaine. Le modèle a reçu l'instruction de produire un seul entier (1–5). Pour échantillonner la distribution de réponse du modèle, chaque prompt a été exécuté 20 fois avec une température de 1.0, générant 4 800 observations (60 phrases $\times$ 4 conditions $\times$ 20 échantillons).

Résultats
Les évaluations ont été analysées à l'aide d'un modèle linéaire à effets mixtes avec la Particule, la Source (Humain vs LLM), le Format et la Correspondance comme effets fixes.

Effets de la Particule : Un effet principal significatif de la Particule a été trouvé ( $\beta= 2.20, p < .001$ ). Les humains et le LLM ont tous deux attribué des notes plus basses aux phrases avec même et des notes plus hautes aux phrases avec seulement.
Différences de Source : Une interaction significative Particule $\times$ $\times$ Source ( $\beta= 1.38, p < .001$ $β = 1.38, p < .001$ ) a révélé que le LLM produisait des jugements plus extrêmes.
- Humains : Les moyennes étaient de 2,07 pour même et 4,31 pour seulement (Différence : 2,20).
- LLM : Les moyennes étaient de 1,41 pour même et 5,00 pour seulement (Différence : 3,58).
  Notamment, pour les phrases avec seulement, le LLM a attribué la note maximale (5) dans 100 % des observations à travers toutes les conditions.
Effets Spatiaux : Le changement d'orientation ou de correspondance d'étiquettes de l'échelle de réponse n'a ni éliminé ni inversé le schéma de jugement pour aucun des deux groupes. Cela suggère que les jugements scalaires sont pilotés par le contenu sémantique et évaluatif plutôt que par l'arrangement spatial.
Variabilité : Le LLM a présenté une variabilité de réponse nettement moindre que les humains. Même avec une température d'échantillonnage de 1,0, l'échantillonnage répété a produit des réponses très cohérentes. Un balayage de température complémentaire (0,0 à 2,0) a confirmé que les réponses du modèle restaient stables, indiquant que l'augmentation de la température seule était insuffisante pour générer une variabilité de type humaine.

Contributions clés

Mécanisme de jugement scalaire : L'étude apporte un soutien empirique à un compte rendu évaluatif des jugements scalaires par rapport à un compte rendu de codage spatial. La stabilité des jugements à travers les configurations spatiales suggère que la structure sémantique de même et seulement dirige l'interprétation plus fortement que l'organisation spatiale des options de réponse.
Cognition LLM vs Humaine : L'article démontre que, bien que les LLM puissent reproduire des schémas comportementaux humains agrégés (tendances qualitatives), ils divergent de manière significative en termes de variabilité de réponse. La tendance du LLM vers des jugements catégoriques et extrêmes contraste avec les réponses graduées et variables des humains.
Limites de l'échantillonnage : Les résultats remettent en question l'hypothèse selon laquelle l'échantillonnage répété à des températures élevées peut simuler les différences individuelles humaines. Les auteurs soutiennent que la variabilité entre les exécutions du modèle reflète un bruit autour d'un jugement fixe, tandis que la variabilité humaine reflète de véritables différences individuelles d'interprétation.

Signification et affirmations
Les auteurs concluent que l'absence de variabilité de réponse chez le LLM soulève des questions quant à l'adéquation des LLM actuels comme modèles de la cognition humaine, étant donné que les différences individuelles sont une caractéristique définissante du comportement humain. L'article s'aligne sur des recherches récentes (Qiu et al., 2025 ; Rodriguez et al., 2026) montrant que les LLM contemporains ne parviennent pas à reproduire l'étendue de la variabilité observée dans les populations humaines, même lorsque la performance moyenne des tâches est bien équivalente. L'étude suggère modestement que, bien que les LLM capturent la logique structurelle des inférences scalaires, ils ne modélisent pas encore la nature stochastique du jugement humain.

Résumé technique : Particules de focalisation et inférences scalaires chez les humains et les modèles de langage

Articles similaires