Using Perspectival Words Is Harder Than Vocabulary Words for Humans and Even More So for Multimodal Language Models
Cette étude révèle que les modèles de langage multimodaux éprouvent des difficultés significativement plus grandes que les humains à utiliser les mots perspectifs (possessifs et démonstratifs) par rapport au vocabulaire simple, en raison de lacunes dans leurs capacités de prise de perspective et de raisonnement spatial.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
🧠 Le Grand Défi : Parler comme un humain (mais avec des yeux de robot)
Imaginez que vous essayez d'enseigner à un robot comment parler dans une vraie conversation. Jusqu'à présent, les chercheurs ont surtout testé si le robot connaissait le nom des choses : « C'est un bateau », « C'est une tasse ». C'est facile, un peu comme apprendre le vocabulaire d'un dictionnaire.
Mais cette étude pose une question plus subtile : Le robot comprend-il vraiment la perspective ?
En français, nous utilisons des mots qui changent de sens selon qui parle et où l'on se trouve. C'est ce qu'on appelle les « mots de perspective ».
- Les possessifs : « C'est à moi » ou « C'est à toi ». (Ça dépend de qui parle !)
- Les démonstratifs : « Celui-ci » (près de moi) ou « Celui-là » (loin de moi). (Ça dépend de la distance !)
🎭 L'Expérience : Un jeu de rôle visuel
Les chercheurs ont créé un jeu simple pour comparer des humains et 7 intelligences artificielles (IA) de pointe (comme GPT-4o).
Le décor :
Imaginez une table avec des objets. D'un côté, un garçon ; de l'autre, une fille.
- Le garçon regarde un objet.
- La fille regarde un autre objet.
- L'IA doit choisir la bonne phrase pour décrire ce que le garçon veut.
Les trois niveaux du jeu :
- Niveau 1 (Vocabulaire) : « Le garçon veut le bateau. » (Facile : il suffit de reconnaître l'objet).
- Niveau 2 (Possession) : « Le garçon dit : « C'est à moi » » ou « C'est à toi ». (Plus dur : il faut savoir qui parle et à qui appartient l'objet).
- Niveau 3 (Démonstratif) : « Le garçon dit : « Celui-ci » » (près de lui) ou « Celui-là » (loin de lui). (Le plus dur : il faut combiner qui parle + la distance spatiale).
📉 Les Résultats : Le fossé grandit
Voici ce qu'ils ont découvert, avec une analogie simple :
Pour les humains : C'est comme monter une petite colline.
- Le vocabulaire est facile (on est au sommet).
- Les possessifs sont un peu plus fatigants (on glisse un peu).
- Les démonstratifs sont le plus dur (on trébuche un peu), mais on arrive quand même au sommet.
- Résultat : Les humains sont excellents, même si ce n'est pas parfait.
Pour les IA (les robots) : C'est comme essayer de grimper à un mur de glace.
- Vocabulaire : Les robots sont presque aussi bons que les humains. Ils connaissent très bien les noms des objets.
- Possessifs : Là, ça commence à dégringoler. Les robots confondent souvent « à moi » et « à toi ». Ils ont du mal à se mettre à la place de l'autre.
- Démonstratifs : C'est le désastre. Les robots sont très loin derrière les humains. Ils ne comprennent pas bien la différence entre « ici » et « là-bas » selon le point de vue du personnage.
L'analogie du miroir :
Les robots sont comme des miroirs très brillants qui reflètent parfaitement les objets (vocabulaire), mais qui sont aveugles quand il s'agit de savoir qui regarde le reflet et où il se trouve dans la pièce.
🔍 Pourquoi est-ce si difficile pour les robots ?
Les chercheurs ont fait des « autopsies » numériques (ablation) pour voir ce qui coince :
- Le manque d'« Empathie » (Prise de perspective) : Pour dire « C'est à moi », il faut comprendre que le robot joue le rôle du garçon. Les robots avancés commencent à comprendre ça, mais les autres sont perdus.
- Le problème de l'espace : Pour dire « Celui-ci », il faut juger la distance. Les robots semblent préférer lire les mots plutôt que de regarder l'image. Si on enlève les indices visuels (les objets), ils s'effondrent. Ils ne « voient » pas l'espace comme nous le faisons avec notre corps.
🛠️ Peut-on les aider ?
Les chercheurs ont essayé deux méthodes pour aider les robots :
- Donner des exemples (Apprentissage par l'exemple) : « Regarde, dans ce cas, on dit 'à moi'. » → Ça aide un peu, mais pas beaucoup.
- Donner des instructions claires (Prompting) : « Souviens-toi : tu es le garçon. L'objet est près de toi. Donc dis 'à moi'. » → Ça marche très bien pour les possessifs ! Les robots rattrapent presque le niveau humain.
Mais le problème des démonstratifs (« Celui-ci/Celui-là ») reste insoluble. Même avec des instructions, les robots peinent toujours à comprendre la nuance spatiale. C'est comme si on leur expliquait la théorie de la gravité, mais qu'ils ne pouvaient pas sentir le poids d'un objet.
💡 La Conclusion en une phrase
Les robots sont devenus d'excellents dictionnaires, mais ils sont encore de très mauvais conversateurs. Ils savent nommer les choses, mais ils peinent terriblement à comprendre le « point de vue » et l'espace, deux éléments essentiels pour une communication humaine naturelle.
Pour qu'ils parlent vraiment comme nous, ils ne doivent pas seulement apprendre des mots, ils doivent apprendre à se mettre à la place de l'autre et à comprendre l'espace physique, quelque chose qui nous est naturel mais qui reste un mystère pour eux.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.