Seeing Through Words: Recovering Visual Information from Chinese Word Use
Cette étude démontre que l'information visuelle peut être récupérée à partir des modes d'utilisation des mots chinois, soutenant ainsi l'Hypothèse de l'Interdépendance des Symboles en montrant que les représentations dérivées du texte prédisent avec succès les prototypes visuels, avec une précision influencée par les associations sensorimotrices et la stabilité de l'utilisation des mots.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA d'un preprint qui n'a pas été évalué par des pairs. Ce n'est pas un avis médical. Ne prenez pas de décisions de santé basées sur ce contenu. Lire la clause de non-responsabilité complète
Le langage est souvent considéré comme un système de sons et de symboles, une façon de décrire le monde sans nécessairement le toucher. Pourtant, depuis des décennies, des chercheurs se demandent si les mots eux-mêmes portent une carte cachée de ce monde. Une idée de premier plan, connue sous le nom d'Hypothèse de l'Interdépendance des Symboles, suggère que parce que nous utilisons le langage pour parler de choses réelles, les schémas de la manière dont les mots apparaissent ensemble doivent encoder des informations sur ce que ces choses sont, ce qu'elles font, et ce qu'elles ressentent. Si cela est vrai, alors la façon dont nous utilisons un mot dans des phrases devrait contenir suffisamment d'indices pour reconstruire une image mentale de sa signification, même sans jamais avoir vu de photographie de l'objet. Cette question se situe à l'intersection de la linguistique et des sciences cognitives, sondant si la structure abstraite du langage peut servir de pont vers nos expériences sensorielles du monde physique.
Une équipe de chercheurs de la City University de Hong Kong s'est lancée dans le test de cette idée en se concentrant spécifiquement sur la langue chinoise. Ils ont posé une question simple mais difficile : si vous donnez à un ordinateur uniquement le texte de la façon dont un mot chinois est utilisé dans des millions de phrases, cet ordinateur peut-il comprendre à quoi ressemble ce mot ? Pour trouver la réponse, ils ne se sont pas appuyés sur l'intuition humaine ou des règles préprogrammées. Au lieu de cela, ils ont construit un système qui apprenait de la donnée elle-même. Ils ont rassemblé plus de 2 500 mots chinois courants et ont analysé les vastes traces numériques qu'ils laissaient derrière eux dans les textes en ligne. Pour chaque mot, les chercheurs ont également collecté un ensemble unique d'images provenant du web, créant un prototype visuel qui représentait ce que ce mot est censé ressembler typiquement dans le monde réel.
Le cœur de leur expérience était un jeu d'association. Les chercheurs ont entraîné un modèle informatique pour apprendre la relation entre le texte et les images en utilisant la plupart des mots de leur liste. Ensuite, ils ont caché un mot à la fois et ont demandé au modèle de prédire son apparence visuelle en se basant uniquement sur les schémas textuels appris à partir des autres mots. Le modèle générait une prédiction, et les chercheurs vérifiaient si cette prédiction pouvait réussir à identifier l'image correcte parmi une bibliothèque de milliers d'autres images. C'était un test rigoureux pour savoir si la description linguistique d'un mot détenait suffisamment de détails spécifiques pour distinguer sa cible visuelle de toutes les autres possibilités.
Les résultats étaient clairs et étonnamment forts. Le modèle était capable d'identifier la cible visuelle correcte de manière nettement supérieure au hasard. Lorsque l'ordinateur devait choisir la bonne image parmi un groupe de 2 571 candidats, il réussissait bien plus souvent que s'il s'était contenté de deviner en se basant sur la catégorie générale du mot, comme s'il s'agissait d'un nom ou d'un verbe. Plus impressionnant encore, le système pouvait toujours distinguer l'image correcte même lorsque la compétition était beaucoup plus rude : quand le modèle devait choisir entre le mot cible et vingt autres mots ayant un sens et un usage très similaires. Cela suggère que les schémas d'utilisation du langage contiennent des détails fins sur l'apparence visuelle qui vont au-delà des catégories larges.
Cependant, l'étude a également révélé que cette capacité à « voir à travers les mots » n'est pas la même pour chaque mot. Les chercheurs ont découvert que le succès de la prédiction dépendait fortement de la nature de l'expérience que le mot décrit. Les mots fortement associés à des expériences visuelles étaient les plus faciles à récupérer. Curieusement, les mots liés au sens de l'odorat montraient également une forte connexion avec la récupération visuelle, suggérant que les descriptions d'odeurs pointent souvent vers des objets visibles et spécifiques. En revanche, les mots liés à des sensations corporelles internes, telles que la faim ou la douleur, étaient plus difficiles à définir visuellement. Les données ont montré une relation négative ici, signifiant que plus un mot était lié à des sensations internes, moins il était probable que le texte seul révèle une image claire et spécifique.
La cohérence de l'usage du mot jouait également un rôle critique. Lorsqu'un mot était utilisé dans de nombreux contextes et situations différents, la prédiction visuelle devenait plus faible. Cela est intuitivement compréhensible : si un mot est utilisé pour décrire une grande variété de scènes, le texte devient un flou d'images différentes, rendant plus difficile l'isolement d'un prototype visuel unique. Inversement, lorsque les images associées à un mot étaient stables et cohérentes à travers différents échantillons, les prédictions textuelles devenaient beaucoup plus nettes. L'étude a également trouvé que la clarté visuelle d'un mot était liée à la stabilité de sa représentation par l'image ; les mots ayant des résumés visuels plus fiables étaient plus faciles à récupérer à partir du texte.
Ces conclusions offrent une vision nuancée de la façon dont le langage se connecte au monde. Elles confirment que les relations linguistiques fournissent effectivement un accès aux informations perceptuelles, soutenant l'idée que nos mots sont profondément enracinés dans nos expériences sensorielles. Mais elles montrent aussi que cet accès n'est pas uniforme ; il varie selon le type d'expérience que le mot évoque et la constance avec laquelle ce mot est utilisé et représenté. La recherche démontre que, si le langage peut agir comme une fenêtre sur le monde visuel, la vue à travers cette fenêtre est la plus claire pour les choses que nous voyons et sentons, et pour les mots qui les décrivent de manière stable et constante. Pour les sentiments internes ou les usages très variés, la fenêtre est plus embrumée, nous rappelant que le pont entre les mots et les images est construit à partir des schémas spécifiques et récurrents de nos vies quotidiennes.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.