Visual–semantic coherence of Chinese colour metaphor lexemes: What interpretable visual features reveal about multimodal meaning stability

À l'ère du numérique, les mots voyagent rarement seuls. Lorsque nous recherchons un terme en ligne, nous sommes rarement confrontés au texte seul ; nous sommes accueillis par un flot d'images que notre cerveau tente instantanément de faire correspondre au sens du mot. Cet appariement du langage et de la vision est une partie fondamentale de la manière dont nous comprenons le monde, mais ce n'est pas toujours une correspondance parfaite. Certains mots, comme « pomme » ou « montagne », évoquent une image très claire et cohérente. D'autres, surtout lorsqu'ils sont utilisés de manière culturelle ou métaphorique complexe, peuvent invoquer un mélange chaotique d'images qui semblent avoir peu de points communs. Les chercheurs savent depuis longtemps que les objets concrets sont plus faciles à imaginer que les idées abstraites, mais une nouvelle question a émergé : lorsqu'un mot possède une connexion visuelle, qu'est-ce qui rend cette connexion forte ou faible ? Est-ce le sens du mot lui-même, ou est-ce quelque chose dans les images que nous trouvons lorsque nous le cherchons ?

Une équipe de chercheurs s'est donné pour mission de répondre à cela en examinant les termes de couleur chinois utilisés de manière métaphorique. En chinois, les termes de couleur comme « rouge » ou « noir » ne concernent pas seulement les longueurs d'onde de la lumière ; ils portent un poids culturel important. Le « rouge » peut signifier la révolution ou la bonne fortune, tandis que le « noir » peut impliquer quelque chose d'illégal ou d'illicite. Ces mots forment un riche réseau de composés, tels que « chanson rouge » pour la musique révolutionnaire ou « marché noir » pour le commerce illégal. Les chercheurs voulaient savoir si ces mots métaphoriques possèdent une identité visuelle stable dans le monde numérique moderne. Les images qui apparaissent lorsque vous les recherchez correspondent-elles réellement à ce que les mots signifient, ou la connexion est-elle rompue ? Pour le découvrir, ils ont construit un ensemble de données massif de 184 de ces mots basés sur la couleur. Pour chaque mot, ils ont rassemblé 100 images provenant d'un moteur de recherche chinois majeur et 100 exemples de l'utilisation du mot dans des phrases à partir d'une large collection de textes numériques.

Le cœur de leur enquête consistait à mesurer à quel point le sens visuel d'un mot correspondait à son sens textuel. Ils ont utilisé un système informatique sophistiqué entraîné à comprendre à la fois les images et le langage, capable d'attribuer un score indiquant à quel point l'« idée » des images s'alignait avec l'« idée » du texte. Si le score était élevé, le mot possédait une connexion sémantique visuelle stable ; s'il était bas, les images et le texte s'en détachaient. Mais les chercheurs ne se sont pas arrêtés à la simple mesure du score. Ils voulaient comprendre pourquoi certains mots obtenaient de bons scores et d'autres non. Ils ont extrait des dizaines de propriétés spécifiques et mesurables des images elles-mêmes — des éléments tels que la symétrie des images, la variation de la couleur à travers l'ensemble, l'aspect encombré ou chargé des images, et l'endroit où l'œil est naturellement attiré au sein du cadre. Ils ont ensuite cherché à savoir si ces propriétés visuelles pouvaient prédire le score d'alignement.

Les résultats ont révélé une vérité surprenante sur la manière dont le sens est construit à l'ère du numérique. Les chercheurs ont découvert que les propriétés visuelles des images expliquaient une part significative de la variation dans la correspondance entre les mots et les images. En fait, ces caractéristiques visuelles interprétables par l'humain étaient plus efficaces pour expliquer la connexion que les représentations mathématiques internes et complexes du modèle informatique lui-même. Le prédicteur le plus puissant n'était pas ce que les images ressemblaient typiquement en moyenne, mais leur cohérence. Un mot atteignait une connexion forte lorsque les images qui lui sont associées partageaient un motif visuel reconnaissable, même si ce motif était simple. Par exemple, les mots dont les images présentaient un degré élevé de symétrie horizontale ou une distribution équilibrée de l'attention visuelle avaient tendance à avoir des connexions beaucoup plus fortes entre leurs significations textuelles et visuelles.

Inversement, l'étude a montré qu'un manque de cohérence visuelle constituait une barrière majeure au sens. Lorsque les images pour un même mot étaient radicalement différentes les unes des autres — certaines symétriques, d'autres chaotiques, certaines lumineuses, d'autres sombres — la connexion entre le mot et sa signification visuelle s'affaiblissait, quelle que soit la clarté de la définition du mot. Cette découverte remet en question l'idée ancienne selon laquelle le sens est simplement une image fixe dans notre tête. Au contraire, elle suggère que le sens est une stabilité dynamique. Un mot maintient sa signification visuelle non pas parce que chaque image est identique, mais parce que la collection d'images évoque une expérience visuelle cohérente et reconnaissable. L'étude a également écarté l'idée que les caractéristiques internes de la « boîte noire » du modèle informatique étaient la meilleure explication de cette stabilité ; les traits simples et observables des images, comme la symétrie et l'équilibre des couleurs, racontaient une histoire plus claire.

En fin de compte, ce travail fournit une carte concrète de l'interaction entre le langage et la vision dans le monde moderne. Il montre que pour que les mots métaphoriques maintiennent un sens stable dans l'environnement numérique, les images qu'ils attirent doivent être visuellement cohérentes. Si le monde visuel entourant un mot devient trop chaotique ou incohérent, le sens du mot commence à se fracturer, même si le texte reste le même. Les chercheurs ont démontré que nous pouvons comprendre cette relation complexe en observant les éléments de base des images elles-mêmes. La stabilité du sens d'un mot à l'ère du numérique dépend moins de la définition du mot que de l'harmonie visuelle du monde qu'il habite.