💬 NLP

Surprisal and Metaphor Novelty Judgments: Moderate Correlations and Divergent Scaling Effects Revealed by Corpus-Based and Synthetic Datasets

Cette étude démontre que si la surprise des modèles de langue présente des corrélations modérées avec les annotations de nouveauté métaphorique, elle affiche des comportements de mise à l'échelle divergents — diminuant en pouvoir prédictif avec des modèles plus grands sur des données basées sur des corpus, mais augmentant sur des données synthétiques — soulignant ainsi ses limites en tant que métrique complète de la créativité linguistique.

Auteurs originaux : Omar Momen, Emilie Sitter, Berenike Herrmann, Sina Zarrieß

Publié 2026-01-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Omar Momen, Emilie Sitter, Berenike Herrmann, Sina Zarrieß

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de deviner le mot suivant dans une phrase. Si la phrase est « Le chat est assis sur le... », votre cerveau (et un programme informatique) peut facilement deviner « tapis ». C'était facile à prédire, donc ce n'était pas très surprenant. Mais si la phrase est « Le chat est assis sur le... méduse », votre cerveau fait un deux-temps. Ce mot était difficile à prédire, il possède donc une grande « surprisal » (surprise).

Cette étude pose une question simple : Ce sentiment de « surprise » peut-il nous aider à faire la différence entre une métaphore banale et ancienne et une métaphore fraîche et créative ?

L'idée principale : Prévisibilité vs Créativité

Les métaphores sont comme des ponts mentaux. Parfois, le pont est un sentier bien balisé que tout le monde connaît, comme dire « J'ai attaqué son argument ». Tout le monde sait qu'on n'utilise pas d'arme contre un discours ; c'est une expression standard. C'est une métaphore conventionnelle.

D'autres fois, le pont est nouveau et instable, comme dire « L'eau arrêtée ». Vous devez vous arrêter et réfléchir : comment l'eau peut-elle être arrêtée ? Ce n'est pas dans le dictionnaire. C'est une métaphore nouvelle.

Les chercheurs ont voulu voir si les programmes informatiques (appelés Modèles de Langage) pouvaient utiliser leur « compteur de surprise » pour repérer ces nouveaux ponts créatifs. La théorie était la suivante : Si un mot est difficile à prédire, peut-être est-ce une métaphore créative.

L'expérience : Deux mondes différents

L'équipe a testé cette idée en utilisant deux types de données très différents, et les résultats étaient comme un conte de deux villes :

1. La ville du « Monde Réel » (Données basées sur un corpus)
Ils ont examiné de vraies phrases tirées de livres, de journaux et de conversations.

Le résultat : Ici, le « compteur de surprise » fonctionnait assez bien, mais avec une nuance. Des modèles informatiques plus petits et plus simples étaient en réalité meilleurs pour repérer les métaphores créatives que les modèles géants et ultra-intelligents.
L'analogie : Imaginez un petit détective local qui connaît bien le quartier. Il remarque les choses étranges et nouvelles parce qu'il ne réfléchit pas trop. Le géant détective (le grand IA) a vu tellement de données qu'il commence à s'attendre à voir des choses bizarres partout, ce qui le rend moins sensible à ce qui est réellement « nouveau » dans une phrase spécifique. Plus le modèle devenait grand, moins il était performant pour cette tâche précise.

2. La ville de la « Fabrique de Jouets » (Données synthétiques)
Ils ont également utilisé des phrases soigneusement construites en laboratoire (ou par une autre IA) où la seule différence était que la métaphore soit ancienne ou nouvelle.

Le résultat : Ici, les règles ont changé. Les modèles plus grands et plus intelligents sont devenus bien meilleurs pour repérer les métaphores créatives.
L'analogie : Dans une usine de jouets contrôlée, le géant détective brille. Parce que les jouets sont parfaits et que les règles sont strictes, le cerveau massif peut utiliser sa puissance immense pour voir les subtiles différences que le petit détective rate.

Le truc du « Cloze » : Regarder des deux côtés

Les chercheurs ont également essayé un nouveau truc. La « surprise » standard ne regarde que les mots avant le mot cible (comme lire une phrase de gauche à droite). Mais pour comprendre une métaphore, il faut souvent voir ce qui vient après aussi.

Ils ont créé une méthode « Cloze » (comme un jeu de texte à trous). Ils ont caché le mot métaphorique, montré le modèle la phrase entière (incluant la fin) et ont demandé : « Quel mot va ici ? »

Le résultat : Cette approche consistant à « regarder des deux côtés » a généralement rendu l'ordinateur plus intelligent pour repérer les métaphores. C'était comme donner au détective une carte de toute la rue plutôt que seulement le coin de la rue où il se tenait. Cependant, ce truc fonctionnait mieux pour les phrases du « Monde Réel » et a parfois confondu les modèles pour les phrases de la « Fabrique de Jouets ».

Qu'en est-il de l'enseignement de la parole humaine à l'IA ?

L'équipe a également essayé d'utiliser des modèles « Instruction-Tuned » (des IA qui ont appris à suivre les instructions humaines et à discuter poliment).

Le résultat : Étonnamment, faire en sorte que l'IA parle davantage comme un humain n'a pas permis de mieux repérer les métaphores créatives. En fait, pour certains modèles, cela les a rendus moins bons pour ce problème mathématique précis. Être « bavard » ne les a pas aidés à être « créatifs ».

Le mot de la fin

L'article conclut que la « surprisal » (à quel point un mot est inattendu) est un outil décent pour trouver des métaphores créatives, mais que ce n'est pas une baguette magique.

Cela fonctionne modérément bien (une corrélation de 40-50 %), ce qui signifie que c'est utile mais loin d'être parfait.
Le contexte compte : Que l'IA regarde des textes réels désordonnés ou des textes de laboratoire propres change tout.
La taille compte : Plus grand n'est pas toujours meilleur ; parfois, plus petit est plus aiguisé, selon les données.

En bref, bien que les ordinateurs puissent capter un indice de la créativité humaine en mesurant à quel point ils sont « surpris », ils luttent encore pour saisir pleinement la magie d'une métaphore véritablement nouvelle. Ils ont besoin de plus qu'un simple compteur de surprise pour comprendre l'art du langage.

Résumé technique : Surprisal et jugements de nouveauté métaphorique

Énoncé du problème
L'article traite du défi consistant à quantifier la créativité linguistique, plus précisément la distinction entre les métaphores conventionnelles et les métaphores nouvelles, en utilisant des modèles de langage (LM). Bien que la compréhension des métaphores implique des processus sémantiques complexes et des correspondances entre domaines, séparer les métaphores nouvelles des métaphores conventionnelles reste difficile pour les annotateurs humains et est rarement pris en compte dans l'analyse computationnelle des métaphores. Les auteurs étudient si la surprisal (ou surprise) — une mesure probabiliste de la prédictibilité définie par le logarithme négatif de la probabilité d'un mot en contexte ( $-\log p(w_i | w_{<i})$ ) — peut servir de métrique fiable pour la nouveauté métaphorique. Ils visent à déterminer si la surprisal des LM est corrélée aux annotations humaines de nouveauté et à comprendre comment la taille du modèle, le type de jeu de données (basé sur un corpus ou synthétique) et la modélisation du contexte affectent cette corrélation.

Méthodologie
L'étude emploie un design expérimental systématique impliquant quatre jeux de données et 16 variantes de LM causaux :

Jeux de données :
- Basés sur des corpus : Deux sous-ensembles du VU Amsterdam Metaphor Corpus (VUAMC).
  - VUA-ratings : Contient des scores de nouveauté continus (-1 à +1) dérivés d'une méthode de classement "best-worst scaling" par crowdsourcing.
  - VUA-dictionary : Contient des étiquettes de nouveauté binaires basées sur une méthode dictionnairique où une métaphore est considérée comme nouvelle si son sens contextuel est absent des entrées du dictionnaire.
- Synthétiques : Deux jeux de données contrôlés.
  - Lai2009 : Stimuli psycholinguistiques aux structures fixes contenant des usages littéraux, conventionnels, nouveaux et anomaux de mots spécifiques.
  - GPT-4o-metaphors : Un jeu de données "jouet" généré en demandant à GPT-4o de créer des phrases avec des sens conventionnels et nouveaux de verbes et de noms spécifiques.
Modèles :
- Trois familles de LM causaux de type décodeur uniquement : GPT-2 (4 tailles), Llama 3 (3 tailles) et Qwen2.5 (3 tailles).
- Les variantes de base et ajustées par instructions (instruction-tuned) ont toutes deux été évaluées pour mesurer l'impact de l'alignement sur la surprisal.
Calcul de la surpral :
- Direct-surprisal : Surprisal standard de gauche à droite calculé sur le mot cible étant donné le contexte précédent.
- Cloze-surprisal : Une nouvelle méthode proposée par les auteurs pour incorporer le contexte de droite. Le mot cible est remplacé par un blanc, la phrase complète (incluant le mot cible) est ajoutée comme complétion, et la surprisal est mesurée pour le mot cible dans la seconde occurrence. Cela conditionne la probabilité au contexte de la phrase complète.
Évaluation :
- Les métriques de corrélation (Pearson's $r$ , Spearman's $\rho$ , Rank-biserial $r_b$ et AUC) ont été calculées entre les scores de surprisal et les annotations de nouveauté.
- Les analyses ont été menées à travers différentes tailles de modèles, types de jeux de données et genres (fiction, actualités, académique, conversation).

Résultats clés

Corrélations modérées : La surprisal des LM produit des corrélations significatives, positives, mais modérées avec les annotations de nouveauté métaphorique sur tous les jeux de données. Les résultats les plus forts ont été observés avec GPT2-base sur VUA-ratings ( $r = .419$ , $r_b = .638$ ).
Effets de mise à l'échelle divergents : La relation entre la taille du modèle et la force de corrélation dépend du type de jeu de données :
- Données basées sur des corpus : Présentent un effet de mise à l'échelle inverse. La force de corrélation diminue à mesure que la taille du modèle augmente. Les auteurs attribuent cela au fait que les modèles plus grands assignent des attentes non humaines aux mots rares, qui sont souvent corrélés à la nouveauté dans les corpus naturels.
- Données synthétiques : Présentent une hypothèse de qualité-puissance (mise à l'échelle positive). La force de corrélation augmente avec la taille du modèle, probablement parce que les jeux de données synthétiques contrôlent la fréquence et l'identité lexicales, isolant ainsi plus efficacement la dimension de la nouveauté.
Cloze-surprisal : La méthode de cloze-surprisal proposée améliore généralement les corrélations, particulièrement pour les modèles GPT-2 sur les données de corpus (par exemple, augmentant $r_b$ à .687 sur VUA-ratings). Elle déplace la distribution des valeurs de surprisal loin de zéro, capturant mieux le contexte complet requis pour le traitement des métaphores. Cependant, elle détériore occasionnellement les performances sur les jeux de données synthétiques.
Ajustement par instructions (Instruction-tuning) : L'ajustement par instructions n'améliore pas systématiquement la corrélation entre la surprisal et la nouveauté. Dans de nombreux cas, particulièrement pour les modèles Qwen et sur les données synthétiques, l'ajustement par instructions a réduit la corrélation par rapport aux modèles de base.
Effets de genre : La force de corrélation varie selon le genre, montrant une relation avec la densité métaphorique et la perplexité du modèle. Par exemple, le genre conversationnel présentait une perplexité élevée mais une forte corrélation avec les étiquettes de nouveauté basées sur le dictionnaire.

Signification et affirmations
L'article conclut que bien que la surprisal puisse partiellement rendre compte des annotations de nouveauté métaphorique, elle reste une métrique limitée pour la créativité linguistique en soi. Les auteurs soutiennent que l'interprétation des métaphores implique l'intégration sémantique et la correspondance entre domaines, ce qui dépasse la simple prédictibilité.

La principale contribution de l'étude réside dans la révélation de schémas de mise à l'échelle divergents selon la nature des jeux de données. Elle suggère que l'« échelle inverse » observée dans les études de temps de lecture sur les corpus peut être pilotée par des biais de fréquence lexicale, tandis que les données synthétiques qui contrôlent ces facteurs révèlent un effet de mise à l'échelle positif. Les auteurs appellent à de nouvelles mesures et de nouveaux jeux de données fournissant des annotations systématiques de la nouveauté métaphorique à travers les genres et les contextes, notant que les annotations de haute qualité actuelles sont rares. Ils positionnent la surprisal comme un outil prometteur mais incomplet, devant être utilisé de préférence conjointement avec d'autres métriques ciblant directement les interprétations nouvelles et les correspondances de domaines.