Résumé technique : Sondage de l'alignement sémantique, de l'invariance lexicale et de l'influence syntaxique dans le traitement des métaphores par les LLM

Énoncé du problème

Bien que les grands modèles de langage (LLM) fassent preuve d'une forte performance comportementale dans les tâches de détection et d'interprétation de métaphores, il reste incertain de savoir si ce succès reflète une compréhension sémantique profonde et intégrée ou une dépendance à des heuristiques superficielles. Les théories linguistiques existantes, telles que la violation de la préférence de sélection (SPV) et la théorie de la métaphore conceptuelle (CMT), soulignent que le traitement des métaphores implique l'identification de correspondances implicites entre domaines plutôt que de simples substitutions lexicales. Cependant, les travaux computationnels antérieurs se sont largement concentrés sur les résultats de prédiction (par exemple, les scores de précision) plutôt que sur les mécanismes sous-jacents qui pilotent ces comportements. Cet article comble cette lacune en examinant si la performance observée des LLM provient d'un mécanisme sémantique unifié ou d'une combinaison hétérogène d'associations lexicales, d'effets de mots déclencheurs et d'indices syntaxiques.

Méthodologie

Les auteurs proposent un cadre de diagnostic comprenant trois dimensions de sondage complémentaires pour analyser le comportement des LLM sous des conditions contrôlées. Les expériences utilisent le jeu de données Fig-QA pour l'analyse de l'interprétation et le Metaphor Understanding Challenge Dataset (MUNCH) pour les tâches de génération et de détection.

1. Analyse spatiale (Alignement des attributs sémantiques)

Pour évaluer si les interprétations générées par le modèle s'alignent sur les attributs sémantiques visés, les auteurs emploient un cadre de sondage géométrique.

• Construction du plan de référence : Pour une métaphore cible $m_i$, un plan de référence $\gamma_i$ est construit dans un espace de plongement partagé en utilisant trois points : deux interprétations annotées par des humains ($R_i, R'_i$) capturant l'attribut sémantique partagé, et un paraphrase littérale générée par le modèle ($S_i$) de la phrase cible.
• Mesures géométriques : L'interprétation générée par le modèle ($M_i$) est évaluée par rapport à ce plan à l'aide de deux mesures :
  • $d_p$ (Distance perpendiculaire) : Mesure l'ampleur de la déviation géométrique de $M_i$ par rapport au plan de référence.
  • $\cos \theta$ (Similarité cosinus) : Mesure la différence d'orientation entre le plan d'interprétation (engendré par $R_i, R'_i, M_i$) et le plan de référence.
• Validation : Ces signaux géométriques sont corrélés à un score de somme basé sur la similarité ($A_d$) et validés via une évaluation humaine pour s'assurer qu'ils reflètent des déviations sémantiques significatives plutôt que des artefacts.

2. Imagination métaphorique (Invariance lexicale)

Cette dimension sonde la stabilité des associations lexicales à travers différentes conditions contextuelles, en étudiant les « effets de mots déclencheurs » où les modèles peuvent s'appuyer sur des ancres lexicales stables plutôt que sur le contexte.

• Conception expérimentale : L'étude compare la Génération contextualisée (produire des mots au sein d'une phrase) à la Génération décontextualisée (produire des mots de manière isolée).
• Tâches :
  • Littéral-vers-Métaphore (LM) : Générer des contreparties métaphoriques pour des entrées littérales.
  • Métaphore-vers-Littéral (ML) : Générer des contreparties littérales pour des entrées métaphoriques.
• Mesure : Un Score d'ancrage quantifie le chevauchement entre les sorties contextualisées et décontextualisées. Des scores élevés indiquent la persistance d'associations lexicales invariantes au contexte.

3. Mélange syntaxique (Influence syntaxique)

Cette dimension examine la sensibilité de la détection de métaphores aux indices structurels en perturbant la syntaxe de la phrase tout en préservant largement le contenu lexical.

• Perturbations :
  • Mélange aléatoire (Random Shuffle) : Perturbe à la fois la syntaxe et la cohérence sémantique.
  • Mélange de catégories grammaticales (POS Shuffle) : Remplace le mot métaphorique par un synonyme d'une classe grammaticale (POS) différente, introduisant une irrégularité syntaxique tout en maintenant le sens lexical.
  • Repositionnement du mot métaphorique : Déplace le mot métaphorique au début, au milieu ou à la fin de la phrase.
• Objectif : Déterminer si la détection repose sur une structure de phrase intégrée ou sur des indices heuristiques superficiels tels que les anomalies de catégorie grammaticale.

Principales contributions

1. Cadre de sondage géométrique : Les auteurs introduisent un nouveau proxy comportemental utilisant des mesures géométriques ($d_p$ et $\cos \theta$) pour quantifier l'alignement des attributs sémantiques dans l'interprétation des métaphores, offrant une vue plus fine que les mesures de précision discrètes.
2. Analyse de l'invariance lexicale : À travers les tâches d'imagination métaphorique, l'étude démontre que les LLM présentent des associations lexicales persistantes et invariantes au contexte, suggérant une dépendance à des ancres lexicales stables qui peuvent soutenir les métaphores conventionnelles mais biaiser les métaphores nouvelles.
3. Évaluation de la sensibilité syntaxique : L'article analyse l'impact des perturbations syntaxiques contrôlées sur la détection, révélant que les modèles sont très sensibles aux irrégularités syntaxiques (par exemple, les mélanges de POS) qui peuvent gonfler artificiellement la précision de la détection.
4. Perspective de diagnostic : Le travail déplace l'attention de la comparaison de performance vers une analyse diagnostique de comment les modèles traitent les métaphores, identifiant des schémas de comportement et des limites cohérents à travers divers LLM.

Résultats et analyse

• Dérive sémantique : L'analyse spatiale révèle que les interprétations générées par le modèle présentent systématiquement une dérive sémantique par rapport aux attributs de référence. Bien que les mesures géométriques soient corrélées aux jugements humains (une faible $d_p$ correspondant à des scores d'alignement humain plus élevés), les modèles échouent souvent à capturer la correspondance voulue, se concentrant plutôt sur des attributs saillants mais non pertinents (par exemple, interpréter « L'ordinateur est une tortue » comme ayant une « longue durée de vie » plutôt qu'une « faible vitesse »).
• Ancrage lexical : Les scores d'ancrage sont systématiquement élevés (65 %–80 %) à travers les modèles et les genres, indiquant que les associations lexicales persistent souvent indépendamment du contexte. Cet effet est observé même dans les métaphores nouvelles (score de nouveauté > 0,3), bien que de manière moins uniforme. Les auteurs interprètent cela comme la preuve que les modèles peuvent s'appuyer sur des priors lexicaux qui peuvent biaiser l'interprétation dans des contextes où l'intégration est requise.
• Sensibilité syntaxique : La précision de la détection de métaphores varie considérablement avec les perturbations syntaxiques. Notamment, les modèles atteignent souvent une précision plus élevée dans les conditions de mélange de POS par rapport aux phrases originales, suggérant que l'irrégularité syntaxique sert elle-même d'indice heuristique pour la détection plutôt que de preuve d'une intégration sémantique robuste. Le mélange aléatoire agit comme un test de résistance, révélant un comportement instable chez certains modèles (par exemple, DeepSeek-V3) tandis que d'autres (par exemple, LLaMA-3.1-8B) restent proches du niveau du hasard.

Signification et affirmations

L'article conclut qu'une forte performance comportementale sur les benchmarks de métaphores n'implique pas nécessairement une compréhension sémantique robuste et intégrée. Au lieu de cela, le succès des LLM semble provenir d'une combinaison hétérogène de :

1. Dérive sémantique : Une tendance à dévier des correspondances d'attributs prévues.
2. Priors lexicaux : Une dépendance à des associations lexicales stables et invariantes au contexte qui peuvent soutenir les métaphores conventionnelles mais entraver le traitement des métaphores nouvelles.
3. Heuristiques syntaxiques : Une sensibilité aux perturbations structurelles de surface (comme les anomalies de POS) qui fonctionnent comme des indices de détection indépendants de la composition sémantique profonde.

Les auteurs insistent sur la nécessité de la prudence lors de l'interprétation des résultats de benchmarks comme preuves d'une véritable compréhension de la métaphore. Ils plaident pour des approches d'évaluation qui sondent l'alignement au niveau des attributs, le raisonnement contextuel et l'intégration syntaxique au-delà des indices basés sur des motifs. L'étude est modeste dans sa portée, reconnaissant des limites telles que le recours à des régions de référence construites, l'accent mis sur les métaphores d'un seul mot, et l'utilisation de jeux de données en anglais, notant que la généralisabilité à d'autres langues et phénomènes de discours nécessite des recherches plus approfondies.