Résumé technique : Les LLM peuvent-ils interpréter le langage figuré comme les humains ?

Énoncé du problème

Bien que les grands modèles de langage (LLM) génèrent du texte qui ressemble à une production humaine, la mesure dans laquelle ils s'alignent sur les jugements humains pour interpréter le langage figuré et socialement ancré reste incertaine. La littérature existante suggère que les LLM peuvent correspondre aux humains sur des jugements de surface (par exemple, la précision grammaticale ou le sentiment de base), mais divergent dans les processus d'interprétation plus profonds impliquant la pragmatique, le contexte et l'expérience subjective. Plus précisément, il n'est pas clair si les LLM possèdent l'ancrage cognitif nécessaire pour organiser le sens dans un espace sémantique partagé avec les humains, particulièrement pour des traits linguistiques complexes tels que les idiomes, le sarcasme, l'humour, le ton émotionnel et l'argot de la Génération Z. La recherche actuelle repose souvent sur l'accord agrégé (similitude de surface), ce qui peut masquer l'incapacité à capturer les distinctions fines requises pour les phénomènes pragmatiques nuancés.

Méthodologie

Pour répondre à cela, les auteurs ont mené une étude comparant des participants humains et quatre LLM ajustés par instruction (GPT-4, Gemma-2-9B, Llama-3.2 et Mistral-7B) en utilisant l'Analyse de Similitude Représentationnelle (RSA).

Données et stimuli

• Stimuli : Un ensemble de données de 240 phrases basées sur des dialogues a été compilé, divisé en 120 phrases « sensées » (contenant un trait linguistique spécifique) et 120 phrases « non sensées » (structurellement similaires mais omettant le trait clé).
• Catégories : Les phrases ont été classées en six traits linguistiques : Conventionnel, Idiomatique, Émotionnel, Drôle, Sarcastique et Argot de la Génération Z.
• Évaluation : Chaque phrase a été associée à 40 questions interprétatives (par exemple, « Est-ce sarcastique ? », « Est-ce pertinent pour vous ? ») conçues pour évaluer le sens, le ton et la qualité expressive.
• Échelle : Les humains et les modèles ont évalué les phrases sur une échelle de Likert de 1 à 10, résultant en 9 600 paires phrase–question.

Participants

• Humains : 211 étudiants de l'Université Texas A&M.
• Modèles : Quatre LLM de type décodeur uniquement, ajustés par instruction, accédés via API ou Hugging Face.
• Conditions : Deux études ont été menées. L'étude 1 utilisait un prompt standard en zero-shot. L'étude 2 a introduit des contraintes raffinées (limites strictes de notation de 1 à 10 et justifications en une seule phrase) pour évaluer la sensibilité au prompt.

Cadre analytique

L'étude distingue deux niveaux d'alignement :

1. Similitude de surface (SLS) : Calculée via les coefficients de corrélation de Pearson entre les évaluations humaines et celles des modèles pour des catégories de phrases spécifiques. Cela mesure l'accord au niveau de la sortie.
2. Similitude représentationnelle (RSA) : Cette méthode examine la structure interne de l'interprétation.
   • Des distances euclidiennes par paires ont été calculées entre toutes les paires de phrases basées sur leurs vecteurs de notation à 40 dimensions, créant une Matrice de Dissimilitude Représentationnelle (RDM) pour les humains et pour chaque modèle.
   • La RSA a quantifié l'alignement en corrélant les entrées de la partie supérieure de la RDM humaine avec les RDM des modèles.
   • Signification : Une corrélation RSA élevée indique que les humains et les modèles organisent les phrases de manière structurellement similaire au sein de leurs espaces sémantiques, même si les valeurs absolates de notation diffèrent. Une corrélation RSA faible suggère des géométries de représentation interne divergentes.

Résultats clés

Similitude de surface (SLS)

• Alignement général : Les modèles, particulièrement GPT-4, ont montré un fort alignement de surface avec les humains (corrélations $r \approx 0,60–0,90$ pour les phrases sensées).
• Hiérarchie des modèles : GPT-4 a systématiquement surpassé les autres modèles. Gemma et Mistral ont montré un alignement modéré, tandis que Llama-3.2 présentait l'alignement le plus faible, surtout pour les catégories figurées.
• Différences de catégories : Les phrases conventionnelles et émotionnelles ont produit des corrélations plus élevées que l'humour, le sarcasme et l'argot.
• Sensibilité au prompt : L'étude 2 (prompts raffinés) a montré des améliorations modestes de la SLS dans tous les modèles, mais les phrases non sensées sont restées problématiques.

Similitude représentationnelle (RSA)

• Divergence : Malgré un accord de surface élevé, la RSA a révélé une divergence systématique entre les espaces de représentation des modèles et des humains.
• Langage figuré : L'alignement était nettement plus faible pour les catégories pragmatiquement riches (idiomes, sarcasme, argot de la Génération Z) par rapport aux phrases conventionnelles ou émotionnelles.
  • GPT-4 a montré l'alignement représentationnel le plus fort ($r \approx 0,50–0,85$ pour les phrases sensées) mais est resté en deçà de la cohérence humain–humain ($r \approx 0,75–0,85$).
  • Les modèles plus petits (Llama, Mistral) ont montré un très faible alignement représentationnel ($r \approx 0,10–0,35$) pour les catégories figurées.
• Phrases non sensées : Les modèles ont eu du mal à distinguer les variantes sensées des variantes non sensées dans leurs représentations internes, les corrélations chutant considérablement par rapport aux références humaines.
• Impact du prompt : Bien que les prompts raffinés aient amélioré les notations de surface, ils n'ont pas substantiellement restructuré l'organisation sémantique interne des modèles, particulièrement pour Llama.

Contributions clés

1. Distinction méthodologique : L'étude sépare explicitement l'accord comportemental de surface de l'alignement structurel de la représentation, démontrant qu'une forte corrélation dans les évaluations ne garantit pas un partage de l'organisation sémantique interne.
2. Preuve empirique de divergence : Elle fournit la preuve que les LLM, même les modèles de pointe comme GPT-4, échouent à répliquer pleinement les géométries de représentation de type humain pour le langage figuré, particulièrement pour les traits dépendants du contexte comme le sarcasme et l'argot.
3. Hiérarchie des modèles : Elle étabète une hiérarchie cohérente où GPT-4 se rapproche davantage des modèles de représentation humains que les modèles plus petits, bien qu'aucun modèle n'atteigne la fiabilité humain–humain.
4. Aperçu des mécanismes : Les résultats suggèrent que les objectifs d'entraînement actuels (prédiction du prochain jeton) sont insuffisants pour contraindre l'organisation interne du sens pour l'inférence pragmatique, amenant les modèles à s'appuyer sur des heuristiques de surface plutôt que sur un ancrage sémantique stable.

Signification et affirmations

L'article affirme que, bien que les LLM puissent approximer les jugements humains à un niveau de surface, ils ne possèdent pas encore la structure représentationnelle requise pour une interprétation véritablement humaine du langage figuré et socialement ancré.

• Limites des modèles actuels : Les conclusions soutiennent la vue selon laquelle les LLM reposent sur l'appariement de motifs distributionnels plutôt que sur un ancage sémantique stable. L'incapacité à s'aligner sur la géométrie de représentation pour les idiomes et l'argot suggère un manque de supervision sensible au contexte et d'ancrage social dans les architectures actuelles.
• Implications pour l'évaluation : Les auteurs soutiennent que l'évaluation des LLM uniquement sur la précision de la sortie ou les corrélations de surface est insuffisante. Les cadres futurs doivent sonder comment le sens est organisé en interne (via des méthodes comme la RSA) plutôt que de simplement examiner ce que la sortie générée est.
• Portée modeste : Les auteurs reconnaissent des limites, notamment la taille relativement petite de l'ensemble de données, l'absence d'indices contextuels riches dans les stimuli (qui sont cruciaux pour le sarcasme et l'humour) et l'hypothèse que les humains et les LLM partagent des cadres internes comparables. Par conséquent, les affirmations sont limitées à l'interprétation pragmatique indépendante du contexte, suggérant que les écarts observés peuvent être exacerbés par l'absence de contexte de discours réel.

En conclusion, l'étude pose que les LLM actuels encodent le langage figuré dans des espaces de représentation qui sont seulement partiellement alignés avec l'organisation sémantique humaine, soulignant un fossé fondamental entre la génération d'un texte semblable à celui de l'humain et la possession d'un ancrage cognitif humain pour le langage pragmatique.