💬 NLP

Beyond Understanding: Evaluating the Pragmatic Gap in LLMs' Cultural Processing of Figurative Language

Cette étude évalue les capacités de 22 grands modèles de langage à traiter le langage figuratif ancré culturellement en arabe et en anglais, révélant un écart pragmatique significatif où les modèles peinent à utiliser correctement les expressions idiomatiques malgré une compréhension souvent correcte, tout en introduisant le nouveau jeu de données Kinayat pour l'arabe égyptien.

Auteurs originaux : Mena Attia, Aashiq Muhamed, Mai Alkhamissi, Thamar Solorio, Mona Diab

Publié 2026-02-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Mena Attia, Aashiq Muhamed, Mai Alkhamissi, Thamar Solorio, Mona Diab

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que les grands modèles de langage (les IA comme moi) sont des touristes extrêmement instruits qui ont lu tous les livres du monde, mais qui n'ont jamais vraiment vécu la vie des gens dont ils parlent.

Cette recherche, intitulée "Au-delà de la compréhension", pose une question simple mais profonde : Ces touristes virtuels comprennent-ils vraiment la culture, ou se contentent-ils de réciter des phrases apprises par cœur ?

Voici l'explication de l'étude, servie avec quelques analogies pour rendre le tout plus clair.

1. Le Test de la "Vraie Vie" : Les Proverbes et les Idioms

Pour tester l'IA, les chercheurs ne lui ont pas demandé de résoudre des équations mathématiques. Ils lui ont donné des proverbes (comme "Qui vole un œuf vole un bœuf") et des expressions idiomatiques (comme "Avoir le cafard" pour dire être triste).

C'est comme si on demandait à un touriste :

Compréhension : "Que signifie cette expression ?" (Il peut lire le dictionnaire).
Usage pragmatique : "Dans quelle situation précise devrais-tu utiliser cette phrase pour ne pas offenser ton hôte ?" (C'est là que ça coince).

2. Le Décalage Culturel : L'Étranger vs L'Indigène

Les chercheurs ont testé l'IA sur deux langues : l'anglais et l'arabe (spécifiquement l'arabe égyptien).

L'anglais (Le terrain familier) : L'IA se débrouille plutôt bien. C'est comme un touriste qui a beaucoup visité Londres ; il connaît les règles de base.
L'arabe égyptien (Le terrain inconnu) : Là, l'IA trébuche. C'est comme si ce même touriste arrivait dans un village égyptien isolé. Il connaît le mot "eau", mais il ne comprend pas pourquoi on ne vend pas d'eau dans le village des vendeurs d'eau (un proverbe égyptien qui signifie : "Ne tentez pas de faire de l'argent là où il y a déjà une surabondance").

Le résultat clé : L'IA comprend la définition du proverbe, mais elle échoue lamentablement à savoir quand et comment l'utiliser dans une conversation réelle. C'est la différence entre savoir la théorie de la conduite et savoir se garer dans une rue étroite et bondée.

3. Le "Gouffre Pragmatique" : Savoir vs Faire

C'est la découverte la plus surprenante de l'étude.

Comprendre (choisir la bonne définition parmi plusieurs) : L'IA réussit environ 85 % du temps.
Utiliser (insérer l'expression au bon moment dans une phrase) : La performance chute de 14 %.

L'analogie du chef cuisinier :
Imaginez un chef qui peut parfaitement décrire la recette d'un plat traditionnel (il sait que le "couscous" est fait de semoule et de légumes). Mais si on lui demande de le cuisiner pour un dîner d'anniversaire, il risque de mettre trop de sel ou de servir le plat froid. Il a la théorie, mais pas le sens du goût (la nuance culturelle).

4. Les Émotions et les Sous-entendus

Les expressions idiomatiques ne sont pas juste des mots ; elles portent une charge émotionnelle (est-ce que c'est drôle ? méchant ? encourageant ?).
L'étude montre que l'IA a du mal à sentir cette "vibe". Même quand les humains sont d'accord à 100 % sur le fait qu'une phrase est "négative", l'IA hésite souvent. C'est comme essayer de deviner si quelqu'un vous fait un compliment ou une moquerie en regardant uniquement son texte, sans voir son sourire ou entendre son ton de voix.

5. La Solution : Le "Kinayat"

Pour aider les chercheurs à améliorer ces IA, ils ont créé un nouveau jeu de données appelé Kinayat.
C'est comme un manuel de survie culturelle pour les robots, spécifiquement pour l'arabe égyptien. Il contient des centaines d'expressions avec des exemples de situations réelles où les utiliser. C'est une première mondiale pour ce type de dialecte.

En Résumé

Cette étude nous dit que les IA actuelles sont des encyclopédistes brillants mais des sociaux maladroits.

Elles peuvent expliquer un proverbe.
Elles échouent souvent à l'utiliser naturellement dans une conversation.
Elles ont besoin de plus que des statistiques ; elles ont besoin de comprendre la culture, l'histoire et les émotions humaines pour vraiment "parler" comme nous.

C'est un rappel important : pour qu'une IA soit vraiment intelligente, elle ne doit pas seulement connaître les mots, elle doit comprendre la vie derrière ces mots.

1. Problématique

Bien que les Grands Modèles de Langage (LLM) aient fait des progrès remarquables dans la compréhension et la génération multilingues, leur capacité à traiter le sens ancré culturellement reste mal comprise. Le langage figuré (idiomes, proverbes) encode des connaissances locales, des valeurs sociales et des nuances pragmatiques qui dépassent la sémantique littérale.

Les études précédentes se sont principalement concentrées sur la compréhension (pouvoir expliquer le sens d'un idiome), mais ont négligé l'usage pragmatique (savoir l'utiliser correctement dans un contexte social approprié). Les auteurs soulignent un manque de ressources d'évaluation pour les langues arabes, en particulier pour les dialectes, et une absence de benchmarks mesurant la compétence culturelle réelle au-delà de la simple traduction ou mémorisation.

2. Méthodologie

Les auteurs ont conçu un cadre d'évaluation complet pour tester 22 modèles LLM (open-source et closed-source, de différentes tailles et architectures) sur trois tâches principales :

Données :
- Kinayat (Nouveau Dataset) : Un ensemble de données inédit de 325 idiomes en arabe égyptien (dialecte), annotés pour le sens figuré et l'usage pragmatique.
- Jawaher : Un dataset existant de proverbes arabes multidialectaux (20 variétés).
- MAPS : Un dataset multilingue de proverbes (utilisé ici pour la partie anglaise).
Tâches d'évaluation :
1. Compréhension (MCQ) : Sélectionner la bonne explication parmi deux options (une correcte, une incorrecte générée par IA). Une variante inclut une phrase de contexte pour évaluer la compréhension contextuelle.
2. Usage Pragmatique : Tâche de remplissage de trou (Cloze) où le modèle doit choisir l'idiome approprié pour compléter une phrase donnée. Cela teste la capacité à inférer le contexte social et émotionnel.
3. Connotation : Classification du ton (positif, négatif, neutre) des expressions.
4. Génération et Mémorisation : Production d'explications et complétion de proverbes (mot manquant).
Métriques : Précision (Accuracy), BERTScore pour la génération, et évaluation par un LLM (LLM-as-a-Judge) validée par des humains.

3. Contributions Clés

Introduction d'une tâche d'usage pragmatique : Pour la première fois, une évaluation systématique de la capacité des LLM à utiliser correctement des idiomes dans un contexte, plutôt que de simplement les définir.
Suite d'évaluation unifiée : Un cadre comparant la compréhension, l'usage contextuel et l'inférence connotative à travers l'anglais et plusieurs variétés d'arabe.
Dataset Kinayat : Publication du premier dataset d'idiomes en arabe égyptien conçu spécifiquement pour évaluer à la fois la compréhension figurée et l'usage pragmatique.

4. Résultats Principaux

Les résultats révèlent une hiérarchie de performance constante et des lacunes significatives :

Écart Linguistique et Culturel :
- Les modèles performent mieux sur les proverbes anglais que sur les proverbes arabes (moyenne -4,29% pour l'arabe).
- Au sein de l'arabe, les modèles réussissent mieux avec les proverbes en Arabe Standard Moderne (MSA) qu'avec les idiomes du dialecte égyptien (Kinayat), avec une baisse de performance de -10,28% pour les idiomes. Cela suggère une difficulté accrue avec les variétés linguistiques vernaculaires et culturellement spécifiques.
Le « Gap Pragmatique » (Pragmatics Gap) :
- C'est la découverte la plus significative. La précision des modèles pour utiliser un idiome dans un contexte est en moyenne 14,07% inférieure à leur précision pour simplement comprendre son sens.
- Même les modèles de pointe (frontier models) peinent à appliquer les idiomes de manière socialement appropriée.
- L'ajout d'une phrase de contexte dans la tâche de compréhension améliore la précision de +10,66%, mais ne comble pas entièrement l'écart avec l'usage réel.
Connotations et Mémorisation :
- Les modèles atteignent au maximum 85,58% d'accord avec les annotateurs humains sur les connotations (pour les échantillons où les humains sont d'accord à 100%), indiquant des limites dans la compréhension des nuances affectives.
- La mémorisation des proverbes arabes est très faible (10,65% de précision en moyenne contre 75,43% pour l'anglais), suggérant une sous-représentation des proverbes arabes dans les données d'entraînement.
Impact de la taille du modèle :
- Une corrélation positive modérée existe entre la taille du modèle et la performance pragmatique ( $R^2 = 0,6$ ), plus forte que pour la simple compréhension. Les modèles plus grands (comme Claude 3.5 Sonnet et GPT-4o) dominent, mais les modèles spécialisés en arabe (comme ALLaM) montrent des forces dans certaines tâches de génération.

5. Signification et Implications

Cette étude démontre que le langage figuré est un diagnostic efficace pour évaluer le raisonnement culturel des LLM.

Au-delà de la traduction : Les modèles peuvent souvent interpréter le sens littéral ou figuré d'une expression, mais échouent à comprendre quand et comment l'utiliser dans une interaction sociale réelle.
Limites culturelles : Il existe un biais systémique en faveur des cultures et langues à haute ressource (comme l'anglais) et des registres formels (MSA), au détriment des dialectes et des nuances culturelles locales.
Direction future : Les travaux futurs doivent se concentrer sur l'amélioration de la compétence pragmatique des modèles, l'expansion des benchmarks à d'autres dialectes arabes, et l'évaluation de la génération libre d'expressions figurées culturellement appropriées.

En résumé, bien que les LLM aient acquis une vaste connaissance factuelle, ils manquent encore d'une « intelligence culturelle » profonde nécessaire pour naviguer dans les subtilités du langage figuré ancré dans des contextes locaux spécifiques.