Interpretable Chinese Metaphor Identification via LLM-Assisted MIPVU Rule Script Generation: A Comparative Protocol Study

Cette étude présente un pipeline assisté par LLM qui transforme quatre protocoles d'identification des métaphores en scripts de règles exécutables et auditable, démontrant que le choix du protocole est le facteur dominant de variation dans la détection des métaphores en chinois tout en garantissant une transparence totale et une reproductibilité déterministe.

L'essentiel

Voici une explication simple de cette recherche, imaginée comme une histoire de détectives et de traducteurs.

🕵️‍♂️ Le Grand Mystère : Comment l'ordinateur comprend-il les métaphores ?

Imaginez que vous essayez d'enseigner à un robot à comprendre le langage humain. Le problème, c'est que les humains utilisent souvent des images. Quand on dit « Le temps, c'est de l'argent », le robot ne doit pas penser que le temps est une pièce de monnaie qu'on peut mettre dans sa poche. Il doit comprendre que c'est une métaphore.

Jusqu'à présent, les ordinateurs (les modèles d'intelligence artificielle) faisaient ça comme un magicien qui sort un lapin d'un chapeau. Ils vous disent : « Oui, c'est une métaphore ! » mais ils ne vous disent jamais comment ils ont fait. C'est une boîte noire : on voit le résultat, mais pas la magie à l'intérieur. C'est très frustrant, surtout pour le chinois, une langue où les mots ne changent pas de forme (pas de pluriel, pas de conjugaison visible) et où l'on compte beaucoup sur le contexte.

🛠️ La Solution : Remplacer la Magie par une Recette de Cuisine

Les auteurs de cette étude (Weihang Huang et Mengna Liu) ont eu une idée brillante : au lieu de demander à l'IA de "deviner" comme un magicien, ils lui ont demandé de devenir un chef cuisinier rigoureux.

Ils ont créé un système où l'IA ne donne pas la réponse directement. Au lieu de cela, elle écrit une recette de cuisine (un script de règles) que n'importe quel humain peut lire et vérifier.

Imaginez que vous avez quatre façons différentes de repérer une métaphore, comme quatre détectives avec des lunettes différentes :

1. Le Détective Lexique (Protocole A) : Il regarde chaque mot individuellement. Il se demande : « Est-ce que ce mot a un sens de base (comme "pied" pour une chaise) et un sens figuré ici ? ». C'est comme vérifier chaque ingrédient d'une salade.
2. Le Cartographe (Protocole B) : Il cherche des liens entre deux mondes. Il dit : « Ah ! On compare une "épée" (l'arme) à des "paroles" (les mots). C'est une carte mentale ! ».
3. Le Psychologue (Protocole C) : Il regarde les émotions. Il se demande : « Est-ce que cette phrase crée une émotion bizarre ou inattendue ? ». Si c'est le cas, c'est probablement une métaphore.
4. Le Chasseur de Comparaisons (Protocole D) : Il cherche les mots "comme", "tel", "semblable". C'est le plus simple, mais il rate beaucoup de métaphores cachées.

🧪 L'Expérience : Qui est le meilleur ?

Les chercheurs ont testé ces quatre "détectives" sur sept ensembles de données chinoises différentes. C'est là que ça devient fascinant.

La Révélation Choc :
Ils ont découvert que le choix du détective (la méthode) est beaucoup plus important que la puissance de l'ordinateur.

• Si vous utilisez le Détective Lexique (A) et le Chasseur de Comparaisons (D), ils sont presque d'accord sur rien ! (Ils ne sont d'accord que 1 fois sur 1000). C'est comme si l'un cherchait des chats et l'autre des poissons, alors qu'ils regardent le même aquarium.
• Par contre, le Cartographe (B) et le Psychologue (C) sont des jumeaux séparés à la naissance : ils sont d'accord à 99 % ! Ils voient exactement les mêmes métaphores.

Cela signifie que dire "J'ai trouvé une métaphore" ne veut rien dire si on ne précise pas quelle règle on a utilisée pour la trouver.

📝 Pourquoi c'est génial pour nous, les humains ?

Le plus grand avantage de ce système, c'est la transparence.

• Avec les anciens robots (Boîte Noire) : Si l'IA se trompe, vous ne savez pas pourquoi. Vous devez la réentraîner de zéro, comme si vous deviez rééduquer un enfant entier.
• Avec ce nouveau système (Recette de Cuisine) : Si l'IA se trompe, vous pouvez ouvrir la recette et dire : « Ah ! Le problème est à l'étape 3. Le robot a mal compris le sens de base du mot "profond". Je vais juste corriger cette ligne de la recette. »

C'est comme si vous aviez un GPS.

• L'ancien système vous disait juste : « Tournez à droite » (sans dire pourquoi).
• Ce nouveau système vous dit : « Tournez à droite parce que la route de gauche est bloquée par un pont effondré ». Et si vous n'êtes pas d'accord, vous pouvez modifier le plan de route immédiatement.

🎯 En résumé

Cette étude nous apprend trois choses importantes :

1. La méthode compte plus que la machine : Peu importe si vous utilisez un super-ordinateur, si votre méthode de recherche de métaphores est floue, vos résultats seront différents de ceux d'un autre chercheur.
2. On peut être intelligent ET transparent : On n'a pas besoin de choisir entre une IA puissante et une IA compréhensible. On peut avoir les deux en demandant à l'IA de suivre des règles claires.
3. Le chinois est spécial : Pour le chinois, il faut des méthodes adaptées, car les mots sont comme des blocs de Lego qui s'assemblent de façons très différentes des langues européennes.

En fin de compte, les auteurs nous disent : « Arrêtons de courir après le score parfait (le F1) en cachant nos méthodes. Disons clairement comment nous travaillons, pour que tout le monde puisse comprendre, vérifier et améliorer le travail. » C'est une approche plus honnête et plus utile pour l'éducation et la science.

Résumé technique

Voici un résumé technique détaillé de l'article de recherche intitulé « INTERPRETABLE CHINESE METAPHOR IDENTIFICATION VIA LLM-ASSISTED MIPVU RULE SCRIPT GENERATION: A COMPARATIVE PROTOCOL STUDY ».

1. Problématique

La détection automatique de la métaphore est une tâche fondamentale en traitement du langage naturel (TLN), mais les approches computationnelles actuelles souffrent d'un déficit d'interprétabilité. La plupart des classificateurs basés sur des modèles de langage pré-entraînés (LLM) fonctionnent comme des « boîtes noires » : ils peuvent identifier correctement une expression comme métaphorique, mais ne fournissent aucune explication structurée sur le pourquoi de cette décision (mécanisme figuratif, contraste de sens, etc.).

Ce problème est particulièrement aigu pour le chinois en raison de trois défis spécifiques :

• Absence de marques morphologiques : Contrairement aux langues indo-européennes, le chinois ne possède pas d'inflections qui servent de indices de surface pour la métaphore. La distinction entre sens littéral et figuré repose presque entièrement sur le contexte et la connaissance du monde.
• Diversité des phénomènes : Le chinois comprend des métaphores conceptuelles, des similitudes, des métonymies et des figures de style culturelles qui ne s'alignent pas facilement sur les cadres d'annotation développés pour l'anglais.
• Ressources limitées et fragmentées : Les corpus annotés sont rares et utilisent des schémas d'annotation incompatibles.

L'objectif de l'article est de combler ce fossé en proposant un système transparent, reproductible et auditable pour l'identification des métaphores en chinois, en séparant la logique du protocole linguistique du modèle de langage lui-même.

2. Méthodologie

Les auteurs proposent un pipeline assisté par LLM qui transforme quatre protocoles d'identification de métaphores théoriquement fondés en scripts de règles exécutables. L'architecture repose sur le principe de séparation entre le protocole (la logique) et le modèle (l'outil d'exécution).

Architecture du Système

Le système est composé de cinq modules séquentiels :

1. Prétraitement : Segmentation, étiquetage grammatical (POS) et normalisation.
2. Sélection des candidats : Filtrage spécifique au protocole (mots de contenu, phrases, marqueurs de comparaison).
3. Analyse sémantique : Utilisation d'appels LLM contraints (avec température 0 pour la déterminité) pour récupérer les significations de base, identifier les domaines conceptuels ou évaluer les valences émotionnelles.
4. Classification : Application de règles déterministes aux sorties structurées de l'analyse sémantique pour prendre la décision finale.
5. Génération de justifications (Rationale) : Production d'une explication structurée (JSON) détaillant les preuves linguistiques ayant conduit à la décision.

Les Quatre Protocoles Implémentés

1. Protocole A (MIP/MIPVU) : Analyse lexicale basée sur le contraste entre le sens contextuel et le sens de base (dictionnaire).
2. Protocole B (CMDAG) : Identification au niveau de la phrase par extraction de triplets conceptuels (Tenor-Véhicule-Fondement).
3. Protocole C (Émotion) : Détection basée sur l'incongruité affective (décalage entre la valence émotionnelle littérale et figurée).
4. Protocole D (Similitude) : Identification ciblée des comparaisons explicites via des marqueurs lexicaux (comme « 像 » - comme).

3. Contributions Clés

• Premier système de scripts de règles exécutables pour le chinois : Opérationnalisation de multiples protocoles d'identification en scripts modulaires, garantissant une reproductibilité déterministe à 100 %.
• Première comparaison inter-protocoles complète : Évaluation sur sept jeux de données chinois (niveaux token, phrase et span), révélant que le choix du protocole est la source principale de variation, surpassant même les différences entre modèles.
• Cadre d'évaluation de l'interprétabilité : Introduction de trois métriques pour auditer la transparence :
  • Exactitude de la justification (Rationale Correctness) : La justesse de l'explication fournie.
  • Déterminisme : Capacité à reproduire exactement le même résultat.
  • Éditabilité : Facilité à modifier les règles pour corriger des erreurs spécifiques sans réentraîner le modèle.
• Ressources ouvertes : Publication du code, des implémentations de protocoles et des scripts d'évaluation.

4. Résultats Expérimentaux

Évaluation Intrinsèque (Within-Protocol)

• Protocole A (MIP) : Sur le corpus PSU CMC (niveau token), il atteint un F1 de 0,472. C'est le meilleur score intrinsèque, bien que la précision soit modérée en raison de l'imbalance des classes (9,2 % de métaphores).
• Protocole B et C : Montrent une haute précision (>0,63) mais un rappel très faible (<0,24), indiquant qu'ils ne capturent qu'un sous-ensemble spécifique de métaphores (celles avec des mappings clairs ou des incongruités émotionnelles).
• Protocole D (Similitude) : Haute précision mais rappel quasi nul sur les données générales, car il ne détecte que les comparaisons explicites.

Comparaison Inter-Protocoles (Cross-Protocol)

L'application des quatre protocoles sur un même jeu de données (1 723 phrases) révèle des divergences frappantes :

• Accord quasi-parfait entre B et C : Le coefficient Kappa de Cohen est de 0,986, suggérant que les métaphores détectables par mapping conceptuel sont les mêmes que celles détectées par incongruité émotionnelle.
• Divergence totale avec A et D : L'accord entre le Protocole A (MIP) et le Protocole D (Similitude) est de 0,001. Le Protocole A identifie des métaphores lexicalisées conventionnelles que les autres protocoles ignorent, tandis que le Protocole D ne voit que les similitudes explicites.
• Conclusion majeure : Le choix du protocole introduit plus de variation que le choix du modèle. « L'identification de métaphore » n'est pas une tâche unitaire mais une famille de tâches dépendant de l'opérationnalisation théorique.

Performance vs Interprétabilité

• Le système atteint un F1 de 0,472, se situant entre le zero-shot GPT-4 (0,43) et un BERT finetuné (0,65).
• Bien que légèrement inférieur aux modèles finetunés, le système offre une transparence totale (100 % de déterminisme, justifications auditables), ce qui est impossible avec les classificateurs neuronaux end-to-end.

5. Signification et Implications

• Primauté du Protocole : L'étude démontre que la performance d'un système de détection de métaphore dépend davantage de la définition théorique choisie (le protocole) que de la puissance du modèle sous-jacent.
• Avantage de l'architecture Rule-Script : Cette approche permet non seulement de comprendre pourquoi une décision a été prise (auditabilité), mais aussi de corriger les erreurs en modifiant les règles (éditabilité), sans nécessiter de réentraînement coûteux.
• Changement de paradigme : Les auteurs plaident pour un changement dans le domaine : au lieu de poursuivre uniquement des scores F1 plus élevés sur un seul benchmark, la recherche devrait privilégier la transparence, l'explicitation des protocoles et l'évaluation multi-cadres théoriques.
• Limites : La dépendance à un LLM propriétaire (GPT-4) et le biais potentiel du jeu de données d'évaluation (annoté selon MIPVU, favorisant le Protocole A) sont notés comme des limites à surmonter.

En résumé, cet article propose une architecture hybride innovante qui rend l'identification des métaphores en chinois à la fois performante et, surtout, explicable et contrôlable, offrant une alternative viable aux approches de « boîte noire » dominantes.