Dutch Metaphor Extraction from Cancer Patients' Interviews and Forum Data using LLMs and Human in the Loop

Cet article présente la création du corpus HealthQuote.NL, qui extrait et valide des métaphores utilisées par des patients cancéreux néerlandophones à partir d'entretiens et de forums en combinant des modèles de langage de pointe avec une validation humaine, afin d'améliorer la communication et les soins de santé.

L'essentiel

Voici une explication de cette recherche, imagée comme si nous étions autour d'une table pour en discuter.

🎭 L'Enquête : Chasser les métaphores cachées

Imaginez que vous êtes un détective, mais au lieu de chercher des empreintes digitales, vous cherchez des métaphores. Ces petites pépites de langage où les gens comparent leur maladie à autre chose (un voyage, une bataille, une tempête).

Les chercheurs de cette étude, des experts en intelligence artificielle et en santé, se sont dit : "Et si on utilisait des robots intelligents (des IA) pour trouver ces métaphores dans les histoires de patients cancéreux qui parlent en néerlandais ?"

Leur but ? Aider les médecins et les proches à mieux comprendre ce que ressentent les patients, car les mots comptent énormément quand on traverse une épreuve difficile.

🤖 Le Robot et l'Humain : Une équipe de choc

Pour mener cette enquête, ils ont créé une équipe spéciale : l'Humain dans la boucle.

1. Le Robot (L'IA) : C'est le grand chercheur rapide. Il lit des milliers de pages d'interviews et de forums internet. Mais comme un enfant curieux, il fait parfois des bêtises : il invente des phrases (hallucinations) ou confond une métaphore avec une simple expression courante (comme dire "j'ai le cafard" qui est une expression, pas une métaphore sur un oiseau).
2. L'Humain (L'Expert) : C'est le chef d'orchestre. Il vérifie ce que le robot a trouvé. Il dit : "Attends, ce n'est pas une métaphore, c'est juste une façon de parler" ou "Bravo, c'est exactement ça !".

C'est comme si le robot était un assistant qui trie des milliers de lettres, et l'humain est le facteur qui sélectionne les plus belles pour les envoyer au bon destinataire.

🛠️ L'Outillage : Comment on a appris au robot ?

Au début, le robot était un peu perdu. On lui disait simplement : "Trouve-moi des métaphores". Résultat ? Il a trouvé des choses bizarres, inventé des phrases ou traduit trop littéralement.

Les chercheurs ont donc affiné leurs instructions, un peu comme on donne des consignes de plus en plus précises à un nouvel employé :

• La méthode "Chaîne de pensée" : On a demandé au robot de réfléchir à voix haute avant de répondre. "Pourquoi est-ce une métaphore ? Ah oui, parce qu'il compare le cancer à une guerre..."
• Le Menu de référence : Ils ont donné au robot un "menu" de métaphores connues (comme "le voyage" ou "la lutte") pour l'aider à s'orienter, mais attention ! Ils ont dû faire attention à ce que le robot ne copie pas bêtement ce menu et rate les nouvelles métaphores originales des patients.

📚 Le Trésor trouvé : HealthQuote.NL

Grâce à ce travail d'équipe, ils ont créé un trésor appelé HealthQuote.NL. C'est une collection de 130 métaphores validées par des humains.

Voici quelques exemples de ce qu'ils ont trouvé, qui montrent la richesse de l'âme humaine face à la maladie :

• La Fête : Un patient compare son cancer à une "fête non invitée". C'est ironique et drôle, ça permet de transformer la peur en humour noir.
• La Voiture cassée : "Je me sens comme une vieille épave de voiture." Cela montre la fatigue et les dégâts, mais aussi l'espoir de réparation.
• Le Phare : Un proche est comparé à un phare qui guide dans la tempête. C'est une image de sécurité et de stabilité.
• Le Train : La maladie est un train qui ne s'arrête jamais. On est dedans, qu'on le veuille ou non.

🧩 Pourquoi c'est important ?

Imaginez que vous parlez à un médecin. Si vous dites "Je me sens comme un petit bateau dans une tempête", le médecin comprend immédiatement que vous vous sentez perdu et effrayé. Si vous dites juste "Je suis stressé", c'est moins visuel.

Cette étude montre que :

1. Les IA peuvent aider, mais elles ont besoin de l'œil humain pour ne pas se tromper.
2. Le langage des patients est une mine d'or. En comprenant leurs métaphores, les soignants peuvent mieux adapter leur discours, être plus empathiques et moins "techniques".
3. C'est une première mondiale pour la langue néerlandaise. Avant, on avait surtout des listes en anglais. Maintenant, les patients néerlandophones ont leur propre dictionnaire de sentiments.

En résumé

C'est comme si les chercheurs avaient construit un pont entre la technologie (les robots rapides) et l'émotion humaine (les métaphores des patients). Ils ont appris aux robots à lire entre les lignes, et grâce à cela, ils ont créé un outil précieux pour que la communication entre soignants et soignés soit plus douce, plus claire et plus humaine.

Leur message final est simple : Pour soigner le corps, il faut aussi comprendre l'imaginaire du patient.

Résumé technique

Voici un résumé technique détaillé de l'article de recherche en français, structuré selon les sections demandées.

Titre de l'étude

Extraction de métaphores en néerlandais à partir d'entretiens avec des patients atteints de cancer et de données de forums, utilisant des LLMs et une boucle humaine.

1. Problématique

Les métaphores jouent un rôle crucial dans la communication entre les patients atteints de cancer et les cliniciens, aidant souvent les patients à conceptualiser leur parcours de soins (par exemple, en le comparant à un voyage ou à une bataille). Cependant, l'identification et l'extraction automatisée de ces métaphores dans la langue néerlandaise restent un domaine vierge.
Les défis principaux identifiés sont :

• Le manque d'outils spécifiques pour le néerlandais dans le domaine de la santé.
• La difficulté pour les modèles de langage (LLM) à distinguer les métaphores réelles des idiomes, du langage figuré général ou des hallucinations (inventions de métaphores non présentes dans le texte).
• La nécessité de préserver la vie privée des patients lors du traitement de données sensibles (entretiens et forums).

2. Méthodologie

Les auteurs ont développé un cadre d'extraction « Human-in-the-Loop » (boucle humaine) combinant des LLMs open-source et une validation linguistique experte.

A. Données

Deux corpus de données néerlandaises ont été utilisés :

1. Entretiens oraux : Transcriptions de 13 interviews en oncologie (patients, proches, chercheurs).
2. Données écrites : Un ensemble de 15 653 blogs et commentaires provenant du site kanker.nl (forums de patients).

B. Architecture du système

Le processus d'extraction suit les étapes suivantes (illustré dans la Figure 1 de l'article) :

1. Prompting (Ingénierie de prompt) :
   • Prompt Initial (I.inP) : Instructions de base sans raisonnement explicite.
   • Prompts Raffinés (RP) : Utilisation de techniques avancées incluant le Chain-of-Thought (CoT) (chaîne de pensée), l'Iterative Self-Prompting (ISP), et l'insertion de connaissances (Knowledge-Inserted Prompting) via la liste anglaise "Metaphor Menu".
   • Les prompts incluent un rôle d'expert linguiste, des protocoles d'extraction stricts et des règles de contrôle qualité.
2. Modèles LLM :
   • Utilisation de plusieurs modèles open-source locaux (via la plateforme Ollama) pour des raisons de confidentialité : Qwen, Gemma, Llama, Mistral, DeepSeek, Meditron, MedLlama.
   • Comparaison avec des modèles commerciaux (GPT-5) sur les données de forums.
3. Vérification Automatique (Auto-verify) :
   • Un outil externe vérifie si le LLM a trouvé le texte exact dans le document, identifié le locuteur et distingué la métaphore des termes médicaux littéraux.
4. Validation Humaine :
   • Trois experts linguistes natifs (PhD) ont validé manuellement les sorties.
   • Critères d'évaluation : Fidélité (présence réelle dans le texte), Métaphoricité (mapping conceptuel réel vs idiome), et Adéquation contextuelle.

C. Catégorisation

Les métaphores extraites sont classées selon :

• Type : Mot, phrase, phrase complète, étendu.
• Domaine source : Violence, voyage, nature, jeux, religion, contrôle, machine, etc.
• Fonction : Explication, coping (gestion), autonomisation, relation, pronostic, traitement, émotion, humour.

3. Contributions Clés

• Première étude sur l'extraction automatisée de métaphores en néerlandais dans le contexte du cancer.
• Développement d'un cadre d'extraction Human-in-the-Loop intégrant le prompting structuré, la vérification automatique et l'évaluation experte.
• Création du jeu de données HealthQuote.NL, contenant 130 métaphores validées (65 issues des entretiens, 65 des blogs).
• Analyse empirique des stratégies de prompting et identification des modes d'échec courants (hallucinations, confusion avec les idiomes).
• Mise à disposition des ressources (prompts, code) sur GitHub.

4. Résultats

• Performance des Prompts :
  • Le prompt initial a généré 72 candidats avec une précision de 56,9 % (41 validés). Les erreurs incluaient des résumés abstraits et des idiomes mal classés.
  • Le prompt raffiné v1 (CoT + exemples courts) a atteint la meilleure précision de 63,2 % (24 validés sur 38), réduisant significativement les hallucinations.
  • Le prompt raffiné v2 (incluant le menu complet de métaphores anglaises) a généré beaucoup plus de candidats (174) mais avec une précision faible (13,8 %), indiquant un bruit important et une sur-interprétation.
• Analyse des Erreurs :
  • Les LLMs ont tendance à halluciner des métaphores (ex: inventer un "médecin prêtre" à partir d'une phrase sur un assistant médical).
  • Confusion fréquente entre métaphores et idiomes (ex: "une quantité de bébé" pour décrire un petit repas).
  • Abstraction excessive : le modèle reformule au lieu d'extraire le texte exact.
• Application aux Blogs :
  • Sur 100 posts de blogs analysés, le modèle a identifié 65 instances, dont environ 10 métaphores "vives" et conceptuellement riches (ex: "Le cancer comme une fête non invitée", "Le corps comme une voiture endommagée", "Le phare comme guide").
• Comparaison Modèles :
  • Différents modèles (Qwen, Mistral, MedLlama, etc.) extraient des métaphores différentes, suggérant qu'une approche en comité (collective LLMs) est bénéfique.
  • GPT-5 a permis de mapper les métaphores extraites au "Metaphor Menu" anglais avec des scores de confiance, confirmant la pertinence des métaphores néerlandaises par rapport aux catégories existantes.

5. Signification et Impact

• Pour la recherche : Ce travail comble un vide linguistique majeur (néerlandais) et fournit une méthodologie robuste pour l'extraction de métaphores dans des domaines sensibles, en surmontant les limites des LLMs via la boucle humaine.
• Pour la pratique clinique : Le jeu de données HealthQuote.NL peut être utilisé pour :
  • Améliorer la communication patient-soignant en fournissant un vocabulaire métaphorique partagé.
  • Développer des outils d'aide à la décision ou des menus de métaphores pour les soignants (similaire au "Metaphor Menu" britannique).
  • Comprendre comment les patients néerlandais conceptualisent la maladie, l'identité et la guérison.
• Éthique : L'étude respecte strictement la confidentialité des données en utilisant des modèles locaux et en fournissant uniquement des exemples paraphrasés ou synthétiques pour la diffusion publique.

En conclusion, cette étude démontre la faisabilité de construire des corpus de métaphores de haute qualité assistés par IA, tout en soulignant l'importance indispensable de l'expertise humaine pour filtrer le bruit et valider la sémantique dans un contexte médical critique.