Dutch Metaphor Extraction from Cancer Patients' Interviews and Forum Data using LLMs and Human in the Loop

Deze studie introduceert HealthQuote.NL, een corpus van metaforen uit interviews en forums van Nederlandse kankerpatiënten, dat met behulp van grote taalmodellen en menselijke validatie is samengesteld om de zorgcommunicatie en besluitvorming te verbeteren.

De kern

Stel je voor dat een kankerbehandeling een reis is door een onbekend landschap. Soms is het een gevaarlijke bergtocht, soms een storm op zee, en soms voelt het alsof je in een donkere tunnel loopt. Patiënten gebruiken deze beelden (metaforen) om hun gevoelens uit te drukken, omdat het soms lastig is om de echte woorden te vinden.

Deze paper vertelt het verhaal van een team onderzoekers dat een digitale schatgraver heeft gebouwd om deze beelden te vinden in het Nederlands.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Uitdaging: De Naald in de Hooiberg

Patiënten praten en schrijven over hun ziekte. In die verhalen zitten prachtige, krachtige metaforen verstopt. Maar er zit ook veel 'ruis' in: letterlijke zinnen, spreekwoorden (zoals "meten is weten") en zinnen die klinken als metaforen maar dat niet echt zijn.

Het is alsof je een enorme berg met oude brieven en dagboeken hebt, en je wilt alleen de stukjes papier vinden waar iemand schrijft: "Mijn lichaam is een versleten auto die gerepareerd moet worden." Je wilt niet de brieven waarin iemand zegt: "Ik heb een auto gekocht."

2. De Oplossing: Een Slimme Robot met een Menselijke Controleur

De onderzoekers hebben Grote Taalmodellen (LLMs) gebruikt. Denk hierbij aan slimme robots die kunnen lezen en schrijven, net als een zeer goed opgeleide bibliothecaris die alles in de wereld kent.

Maar een robot alleen is niet genoeg. Soms droomt de robot (in vakjargon: 'hallucineren') en verzint hij metaforen die er nooit hebben gestaan. Of hij verwardt een spreekwoord met een echte metafoor.

Daarom hebben ze een "Mens in de Lijn" systeem bedacht:

• De Robot (LLM): Leest eerst de teksten en plukt alle mogelijke metaforen eruit. Hij werkt als een snelle, maar soms wat ongeduldige zoekmachine.
• De Menselijke Expert: Kijkt daarna naar wat de robot heeft gevonden. Hij zegt: "Nee, dit is gewoon een spreekwoord, dit is geen metafoor" of "Ja, dit is precies wat we zoeken!".

Het is alsof de robot de hooiberg doorzoekt en een stapel 'mogelijke naalden' maakt. De menselijke expert kijkt dan naar die stapel en pakt de échte naalden eruit.

3. De Resultaten: De 'HealthQuote.NL' Schatkist

Door deze samenwerking hebben ze een nieuwe schatkist gecreëerd genaamd HealthQuote.NL.

• In deze kist zitten 130 bevestigde metaforen uit interviews en online forums.
• Ze hebben ontdekt dat patiënten hun ziekte vaak vergelijken met:
  • Een strijd: "Ik vecht tegen de kanker."
  • Een reis: "Het is een lange weg."
  • Een storm: "Ik zit in een storm."
  • Een verjaardagsfeestje: (Ja, echt! Soms zeggen ze dat de kanker een ongenode gast is die een feestje geeft).

4. Waarom is dit belangrijk?

Stel je voor dat een arts of verpleegkundige deze schatkist heeft. Als een patiënt zegt: "Ik voel me als een oude auto die aan het roesten is," dan weet de arts direct: "Ah, deze persoon voelt zich versleten en angstig dat hij niet meer werkt."

In plaats van alleen medische termen te gebruiken, kan de arts nu in het taalbeeld van de patiënt praten. Dat maakt het gesprek warmer, begrijpelijker en menselijker. Het helpt om de angst te verkleinen en de band te versterken.

Samengevat

De onderzoekers hebben een slimme manier gevonden om de geheime taal van hoop, angst en strijd van Nederlandse kankerpatiënten te verzamelen. Ze hebben een robot gebruikt om te zoeken, maar een mens gebruikt om de echte juwelen te selecteren. Het resultaat is een gids die artsen en zorgverleners kan helpen om beter te luisteren en te praten met de mensen die ze helpen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Dutch Metaphor Extraction from Cancer Patients' Interviews and Forum Data using LLMs and Human in the Loop", geschreven in het Nederlands.

Probleemstelling

Metaforen spelen een cruciale rol in de communicatie tussen kankerpatiënten en zorgverleners, vaak als hulpmiddel om de ziekte-ervaring te begrijpen (bijv. als een "reis" of "strijd"). Hoewel er veel onderzoek is gedaan naar metaforen in het Engels (zoals het "Metaphor Menu" in het VK), ontbreekt er tot nu toe gestructureerd onderzoek naar de extractie en analyse van metaforen in Nederlandse teksten van kankerpatiënten.

De uitdaging ligt in het automatisch identificeren van deze metaforen in ongestructureerde data (interviewtranscripties en online forumberichten) met behulp van Large Language Models (LLMs). Specifieke problemen zijn:

• Het onderscheid maken tussen echte conceptuele metaforen, letterlijke taal, en vaste uitdrukkingen (idiomen).
• Het voorkomen van "hallucinaties" waarbij modellen metaforen verzinnen die niet in de tekst staan.
• Het vermijden van abstracte samenvattingen in plaats van directe extractie van de oorspronkelijke tekst.

Methodologie

De auteurs hebben een Human-in-the-Loop (HITL) framework ontwikkeld voor de extractie van metaforen. De aanpak omvat de volgende stappen:

1. Data:

   • Interviews: Transcripties van 13 gesprekken in een oncologische setting (patiënt, naaste, onderzoeker).
   • Forums: Een selectie van 100 blogposts en reacties van kanker.nl (over borstkanker, prostaatkanker en melanoom).
   • Privacy: Vanwege privacyregels zijn de originele teksten niet openbaar; er worden alleen geanonimiseerde of herschreven voorbeelden gedeeld.

2. Modelkeuze:

   • Gebruik van diverse open-source LLMs (lokaal gehost via Ollama) om privacy te waarborgen.
   • Modellen: qwen3, gemma3, llama3.1, mistral, deepseek-r1, meditron, en medllama2 (met variërende grootte en domein-specifieke training).

3. Prompting Strategieën:

   • Instruction Prompt (I.inP): Basisprompt zonder complexe instructies.
   • Refined Prompts (RP): Geavanceerde prompts met:
     • Persona: De rol van een expert-linguïst.
     • Chain-of-Thought (CoT): Het model wordt gevraagd stap-voor-stap te redeneren voordat het een metafoor selecteert.
     • Iterative Self-Prompting (ISP): Het model genereert zijn eigen instructies.
     • Knowledge-Guided Prompting: Invoegen van de volledige Engelse "Metaphor Menu" lijst als context (voor RP v2) om te testen of dit de extractie verbetert of bias introduceert.

4. Validatie en Verificatie:

   • Automatische verificatie: Een checklist-tool controleert of de metafoor exact in de brontekst voorkomt en of de spreker correct is geïdentificeerd.
   • Human-in-the-Loop: Drie native Nederlandse sprekers met expertise in computationele linguïstiek en gezondheidscommunicatie hebben de output handmatig gevalideerd.
   • Validatiecriteria:
     • Getrouwheid: Staat de metafoor letterlijk in de tekst?
     • Metaforiciteit: Is het een echte cross-domain mapping (geen idioom of letterlijke taal)?
     • Contextuele geschiktheid: Past de interpretatie bij de context?

Belangrijkste Bijdragen

1. Eerste Studie: Dit is het eerste onderzoek dat LLMs toepast voor het identificeren en extraheren van metaforen in Nederlandse kankerpatiëntverhalen.
2. Framework: Ontwikkeling van een robuust HITL-framework dat gestructureerde prompting, automatische verificatie en expert-validatie combineert.
3. Dataset (HealthQuote.NL): Creatie van een curatie dataset met 130 gevalideerde Nederlandse metaforen (65 uit interviews, 65 uit blogs), inclusief categorisatie per type, brondomein en functie.
4. Empirische Analyse: Een diepgaande analyse van foutpatronen (hallucinaties, verwarring met idiomen) en de effectiviteit van verschillende prompting-technieken.

Resultaten

• Performance:
  • De initiële instructie-prompt leverde een precisie van 56,9% op (41 van de 72 gegenereerde metaforen waren geldig).
  • De Refined Prompt v1 (met CoT en strikte extractieprotocollen) bereikte de hoogste precisie van 63,2% (24 van de 38).
  • De Refined Prompt v2 (met de volledige Engelse Metaphor Menu als context) genereerde veel meer kandidaten (174), maar de precisie daalde naar 13,8%. Dit toont aan dat het toevoegen van externe kennis het model kan leiden tot over-interpretatie en ruis, in plaats van betere extractie.
• Foutanalyse:
  • Veelvoorkomende fouten waren: hallucinaties (metaforen die niet in de tekst stonden), het verwarren van idiomen met metaforen, en het genereren van abstracte samenvattingen in plaats van directe citaten.
  • Modellen hadden moeite met het onderscheid tussen figuurlijk taalgebruik en letterlijke beschrijvingen.
• Dataset Statistieken:
  • Totaal: 130 gevalideerde metaforen.
  • De metaforen dekken diverse domeinen: geweld, reis, natuur, religie, controle, machines, etc.
  • De dataset bevat zowel woord-, zins- als extended-metaforen.

Betekenis en Toekomstperspectief

• Klinische Toepassing: De dataset HealthQuote.NL kan zorgverleners helpen om de taal van patiënten beter te begrijpen, wat de empathische communicatie en gedeelde besluitvorming kan verbeteren. Het biedt een brug tussen de Nederlandse en Engelse metafoorwereld.
• Onderzoek: De dataset dient als grondstof voor verdere linguïstische studies over hoe patiënten ziekte conceptualiseren.
• Reproduceerbaarheid: Alle prompts, code en synthetische voorbeelden zijn openbaar gemaakt via GitHub, hoewel de originele patiëntdata vanwege privacy niet gedeeld kan worden.
• Toekomstig Werk: Uitbreiding van de dataset met meer forumdata, verdere analyse van multi-word expressions (MWEs) die overlappen met idiomen, en het testen van grotere commerciële modellen.

Samenvattend biedt dit paper een praktische en methodologische basis voor het gebruik van AI in de gezondheidszorg om de menselijke ervaring van kanker via taal te ontsluiten, specifiek voor de Nederlandse context.