Dutch Metaphor Extraction from Cancer Patients' Interviews and Forum Data using LLMs and Human in the Loop

Diese Arbeit stellt eine Methode zur Extraktion von Metaphern aus niederländischen Interviews und Forenbeiträgen von Krebspatienten mittels Large Language Models und eines Human-in-the-Loop-Ansatzes vor, um das Korpus HealthQuote.NL zu erstellen und damit die Patientenversorgung sowie die Kommunikation im Gesundheitswesen zu verbessern.

Das Wesentliche

Stellen Sie sich vor, eine Krebsdiagnose ist wie das Betreten eines völlig fremden Landes, in dem die Sprache der Ärzte und die Sprache der Patienten oft nicht übereinstimmen. In diesem neuen Land nutzen Patienten oft keine trockenen medizinischen Begriffe, sondern Metaphern. Sie sagen Dinge wie „Ich kämpfe gegen den Krebs" oder „Mein Körper ist ein Schiff im Sturm". Diese Bilder helfen ihnen, das Unfassbare zu verstehen und mit ihren Gefühlen umzugehen.

Dieser Forschungsbericht erzählt die Geschichte davon, wie ein Team aus den Niederlanden versucht hat, diese versteckten Schätze aus dem Sprachgewirr zu holen – und zwar mit Hilfe von künstlicher Intelligenz (KI).

Hier ist die Geschichte der Studie, einfach erklärt:

1. Die große Schatzsuche (Das Ziel)

Die Forscher wollten eine Sammlung von Metaphern erstellen, die niederländische Krebspatienten verwenden. Sie haben sich zwei große Schatzkisten angesehen:

• Die Gesprächskiste: Transkripte von echten Interviews, bei denen Patienten mit Freunden oder Forschern gesprochen haben.
• Die Briefkastenkiste: Tausende von Blogbeiträgen und Forenbeiträgen auf einer Krebs-Website (kanker.nl).

Das Problem: Diese Texte sind wie ein dichter, wilder Dschungel. Eine KI muss darin nicht nur die Bäume (wörtliche Wörter) erkennen, sondern auch die versteckten, bunten Vögel (die Metaphern), die sich oft gut verstecken.

2. Der KI-Führer und seine Werkzeuge (Die Methode)

Die Forscher haben verschiedene KI-Modelle (große Sprachmodelle, sogenannte LLMs) als ihre „Schatzsucher" eingesetzt. Aber eine KI allein ist wie ein sehr neugieriger, aber manchmal etwas verwirrter Tourist. Wenn man ihn einfach fragt: „Finde Metaphern!", passiert oft Folgendes:

• Halluzinationen: Der Tourist erfindet Dinge, die gar nicht da sind (z. B. „Der Arzt ist ein Prediger", obwohl das im Text gar nicht stand).
• Verwechslungen: Er hält Sprichwörter für Metaphern (z. B. „Die Sonne geht unter" als Metapher für das Lebensende, obwohl es einfach nur eine Beschreibung ist).
• Zusammenfassungen: Statt das genaue Bild zu finden, fasst er den ganzen Text zusammen.

Die Lösung: Der „Mensch im Loop"
Um den Touristen zu leiten, haben die Forscher eine Art Trainingskurs für die KI entwickelt. Sie haben der KI nicht nur eine einfache Frage gestellt, sondern einen detaillierten Fahrplan (Prompt) gegeben:

1. Denke nach (Chain-of-Thought): Die KI soll erst Schritt für Schritt erklären, warum sie etwas für eine Metapher hält, bevor sie es ausspuckt.
2. Der Check: Ein automatischer Test prüft, ob das gefundene Bild wirklich im Text steht.
3. Der Experte: Am Ende haben echte Menschen (Linguisten) die Liste durchgesehen und gesagt: „Ja, das ist ein schönes Bild" oder „Nein, das ist nur ein Sprichwort."

3. Das Ergebnis: Der „HealthQuote.NL"-Schatz

Am Ende haben die Forscher einen wertvollen Schatz gesammelt: 130 geprüfte Metaphern.
Einige Beispiele aus ihrem Fundus, die zeigen, wie kreativ Patienten sind:

• Das Fest: Krebs wird als eine ungeladene Partygastin dargestellt, die sich das Haus (den Körper) nimmt. Das zeigt Wut und den Versuch, die Situation mit Humor zu nehmen.
• Das Auto: Der Körper wird als ein altes, zerbeultes Auto beschrieben, das nicht mehr repariert werden kann, sondern neue Karosserieteile braucht. Das drückt Erschöpfung und den Wunsch nach Erneuerung aus.
• Der Leuchtturm: Lieben Menschen werden als Leuchtturm gesehen, der in der Dunkelheit der Krankheit Orientierung gibt.
• Der Sturm: Die Angst im Kopf wird als wilder Sturm beschrieben, der durch den Kopf tobt.

4. Warum ist das wichtig?

Stellen Sie sich vor, ein Arzt hört diese Bilder. Wenn ein Patient sagt: „Ich fühle mich wie ein Schiff im Sturm", weiß der Arzt sofort: Ah, er fühlt sich hilflos und von der Welle der Behandlung mitgerissen.
Wenn der Arzt diese Metaphern versteht, kann er besser antworten. Vielleicht sagt er: „Lassen Sie uns gemeinsam nach einem Anker suchen." Das schafft eine tiefere Verbindung und hilft dem Patienten, sich verstanden zu fühlen.

Die Studie zeigt auch, dass KI allein noch nicht perfekt ist. Sie ist wie ein sehr schneller Assistent, der aber einen menschlichen Chef braucht, der die Ergebnisse prüft. Nur durch die Kombination aus KI-Geschwindigkeit und menschlicher Weisheit konnte dieser hochwertige Datensatz entstehen.

Zusammenfassung in einem Bild

Die Forscher haben wie Archäologen gearbeitet. Die KI war ihr schweres Bohrgerät, das den Boden (die Texte) schnell durchgraben konnte. Aber erst die menschlichen Experten haben die gefundenen Artefakte (die Metaphern) gereinigt, sortiert und in eine Museumsvitrine (den Datensatz) gelegt, damit andere sie bewundern und für die Zukunft nutzen können.

Dieses Projekt ist ein wichtiger Schritt, um die Sprache der Patienten in der Medizin nicht nur zu hören, sondern sie wirklich zu verstehen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Dutch Metaphor Extraction from Cancer Patients' Interviews and Forum Data using LLMs and Human in the Loop" auf Deutsch:

1. Problemstellung

Metaphern spielen eine entscheidende Rolle in der Kommunikation zwischen Krebspatienten und medizinischem Personal. Sie helfen Patienten oft, ihre Behandlungserfahrung (z. B. als „Reise" oder „Kampf") zu verstehen und zu artikulieren. Bisherige Forschung konzentrierte sich stark auf englischsprachige Daten (z. B. das „Metaphor Menu" im UK). Es fehlte jedoch an systematischen Studien zur automatischen Extraktion von Metaphern in niederländischen Patientennarrativen.

Die Hauptherausforderungen bei der automatischen Extraktion mit Large Language Models (LLMs) sind:

• Halluzinationen: Das Modell erfindet Metaphern, die im Text nicht vorkommen.
• Verwechslung mit Idiomen: Das Modell unterscheidet nicht sauber zwischen echten konzeptuellen Metaphern und feststehenden Redewendungen.
• Abstraktion statt Extraktion: Das Modell fasst den Inhalt zusammen oder interpretiert ihn neu, anstatt die wörtlichen Metaphern aus dem Originaltext zu extrahieren.
• Datenschutz: Die Verarbeitung sensibler Patientendaten erfordert lokale Lösungen statt kommerzieller Cloud-APIs.

2. Methodik

Das Team entwickelte einen Human-in-the-Loop (HITL) Extraktionsrahmen, der strukturierte Prompting-Techniken, automatische Verifizierung und linguistische Expertenbewertung kombiniert.

Datenquellen:

• Interviews: Transkripte von 13 Interviews mit Krebspatienten, Angehörigen und Forschern (mündliche Sprache).
• Forumdaten: 100 Blog-Posts und Kommentare von der niederländischen Plattform kanker.nl (geschriebene Sprache).

Modell-Architektur und Prompting-Strategien:
Es wurden verschiedene Open-Source-LLMs (z. B. Qwen, Gemma, Llama, Mistral, Meditron) lokal über die Ollama-Plattform ausgeführt, um die Privatsphäre zu wahren. Drei Prompting-Ansätze wurden getestet:

1. Instruction Prompt (I.inP): Einfache Anweisung ohne Chain-of-Thought (CoT).
2. Refined Prompt v1 (RP-v1): Inklusive CoT und Few-Shot-Beispielen (3 einfache Metaphern).
3. Refined Prompt v2 (RP-v2): Inklusive CoT und dem gesamten englischen „Metaphor Menu" als Kontextwissen (In-Context Learning).

Verifizierungsprozess:

• Automatische Verifizierung: Ein externes Tool prüft, ob die extrahierte Metapher exakt im Text vorkommt, den Sprecher identifiziert und keine wörtlichen medizinischen Begriffe sind.
• Human-in-the-Loop: Drei muttersprachliche Linguisten bewerteten die Kandidaten auf drei Kriterien:
  • Treue (Faithfulness): Ist die Metapher im Originaltext vorhanden?
  • Metaphorizität: Handelt es sich um eine echte konzeptuelle Abbildung (nicht Idiom)?
  • Kontextangemessenheit: Passt die Bedeutung zum Kontext?

3. Wichtige Beiträge

• Erste Studie: Dies ist die erste Untersuchung zur automatischen Metapherextraktion aus niederländischen Krebs-Patientennarrativen mittels LLMs.
• Framework: Entwicklung eines robusten HITL-Frameworks, das strukturierte Prompts, automatische Checks und Expertenvalidierung integriert.
• Dataset (HealthQuote.NL): Erstellung eines kuratierten Datensatzes mit 130 validierten niederländischen Metaphern (65 aus Interviews, 65 aus Blogs). Der Datensatz enthält Metaphern auf Wort-, Phrase- und Satzebene mit Kategorisierung nach Quellbereich (z. B. Gewalt, Reise, Natur) und Funktion (z. B. Bewältigung, Erklärung).
• Analyse von Fehlern: Identifikation und Klassifizierung typischer LLM-Fehlermodi (Halluzinationen, Abstraktion, Verwechslung mit Idiomen).
• Ressourcen: Öffentliche Freigabe von Prompts und synthetisierten Beispielen auf GitHub.

4. Ergebnisse

• Präzision der Prompts:
  • Der einfache Instruction Prompt erreichte eine Präzision von 56,9 % (41 von 72 Kandidaten validiert), litt aber stark unter Halluzinationen und Abstraktionen.
  • Der Refined Prompt v1 (mit CoT und Few-Shot) erzielte die beste Balance mit 63,2 % Präzision (24 von 38 Kandidaten).
  • Der Refined Prompt v2 (mit englischem Metaphor-Menu) generierte zwar mehr Kandidaten (174), führte aber zu einer starken Präzisionsabfall auf 13,8 %, da das englische Wissen zu viel Rauschen und Überinterpretation in den niederländischen Texten verursachte.
• Modellleistung: Verschiedene Modelle extrahierten unterschiedliche Metaphern, was die Notwendigkeit eines Ensemble-Ansatzes (Nutzung mehrerer Modelle) unterstreicht.
• Qualität der Extraktion: Mit den verfeinerten Prompts (RP) sanken Halluzinationen signifikant. Dennoch blieben Herausforderungen bestehen, z. B. bei der Unterscheidung von Idiomen (z. B. „Een baby-hoeveelheid") und echten Metaphern.
• Anwendung auf Blogdaten: Bei der Anwendung auf 100 Blog-Posts wurden 65 Metaphern gefunden, wobei etwa 10 als besonders aussagekräftig für ein zukünftiges „Metaphor Menu" identifiziert wurden (z. B. Metaphern wie „Der Sturm", „Der Leuchtturm", „Das Auto").

5. Bedeutung und Ausblick

• Klinische Relevanz: Der extrahierte Datensatz HealthQuote.NL kann genutzt werden, um die Kommunikation zwischen Ärzten und Patienten zu verbessern. Das Verständnis der Metaphern, die Patienten verwenden, hilft Klinikern, Empathie zu zeigen und Behandlungspläne besser zu erklären.
• Forschungsbeitrag: Die Studie demonstriert, dass lokale Open-Source-LLMs in Kombination mit menschlicher Validierung effektiv für die Extraktion nicht-literaler Sprache in sensiblen Domänen eingesetzt werden können.
• Zukünftige Arbeiten: Geplant ist die Erweiterung des Datensatzes auf mehr Blog-Posts, die Untersuchung von Mehrwortausdrücken (MWEs) und die Integration formeller Annotationsprotokolle zur weiteren Verbesserung der Interpretierbarkeit von LLMs.

Zusammenfassend liefert das Paper einen wichtigen Schritt hin zu einer patientenzentrierten, sprachbasierten Gesundheitsversorgung im niederländischen Sprachraum und bietet ein bewährtes Framework für die Extraktion metaphorischer Sprache mittels KI.