Dutch Metaphor Extraction from Cancer Patients' Interviews and Forum Data using LLMs and Human in the Loop

Este trabalho apresenta a extração de metáforas de dados em língua holandesa de pacientes com câncer, utilizando grandes modelos de linguagem com estratégias de prompt e validação humana para criar o corpus HealthQuote.NL, visando aprimorar a comunicação clínica e o cuidado personalizado.

O essencial

Imagine que a jornada de um paciente com câncer é como navegar por um oceano desconhecido e tempestuoso. Às vezes, as palavras técnicas dos médicos ("metástase", "quimioterapia", "prognóstico") são como mapas complexos em uma língua que o passageiro não fala. É aí que entram as metáforas.

As metáforas são como pontes de luz que os pacientes constroem para atravessar esse oceano. Eles dizem: "Estou lutando uma batalha", "Minha vida é um trem desgovernado" ou "O câncer é um hóspede indesejado na minha casa". Essas imagens ajudam a transformar o medo em algo que pode ser compreendido, contado e compartilhado.

Este artigo de pesquisa é como um detetive digital que aprendeu a encontrar essas pontes de luz escondidas nas conversas e nos textos de pacientes holandeses.

Aqui está a história de como eles fizeram isso, explicada de forma simples:

1. O Problema: Encontrar Agulhas em um Palheiro

Os pesquisadores queriam coletar essas frases especiais de dois lugares:

• Entrevistas reais: Onde pacientes e familiares conversam com um pesquisador (como uma conversa no sofá).
• Fóruns online: Onde os pacientes escrevem seus diários e desabafos na internet (como o site kanker.nl).

O desafio? Encontrar essas metáforas manualmente seria como tentar achar agulhas em um palheiro gigante. É cansativo e demorado. Então, eles decidiram usar Inteligência Artificial (IA) para ajudar.

2. A Ferramenta: O "Cozinheiro" de IA

Eles usaram modelos de linguagem (IAs) como se fossem cozinheiros tentando preparar um prato especial (as metáforas). Mas, no começo, a IA era um pouco confusa:

• Alucinação: Às vezes, a IA inventava metáforas que o paciente nunca disse. Era como o cozinheiro colocar um ingrediente que não estava na receita.
• Confusão: A IA às vezes pegava expressões comuns (como "estou com fome") e achava que era uma metáfora profunda, quando não era.
• Resumo demais: Em vez de pegar a frase exata, a IA resumia a ideia, perdendo a cor e a emoção original.

3. A Solução: O "Humano no Loop" (A Equipe de Chefes)

Para consertar isso, os pesquisadores criaram um sistema de cooperação entre humano e máquina, como uma equipe de cozinha de alta precisão:

1. O Chef IA (Prompting): Eles ensinaram a IA a pensar passo a passo (como um "detetive lógico"). Em vez de apenas pedir "encontre metáforas", eles deram instruções detalhadas: "Analise o contexto, verifique se é uma comparação real entre duas coisas diferentes e não invente nada".
2. O Chefe de Controle (Verificação Automática): A IA teve que provar onde encontrou a metáfora no texto original. Se não conseguisse apontar a frase exata, era descartada.
3. O Saborista Humano (Especialistas): Três linguistas humanos (os "degustadores") provaram o prato final. Eles verificaram: "Isso é realmente uma metáfora? É fiel ao que o paciente disse? Faz sentido no contexto?".

4. O Resultado: O "Menu de Saúde" (HealthQuote.NL)

Depois de muito trabalho, eles criaram um tesouro digital chamado HealthQuote.NL.

• Eles coletaram 130 metáforas validadas.
• Essas metáforas foram organizadas como se fossem categorias de um menu:
  • A Batalha: "Lutando contra o câncer".
  • A Viagem: "Estou no meio do caminho".
  • A Tempestade: "Minha cabeça é um furacão".
  • O Hóspede Indesejado: "O câncer é um intruso".

5. Por que isso importa?

Imagine que um médico ou um familiar de um paciente com câncer tenha acesso a esse "Menu".

• Se o paciente diz que se sente como um "carro velho quebrado", o médico pode entender que ele se sente desgastado e precisa de reparos, não apenas de remédios.
• Isso ajuda a traduzir a dor em algo que pode ser cuidado com mais empatia.

Resumo da Ópera

Este estudo é como ensinar uma máquina a ouvir a poesia nas palavras de quem está doente. Eles mostraram que, com a ajuda certa (IA + Humanos), podemos coletar essas joias linguísticas para melhorar a comunicação na saúde, tornando o tratamento do câncer um pouco menos assustador e um pouco mais humano.

Eles deixaram todas as receitas (os comandos usados na IA) e o menu (o conjunto de metáforas) disponíveis para que outros pesquisadores e profissionais de saúde possam usá-los e ajudar mais pacientes no futuro.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo em português:

Resumo Técnico: Extração de Metáforas em Holandês de Entrevistas com Pacientes de Câncer e Dados de Fóruns usando LLMs e Humano no Loop

1. Problema e Motivação

As metáforas desempenham um papel crucial na comunicação entre pacientes com câncer e profissionais de saúde, ajudando a explicar processos complexos, lidar com o diagnóstico e expressar emoções (ex.: comparar o tratamento a uma "jornada" ou uma "batalha"). Embora existam estudos sobre metáforas em inglês (como o projeto Metaphor Menu no Reino Unido), há uma lacuna significativa na identificação e extração automática de metáforas em língua holandesa no contexto oncológico.

O desafio principal reside na dificuldade de distinguir metáforas genuínas de expressões idiomáticas, linguagem figurativa comum ou abstrações, especialmente quando se utiliza Inteligência Artificial. O objetivo deste trabalho é desenvolver um framework para extrair automaticamente metáforas de narrativas de pacientes holandeses (entrevistas e fóruns online) utilizando Grandes Modelos de Linguagem (LLMs), validadas por especialistas humanos.

2. Metodologia

Os autores propõem um framework de extração com "Humano no Loop" (Human-in-the-Loop), combinando LLMs de código aberto, técnicas avançadas de prompting e validação linguística.

• Dados:
  • Entrevistas: Transcrições de 13 entrevistas oncológicas (paciente, familiar e pesquisador).
  • Fóruns Online: Dados do site kanker.nl, incluindo 15.653 blogs, comentários e discussões de grupos sobre câncer de mama, próstata e melanoma.
• Modelos de LLM:
  • Utilização de modelos locais de código aberto (via plataforma Ollama) para garantir privacidade e segurança dos dados dos pacientes.
  • Modelos testados: Qwen, Gemma, Llama, Mistral, DeepSeek, Meditron, MedLlama.
• Estratégias de Prompting:
  • Prompt de Instrução Inicial (I.inP): Prompt básico sem raciocínio explícito.
  • Prompts Refinados (RP): Incorporação de técnicas como Chain-of-Thought (CoT), Iterative Self-Prompting (ISP) e Persona (linguista especialista).
  • RP v1: Uso de few-shot prompting com três exemplos simples.
  • RP v2: Inserção de todo o Metaphor Menu em inglês como conhecimento de contexto (In-Context Learning) para guiar a extração.
• Verificação e Validação:
  • Verificação Automática: Um checklist externo exige que o LLM identifique o texto exato no documento, o papel do falante e confirme que não é um termo médico literal.
  • Validação Humana: Três linguistas nativos holandeses com doutorado avaliaram as metáforas candidatas baseando-se em três critérios:
    1. Fidelidade: A metáfora está explicitamente no texto original (não alucinação).
    2. Metáforicidade: Representa um mapeamento conceitual cruzado real (não é apenas um idioma ou expressão literal).
    3. Adequação Contextual: Reflete o significado pretendido no contexto original.

3. Contribuições Principais

1. Primeiro Estudo em Holandês: Investigação pioneira sobre o uso de LLMs para extração de metáforas em narrativas de pacientes holandeses com câncer.
2. Framework de Extração: Desenvolvimento de um pipeline robusto que integra prompting estruturado, verificação automática e validação de especialistas.
3. Dataset HealthQuote.NL: Criação de um conjunto de dados curado contendo 130 metáforas validadas (65 de entrevistas e 65 de blogs), categorizadas por tipo (palavra, frase, frase estendida), domínio de origem (violência, jornada, natureza, etc.) e função no contexto (explicação, enfrentamento, empoderamento).
4. Análise de Erros: Identificação empírica de falhas comuns em LLMs, como alucinação, confusão com idiotismos e abstração excessiva.

4. Resultados e Avaliação

• Desempenho dos Prompts:
  • O Prompt de Instrução Inicial gerou 72 candidatos, com 41 validados (Precisão de 56,9%). Os erros incluíam resumos abstrativos e falhas na tradução.
  • O Prompt Refinado v1 (com CoT e exemplos) alcançou a melhor precisão: 63,2% (24 validados de 38 candidatos).
  • O Prompt Refinado v2 (com o Menu de Metáforas em inglês) gerou muitos candidatos (174), mas com baixa precisão (13,8%), indicando que a lista completa introduziu ruído e sobre-interpretação.
• Análise de Erros:
  • Alucinação: O modelo inventou metáforas não presentes no texto (ex.: interpretar "0 ponto 0" como "médico é um pregador").
  • Confusão com Idioms: Dificuldade em distinguir metáforas vivas de expressões idiomáticas holandesas comuns (ex.: "baby-hoeveelheid").
  • Abstração: O modelo tendia a resumir a ideia em vez de extrair a frase exata.
• Aplicação em Dados de Blog: A aplicação em 100 posts do kanker.nl revelou metáforas criativas e ricas (ex.: "O Carro" para desgaste físico, "O Farol" para suporte, "A Festa" para ironia sobre a doença), com cerca de 10 exemplos considerados suficientemente vívidos para um futuro "Menu de Metáforas".

5. Significado e Impacto

• Saúde Centrada no Paciente: O dataset HealthQuote.NL oferece recursos para melhorar a comunicação clínica, permitindo que profissionais de saúde entendam como os pacientes conceptualizam a doença, facilitando estratégias de comunicação mais empáticas e eficazes.
• Pesquisa Linguística: Preenche uma lacuna na literatura sobre metáforas em holandês, oferecendo um corpus anotado para estudos futuros.
• Reprodutibilidade: Os autores disponibilizam os prompts, o código do framework e exemplos sintéticos/paraphraseados no GitHub, embora os dados originais dos pacientes não possam ser compartilhados devido a restrições de privacidade.
• Limitações: O tamanho do conjunto de dados ainda é pequeno para avaliações quantitativas robustas e a distinção entre metáforas e idiotismos permanece um desafio tanto para LLMs quanto para anotadores humanos.

Em suma, este trabalho demonstra a viabilidade de usar LLMs locais para extrair insights linguísticos valiosos de dados sensíveis de saúde, fornecendo uma base sólida para o desenvolvimento de ferramentas de suporte à comunicação em oncologia na Holanda.