From Generation to Collaboration: Using LLMs to Edit for Empathy in Healthcare

Resumo Técnico: Da Geração à Colaboração: Usando LLMs para Editar a Empatia na Saúde

Declaração do Problema
A empatia clínica é vital para a confiança e os resultados dos pacientes, mas os médicos frequentemente lutam para equilibrar o calor emocional com a precisão factual devido à carga cognitiva e às restrições de tempo. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam potencial para a comunicação médica, as abordagens atuais enfrentam uma dicotomia crítica:

1. Geração Autônoma: A geração de ponta a ponta por LLMs costuma produzir respostas altamente empáticas, mas sofre de "alucinações", introduzindo erros factuais e conselhos médicos especulativos que comprometem a segurança do paciente.
2. Ajuste Fino (Fine-tuning): Treinar modelos especificamente para empatia exige recursos substanciais e pode inadvertidamente aumentar os erros factuais ou criar uma "empatia falsa".
3. A Lacuna: Existe uma falta de métodos sistemáticos para aumentar a empatia das respostas escritas pelos médicos sem comprometer a precisão clínica das informações médicas originais.

Metodologia
Os autores propõem uma mudança de paradigma da geração autônoma para a edição colaborativa. Em vez de gerar respostas do zero, os LLMs são usados para editar as respostas existentes dos médicos para realçar o tom empático enquanto preservam os fatos médicos originais.

• Dados: Um conjunto de dados de 163 pares de mensagens médico-paciente de um portal de pacientes de urologia (pacientes de câncer de próstata) foi utilizado. Todos os dados passaram por uma desidentificação rigorosa.
• Estratégia de Edição: Duas variações de prompts foram testadas:
  • Edição Simples: Instrui o modelo a revisar visando a empatia enquanto mantém o significado original.
  • Edição Refinada: Adiciona restrições comportamentais explícitas para evitar o desvio factual e adições especulativas.
• Estrutura de Avaliação: O estudo introduz duas métricas quantitativas inovadoras:
  1. 3EM-Ranker (Empatia): Uma métrica de comparação de três vias (Resposta A > Resposta B, Resposta B > Resposta A ou Igual) projetada para se alinhar melhor ao julgamento humano do que sistemas de classificação binários. Foi validada contra anotadores humanos (pacientes), alcançando escores de alinhamento de 0,55–0,57, significativamente superiores a trabalhos anteriores.
  2. Pontuação MedFactChecking (Factualidade): Uma estrutura de implicação bidirecional adaptada do FactEHR. Ela mede:
     • Recall de Fatos (Fact-Recall): A proporção de fatos médicos originais preservados na resposta editada.
     • Precisão de Fatos (Fact-Precision): A proporção de fatos na resposta editada que estão fundamentados no original (detectando alucinações).

Resultados Principais
Experimentos foram conduzidos em cinco LLMs de última geração (incluindo Qwen3, Mistral, Llama-3 e Gemini-2.5-Flash).

• Troca entre Empatia vs. Factualidade:
  • Geração Direta: Produz a maior empatia percebida, mas falha catastroficamente na factualidade (Micro Recall ~0,39), preservando menos de 40% dos fatos que um médico incluiria.
  • Edição Refinada: Alcança o equilíbrio ideal. Utilizando o Gemini-2.5-Flash, a abordagem de edição refinada preservou 99% dos fatos originais (Micro Recall) e manteve 93% de precisão, enquanto melhorou significativamente os escores de empatia em comparação com as respostas brutas dos médicos.
  • Edição Simples: Mostrou uma degradação modesta na factualidade em comparação com a edição refinada, indicando que instruções de empatia sem restrições levam à perda de informação e alucinações.
• Desempenho do Modelo: O Gemini-2.5-Flash superou significativamente os modelos de código aberto na preservação factual durante a edição, particularmente para respostas médicas curtas, onde outros modelos tendiam a "preencher" o contexto ausente com detalhes alucinados.
• Intensidade da Empatia: O aumento da intensidade das instruções de empatia ("Alta" ou "Extrema") levou a um declínio acentuado na factualidade (a precisão caiu de 0,91 para 0,78), principalmente devido à adição de conteúdo não suportado, em vez da perda de fatos originais.

Principais Contribuições

1. Mudança de Paradigma: O artigo reformula o papel dos LLMs na saúde de geradores autônomos para "assistentes editoriais", priorizando o aumento da expertise humana sobre a substituição.
2. Métricas Inovadoras: Introdução do 3EM-Ranker para avaliação de empatia matizada e da Pontuação MedFactChecking para verificação factual bidirecional (Recall e Precisão) em texto clínico editado.
3. Evidência Empírica: Demonstração de que a edição com restrições preserva a integridade factual (93–99% de preservação) enquanto aumenta significativamente a empatia, ao passo que a geração direta sacrifica a segurança em prol do tom.
4. Validação: Validação rigorosa das métricas contra anotadores humanos (pacientes e urologistas), mostrando que a estrutura proposta captura erros clinicamente significativos e se alinha melhor à preferência humana do que os métodos automatizados existentes.

Significância
Os autores argumentam que usar LLMs como editores colaborativos oferece um caminho mais seguro e eficaz para a comunicação assistida por IA na saúde do que a geração autônoma. Ao manter a intenção factual do médico enquanto refina a entrega emocional, essa abordagem aborda a tensão entre a precisão clínica e o cuidado compassivo. Os achados sugerem que, para implantação clínica, os sistemas devem priorizar o embasamento factual sobre a expressão máxima de empatia, utilizando fluxos de trabalho de edição com restrições para garantir a confiabilidade e a segurança do paciente. O trabalho representa um passo em direção à integração responsável da IA, onde a tecnologia apoia, em vez de substituir, o julgamento clínico.