Resumo Técnico: Modelagem de Aplicabilidade de Empatia para Consultas de Saúde Geral

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) estão sendo cada vez mais integrados em fluxos de trabalho clínicos, mas frequentemente carecem de empatia clínica, um componente crítico para uma comunicação eficaz entre médico e paciente. Embora os frameworks de Processamento de Linguagem Natural (NLP) existentes possam rotular reativamente a empatia nas respostas (ex: EPITOME, Online Empathy), eles oferecem suporte limitado para a modelagem antecipatória — determinar antes que uma resposta seja gerada se uma consulta do paciente necessita de uma reação empática.

As abordagens atuais enfrentam diversas limitações:

• Natureza Reativa: A maioria dos frameworks avalia a empatia post-hoc, não fornecendo orientação a clínicos ou sistemas durante a composição de uma resposta.
• Cegueira de Contexto: Os sistemas dependem excessivamente de pistas lexicais superficiais, classificando erroneamente frases genéricas como empáticas em contextos sem sentido (taxas de falsos positivos >95% em alguns casos).
• Dimensionalidade: Trabalhos anteriores frequentemente sobreponderam aspectos emocionais enquanto negligenciam a empatia cognitiva (compreensão), ou focam em mudanças de postura em diálogos síncronos em vez das necessidades específicas (esclarecimento cognitivo vs. calor emocional) em consultas de saúde geral assíncronas de turno único.

O desafio central abordado é: Como podemos modelar sistematicamente a aplicabilidade da empatia para reconhecer pistas clínicas e linguísticas específicas que necessitam de uma resposta emocional ou interpretativa em consultas de saúde geral?

Metodologia

1. O Framework de Aplicabilidade de Empatia (EAF)

Os autores introduzem o EAF, uma abordagem baseada em teoria que classifica as consultas dos pacientes com base na aplicabilidade de duas dimensões de empatia, adaptadas do EPITOME e da literatura de Cuidado Centrado no Paciente (PCC):

• Reações Emocionais (EA): Expressões de calor, compaixão ou preocupação.
• Interpretações (IA): Comunicação de compreensão em relação aos sentimentos e/ou experiências do paciente.

Para cada dimensão, as consultas são rotuladas como Aplicável ou Não Aplicável com base em pistas específicas:

• Pistas Aplicáveis: Emoção negativa severa, estados negativos inferidos, gravidade dos sintomas, preocupação com relações, expressão de sentimentos, incerteza angustiante e sintomas que afetam a vida cotidiana.
• Pistas Não Aplicáveis: Gestão de saúde de rotina, consultas puramente fatuais, descrições neutras de sintomas e consultas hipotéticas sem preocupação emocional.

2. Curadoria e Anotação de Dados

• Fonte: 9.500 consultas de pacientes amostradas de conjuntos de dados públicos (HealthCareMagic e iCliniq).
• Estratégia de Anotação:
  • Anotadores Humanos: Dois anotadores leigos (não clínicos) com alto nível de proficiência em inglês foram recrutados para capturar a perspectiva do paciente. Eles passaram por um processo de treinamento de três estágios envolvendo 200 consultas.
  • Anotação por LLM: O GPT-4o foi utilizado como um anotador especialista via prompting contrastivo.
  • Subconjuntos:
    • Subconjunto Humano-GPT: 1.300 consultas duplamente anotadas por humanos e GPT-4o (5 passagens para o GPT, voto da maioria).
    • Subconjunto Autônomo: 8.000 consultas anotadas exclusivamente pelo GPT-4o (passagem única).
• Tarefa: Os anotadores identificaram a aplicabilidade (Aplicável/Não Aplicável) e selecionaram a subcategoria mais adequada para cada dimensão.

3. Abordagem de Modelagem

A tarefa foi estruturada como dois problemas de classificação binária independentes (predição de aplicabilidade para EA e IA).

• Modelos: Classificadores RoBERTa-base foram ajustados (fine-tuned).
• Conjuntos de Treinamento:
  • Conjunto Humano: Treinado nas 1.300 consultas onde os anotadores humanos chegaram a um consenso.
  • Conjunto Autônomo: Treinado inteiramente nas 8.000 consultas rotuladas pelo GPT.
• Baselines: Comparações realizadas contra o Chute Aleatório (Random Guessing), heurísticas de "Sempre Aplicável/Não Aplicável", classificadores de texto clássicos (Regressão Logística, SVM Linear com TF-IDF) e um baseline de LLM zero-shot (o1) sem o framework EAF.

Principais Resultados

1. Confiabilidade e Consistência

• Acordo Humano: Os anotadores humanos alcançaram um acordo moderado (Cohen's $\kappa \approx 0,46$), consistente com tarefas típicas de anotação de empatia.
• Alinhamento Humano-GPT: O GPT-4o mostrou forte alinhamento com o consenso humano no subconjunto onde os humanos concordaram ($\kappa > 0,6$ para ambas as dimensões), com concordância bruta em torno de 80%.
• Alinhamento Conceitual: A análise do gráfico UpSet revelou que, quando humanos e GPT concordavam no rótulo binário, frequentemente baseavam-se em justificativas de subcategorias semelhantes, particularmente para pistas claras como "Emoção Severa" ou "Consultas Fatuais".

2. Validade Preditiva

Classificadores treinados nos dados rotulados pelo EAF superaram significativamente todos os baselines:

• Modelos Supervisionados por Humanos: O modelo RoBERTa alcançou um Macro-F1 de 0,92 para Reações Emocionais e 0,87 para Interpretações, superando os baselines clássicos (LR/SVM ~0,80–0,84) e os LLMs zero-shot.
• Modelos Autônomos: Modelos treinados apenas nos rótulos do GPT também tiveram bom desempenho (Macro-F1 ~0,85 para EA, ~0,78 para IA) quando testados no conjunto de consenso humano, demonstrando que os padrões do EAF são aprendíveis mesmo a partir de rótulos sintéticos, embora com uma leve queda de desempenho devido ao ruído nos rótulos.

3. Desafios Sistemáticos

A análise de erro identificou três desafios persistentes na operacionalização da empatia antecipatória:

1. Subjetividade no Sofrimento Implícito: Divergência na rotulação de "Estado Negativo Inferido" e "Incerteza Angustiante", onde um anotador pode inferir angústia enquanto outro vê a consulta como factual.
2. Ambiguidade de Gravidade Clínica: O GPT frequentemente sinalizou "Sintomas Graves" que exigiam empatia onde os humanos não o fizeram (ex: generalizando dor vívida, mas não ameaçadora à vida), embora também tenha identificado corretamente condições severas (ex: complicações pós-transplante) que os anotadores leigos perderam.
3. Dificuldade Contextual e Viés Cultural: O GPT frequentemente sobre-aplicou as tags para "Impacto Emocional de Sintomas" e "Compartilhamento de Contexto", potencialmente equiparando o desconforto físico ao sofrimento emocional. Isso sugere um viés eurocêntrico/ocidental no GPT-4o em comparação com os anotadores humanos do sul da Ásia.

Significância e Contribuições

O artigo reivindica três contribuições primárias para o campo da empatia clínica em NLP:

1. Design de Framework: A introdução do Framework de Aplicabilidade de Empatia (EAF), que desloca o paradigma da pontuação de resposta reativa para a modelagem antecipatória. Ao analisar a consulta do paciente antes da geração da resposta, o EAF permite que sistemas detectem necessidades específicas de suporte emocional ou interpretativo.
2. Estabelecimento de Benchmark: O lançamento de um novo benchmark de 1.300 consultas de pacientes duplamente anotado. Este conjunto de dados demonstra a confiabilidade dos rótulos EAF e fornece um padrão para avaliar modelos de empatia antecipatória.
3. Insights de Operacionalização: Uma análise sistemática dos desafios de aplicação da empatia antecipatória, destacando a necessidade de modelagem de múltiplos anotadores, calibragem com o clínico no circuito (clinician-in-the-loop) e estratégias de anotação culturalmente diversas para abordar a subjetividade, a ambiguidade clínica e o viés cultural.

Os autores enfatizam que o EAF é projetado para aumentar, não substituir, o julgamento clínico. Eles defendem um pipeline de "humano no circuito" onde o framework fornece justificativas transparentes para apoiar os clínicos na detecção de oportunidades empáticas, mitigando riscos de empatia artificial (ex: efeitos de vale da estranheza ou intimidade falsa) enquanto aprimora a comunicação de saúde assíncrona.