EPPCMinerBen: A Novel Benchmark for Evaluating Large Language Models on Electronic Patient-Provider Communication via the Patient Portal

Resumo Técnico: EPPCMinerBen

1. O Problema

A comunicação eficaz entre pacientes e provedores de saúde é fundamental para a adesão ao tratamento e resultados clínicos, especialmente no manejo de condições crônicas como o câncer. Com a migração dessas interações para portais de pacientes seguros (mensagens eletrônicas), existe um grande volume de dados não estruturados que poderiam ser analisados para identificar barreiras de comunicação e comportamentos de adesão.

No entanto, a pesquisa atual enfrenta lacunas significativas:

• Escalabilidade: A maioria dos estudos depende de codificação manual ou técnicas baseadas em regras, que são custosas e não escaláveis.
• Limitações Metodológicas: Estudos existentes de Aprendizado de Máquina frequentemente focam apenas em mensagens iniciadas pelo paciente, ignorando a natureza bidirecional e interativa da comunicação.
• Falta de Benchmarks Específicos: Recursos de NLP (Processamento de Linguagem Natural) existentes não são adaptados para mensagens seguras, que possuem nuances emocionais, contextuais e relacionais distintas de documentos clínicos formais.
• Acesso a Dados: Há uma escassez de dados anonimizados e ricos em anotações para treinar e avaliar modelos.

2. Metodologia

Os autores desenvolveram o EPPCMinerBen, um benchmark projetado especificamente para avaliar a capacidade de Modelos de Linguagem Grandes (LLMs) de analisar a dinâmica interativa em mensagens de pacientes e provedores.

• Conjunto de Dados:

  • Coletado do portal de pacientes do Yale New Haven Hospital.
  • Estatísticas: 752 mensagens seguras (449 de pacientes, 303 de provedores), totalizando 1.933 sentenças anotadas.
  • Anotação: Baseada no sistema RIAS (Roter Interaction Analysis System), utilizando um código hierárquico de 9 categorias principais (Codes) e seus respectivos subcategorias (Subcodes). As categorias incluem busca/compartilhamento de informações, expressões socioemocionais, construção de parceria e tomada de decisão compartilhada.
  • Qualidade: Anotação manual por especialistas com concordância média de Kappa de Cohen de 0,74.

• Formulação da Tarefa:
  O benchmark é estruturado em três subtarefas hierárquicas de extração de informação:

  1. Classificação de Código (Code Classification): Classificação multirrótulo de nível grosseiro para identificar a intenção comunicativa geral da sentença.
  2. Classificação de Subcódigo (Subcode Classification): Classificação condicional multiclasse para refinar a intenção com base no código previsto (nível fino).
  3. Extração de Evidência (Evidence Extraction): Identificação do span mínimo de texto (frase ou trecho) que justifica o par código-subcódigo atribuído.

• Avaliação de Modelos:

  • Foram avaliados diversos LLMs (abertos e de domínio clínico) em diferentes escalas (de 1B a 70B parâmetros).
  • Configurações: Zero-shot (sem exemplos) e Few-shot (com 1 e 2 exemplos no contexto).
  • Métricas: Precisão, Recall e F1-score (micro-average). Para extração de evidência, utilizou-se similaridade de Jaccard com tolerância para sobreposição parcial.

3. Principais Contribuições

1. Novo Benchmark (EPPCMinerBen): O primeiro benchmark projetado para capturar a dinâmica interativa e relacional de mensagens seguras entre pacientes e provedores, preenchendo a lacuna deixada por conjuntos de dados clínicos existentes.
2. Conjunto de Dados Anotado: Disponibilização de um dataset rico e anonimizado com 1.933 sentenças, cobrindo padrões de comunicação diversos (informação, socioemocional, parceria).
3. Framework de Prompting: Proposta de prompts instrucionais personalizados para guiar LLMs na interpretação e raciocínio sobre dados de comunicação clínica.
4. Análise Comparativa: Avaliação sistemática de modelos de diferentes tamanhos e domínios, fornecendo insights sobre a eficácia do fine-tuning instrucional e da extração de evidências em contextos clínicos.

4. Resultados Chave

• Desempenho Geral: Modelos grandes e instruídos (instruction-tuned) geralmente superam os modelos menores, especialmente na tarefa de extração de evidências.
• Classificação de Código: O modelo Llama-3.3-70B-Instruct obteve o melhor desempenho (F1: 67,03% no cenário 2-shot). Modelos menores (ex: Llama-3.1-8B) falharam no zero-shot, mas recuperaram desempenho significativo com poucos exemplos.
• Classificação de Subcódigo: Esta foi a tarefa mais difícil. O modelo DeepSeek-R1-Distill-Qwen-32B superou todos os outros (F1: 48,25 no zero-shot), sugerindo que capacidades de raciocínio distiladas são benéficas para distinções finas. Modelos menores (<3B) tiveram desempenho muito baixo (F1 < 16%).
• Extração de Evidência: O Llama-3.1-70B-Instruct liderou com F1 de 82,84% (2-shot). Curiosamente, para alguns modelos menores, o few-shot piorou o desempenho de extração, indicando que o contexto adicional pode introduzir ruído.
• Modelos de Domínio: Modelos específicos de saúde (como OpenBioLLM) não superaram consistentemente os modelos gerais instruídos, sugerindo que o alinhamento instrucional é mais crítico do que apenas o pré-treinamento biomédico para esta tarefa.
• Impacto do Few-Shot: A técnica de few-shot prompting melhorou a maioria das tarefas, mas sua eficácia variou dependendo do modelo e da complexidade da subtarefa.

5. Significado e Implicações

• Avanço em NLP Clínico: O EPPCMinerBen estabelece um padrão para avaliar a compreensão de discurso e o raciocínio hierárquico em comunicações de saúde, indo além da simples classificação de documentos.
• Aplicações Práticas: Os resultados apoiam o desenvolvimento de ferramentas que podem auxiliar clínicos a priorizar mensagens, identificar barreiras de adesão e melhorar a coordenação do cuidado.
• Direção Futura: O estudo destaca a necessidade de dados multilíngues e de múltiplas instituições para melhorar a generalização. Também aponta que, embora os LLMs sejam promissores, eles ainda lutam com o raciocínio fino (subcódigos) e a ancoragem precisa de evidências sem supervisão adequada.
• Acesso Aberto: Os dados e o benchmark serão disponibilizados através do NCI Cancer Data Service, fomentando pesquisas futuras em generalização de modelos e análise de comunicação paciente-provedor.

Em suma, o EPPCMinerBen fornece uma base rigorosa para entender como a IA pode ser aplicada para melhorar a comunicação clínica real, destacando que modelos grandes e bem instruídos são essenciais, mas que desafios significativos permanecem na análise de nuances relacionais e emocionais.