How sensitive do we want AI to be? Socio-communicative competencies of large language models in healthcare

Resumo Técnico: Competências Sócio-Comunicativas de Grandes Modelos de Linguagem na Saúde

Problema de Pesquisa
A prática clínica eficaz depende fortemente das habilidades sócio-comunicativas dos profissionais médicos, particularmente da sensibilidade, empatia e da capacidade de estruturar interações. Embora os Grandes Modelos de Linguagem (LLMs) sejam cada vez mais propostos para tarefas de saúde, como triagem, redação de relatórios e tradução de jargão médico, sua implementação exige tanto precisão factual quanto competência social. Embora os LLMs tenham demonstrado melhorias significativas na precisão médica em benchmarks de licenciamento, menos atenção tem sido dada aos seus comportamentos sócio-comunicativos. A pesquisa atual foca frequentemente em cenários onde os LLMs substituem diretamente os médicos, mas há uma necessidade de avaliar os LLMs atuando como ferramentas preliminares de recuperação de informações dentro do sistema de saúde. Este estudo aborda a lacuna na compreensão de quão bem os atuais LLMs voltados ao público atendem às expectativas sócio-comunicativas colocadas sobre consultores de saúde.

Metodologia
Os pesquisadores conduziram uma avaliação qualitativa utilizando um subconjunto do conjunto de dados HELP-Med, que compreende 1.800 transcrições de conversas entre participantes humanos e três LLMs distintos: GPT-4o, Llama 3 70B e Command R+.

• Seleção de Dados: Do conjunto de dados completo, os autores selecionaram dois cenários médicos específicos. Para cada par modelo-cenário, eles extraíram duas conversas: uma onde o participante identificou corretamente os próximos passos e outra onde não o fez, resultando em um total de 12 diálogos para análise.
• Instrumento de Avaliação: O estudo utilizou uma versão adaptada do instrumento Interactional Competencies – Medical Doctors (IC-MD). Originalmente projetado para avaliar a admissão de estudantes de medicina via vídeo, o IC-MD avalia quatro pontuações globais: Sensibilidade, Estruturação, Não-intrusividade e Não-hostilidade.
• Adaptação para Texto: Como o conjunto de dados é apenas textual, os critérios de avaliação foram modificados para focar em características textuais observáveis. Uma escala simplificada de três pontos (Negativo/-, Neutro/0, Positivo/) foi aplicada a cada competência.
• Processo de Avaliação: Dois especialistas independentes, cegos à identidade específica do LLM e aos resultados dos participantes, avaliaram os diálogos. A confiabilidade inicial entre avaliadores foi de moderada a alta (média de Kendall's Tau $r_\tau = .75$). As discrepâncias, particularmente em relação à interpretação de "hostilidade" no texto (ex: não respostas), foram reconciliadas por meio de discussão para estabelecer critérios detalhados para o ambiente baseado em texto.

Principais Contribuições

• Aplicação de Frameworks Clínicos à IA: O estudo adapta um instrumento validado (IC-MD) usado para profissionais médicos humanos para avaliar o desempenho sócio-comunicativo de LLMs em um contexto de busca de informações médicas.
• Análise Granular de Competências: Em vez de uma análise de sentimento geral, o artigo decompõe o "jeito de atender" (bedside manner) em quatro dimensões específicas e clinicamente relevantes: sensibilidade, estruturação, não-intrusividade e não-hostilidade.
• Diferenciação de Papéis: O trabalho destaca a distinção entre as expectativas sociais de um médico humano versus uma ferramenta de IA, sugerindo que os comportamentos desejáveis podem diferir com base no papel funcional do agente (ex: o comportamento de "rede de segurança" de uma IA difere do de um médico).

Resultos
A análise dos 12 diálogos revelou padrões de desempenho distintos através das quatro competências:

1. Não-hostilidade: Os LLMs tiveram um desempenho forte nesta categoria. Eles geralmente mantiveram uma linguagem polida e respeitosa. Avaliações negativas foram raras e aplicadas apenas quando o modelo falhou em engajar com perguntas relevantes ou desviou repetidamente para outras fontes sem fornecer ajuda real, o que poderia ser interpretado como indiferente ou hostil.
2. Não-intrusividade: Os resultados foram mistos. Os modelos geralmente preservaram a autonomia do usuário usando recomendações em vez de comandos. No entanto, eles tiveram dificuldades com o envolvimento ativo, um componente chave do cuidado centrado no paciente, onde o provedor engaja ativamente o paciente para construir uma compreensão compartilhada.
3. Sensibilidade: O desempenho foi misto. As interações foram predominantemente polidas e baseadas em fatos, mas muitas vezes careceram de exibições afetivas ou validação empática. Embora os modelos ocasionalmente usassem frases como "sinto muito em ouvir", eles frequentemente falharam em aplicar linguagem empática em momentos críticos (ex: ao entregar informações angustiantes) ou falharam em abordar o impacto emocional de alterar suas próprias avaliações.
4. Estruturação: Esta foi a área de maior déficit. Os LLMs raramente demonstraram a capacidade de organizar interações de forma eficiente. Ao contrário dos médicos humanos que fazem perguntas direcionadas de forma proativa para avaliar a gravidade, priorizar informações e construir uma compreensão compartilhada de sintomas e próximos passos, os LLMs frequentemente forneceram informações desconexas, deixando o usuário para organizar a conversa e avaliar a urgência. Estudos de caso ilustraram instâncias onde os modelos falharam em dar seguimento às suas próprias hipóteses ou ignoraram tentativas do usuário de estruturar o diálogo.

Significância e Alegações
O artigo conclui que os LLMs atuais carecem das habilidades sócio-comunicativas consistentes e confiáveis necessárias para o uso seguro e eficaz como consultores de saúde.

• Risco de Sobrecarga: O principal risco identificado é que a falta de estruturação força leigos médicos, que já estão frequentemente em sofrimento, a organizar informações desconexas e regular seus próprios estados emocionais simultaneamente. Isso pode ser esmagador e pode impactar negativamente a segurança do paciente e o comprometimento.
• Expectativas Específicas do Papel: Os autores argumentam que, embora os frameworks existentes para competências de interação possam guiar o desenvolvimento, eles devem ser adaptados. O comportamento "ideal" para uma IA difere do de um médico humano; por exemplo, a recusa de uma IA em dar aconselhamento médico é um recurso de segurança, enquanto a recusa de um médico humano poderia ser considerada hostil.
• Desenvolvimento Futuro: O estudo sugere que, em vez de treinar LLMs para produzir desculpas superficiais ou fingir emoções (o que alguns usuários acham ofensivo), o desenvolvimento deve focar em "comportamentos sensíveis", como a coleta e provisão apropriada de informações contextuais para equilibrar declarações de impacto emocional. Além disso, os LLMs devem ser treinados para fazer perguntas esclarecedoras de forma proativa para construir uma compreensão compartilhada, uma habilidade atualmente ausente nos modelos voltados ao público.

Os autores mantêm uma postura modesta, observando que seu estudo utiliza cenários simulados com riscos menores do que interações clínicas do mundo real e não inclui uma comparação direta com médicos praticantes realizando as mesmas tarefas. No entanto, eles afirmam que as fraquezas identificadas em estruturação e sensibilidade são barreiras críticas para a implantação de LLMs como ferramentas de informação de saúde.