AI-Generated Responses to Patient's Messages: Effectiveness, Feasibility and Implementation

Este estudo avaliou a implementação da tecnologia de resposta aumentada por IA da Epic em um hospital acadêmico holandês, revelando que, apesar de uma adoção inicial elevada e de alguns benefícios percebidos na qualidade do texto, a ferramenta teve impacto limitado na eficiência clínica e no bem-estar dos profissionais de saúde, com taxas de uso e satisfação declinando ao longo do tempo devido a barreiras como imprecisões de conteúdo e desalinhamento estilístico.

O essencial

Imagine que você é um médico ou enfermeiro. No final do dia, em vez de ir para casa, você se depara com uma pilha gigante de cartas digitais (mensagens de pacientes) que precisam ser respondidas. É cansativo, estressante e consome muito tempo.

Para ajudar nessa "montanha de cartas", os pesquisadores do Hospital Universitário Radboud, na Holanda, decidiram testar um robô de inteligência artificial (chamado "Art") que promete escrever os rascunhos das respostas para você. A ideia era simples: o robô lê a mensagem do paciente, olha no prontuário médico e escreve uma resposta pronta. Você só precisaria revisar e enviar.

Este estudo é como um "diário de bordo" de 6 meses, onde eles testaram esse robô com médicos, enfermeiros e equipe de apoio em quatro departamentos diferentes (como dermatologia e oncologia).

Aqui está o resumo da história, explicado de forma simples:

1. A Expectativa vs. A Realidade (O "Sonho" vs. o "Despertar")

No início, todos estavam muito animados. Era como se tivessem recebido um novo super-herói para ajudar a salvar o dia. Eles achavam que o robô iria reduzir o trabalho, diminuir o estresse e fazer tudo ficar mais rápido.

Mas o que aconteceu?
A empolgação inicial esfriou rapidamente. Depois de um mês e depois de quatro meses, os profissionais de saúde perceberam que o robô não era tão mágico quanto parecia.

• A Ilusão de Economia de Tempo: Eles esperavam ganhar tempo, mas descobriram que, na verdade, gastavam quase o mesmo tempo. Por quê? Porque o robô cometia erros. Às vezes, ele inventava fatos (alucinações), esquecia de incluir informações importantes ou respondia de um jeito muito frio e robótico. Então, o médico tinha que ler, corrigir, reescrever e verificar tudo de novo. Era como ter um assistente que escreve rápido, mas precisa que você edite cada palavra antes de enviar.
• O Uso Caiu: No começo, muitos usaram o robô. Com o tempo, o uso caiu. A taxa de uso ficou em torno de 17%. Era como tentar usar um novo aplicativo de celular que parece legal no primeiro dia, mas depois você percebe que é mais rápido fazer as coisas do jeito antigo.

2. O Que o Robô Fez Bem (Os "Superpoderes")

Não foi tudo ruim! O robô tinha seus momentos de brilho:

• Estrutura: As respostas que ele gerava eram bem organizadas e gramaticalmente corretas.
• Tom Empático: Em alguns casos, o robô conseguia escrever de um jeito gentil e paciente, o que agradava os profissionais.
• Base Sólida: Para mensagens simples, ele servia como um bom "ponto de partida", evitando que o médico começasse a escrever do zero com a tela em branco.

3. O Que Dá Errado (Os "Defeitos do Robô")

Os principais problemas foram:

• Erros Médicos: O robô às vezes dizia coisas erradas sobre medicamentos ou resultados de exames. Isso é perigoso, pois o médico tem que ficar em alerta máximo para não deixar passar um erro.
• Falta de Personalidade: As mensagens pareciam genéricas, como se fossem enviadas por um bot, e não por um ser humano que se importa.
• Confiança: Os profissionais tinham medo de confiar cegamente no robô (o chamado "viés de automação"). Eles sabiam que, se o robô errasse e eles não checassem, poderia acontecer algo ruim com o paciente.

4. A Lição Final (O Que Aprendemos?)

O estudo conclui que a inteligência artificial na saúde é uma ferramenta promissora, mas ainda não está pronta para trabalhar sozinha.

• Não é um "Botão Mágico": Não adianta apenas instalar o software e esperar que o trabalho desapareça. É preciso treinar as pessoas, explicar que o robô é um "assistente júnior" que precisa de supervisão constante e criar regras claras sobre quem é o responsável final (o médico humano).
• Precisa de Feedback: O robô precisa aprender com os erros. Se os médicos dizem "isso está errado", o sistema precisa ser ajustado rapidamente.
• Qualidade é Tudo: Antes de usar isso em larga escala, precisamos definir critérios claros: "O robô precisa acertar 99% das vezes para ser útil".

Em Resumo

Imagine que a Inteligência Artificial é como um carro autônomo em fase de teste. Ele consegue dirigir em algumas ruas, mas ainda precisa de um motorista humano atento ao lado, pronto para pegar o volante se algo der errado.

Neste estudo, os médicos descobriram que, por enquanto, o "carro" (o robô de mensagens) ainda exige que eles fiquem muito atentos e façam muito trabalho de revisão. Para que ele realmente ajude a reduzir o cansaço e o estresse, a tecnologia precisa amadurecer, os erros precisam diminuir e os profissionais precisam se sentir seguros e bem treinados para usá-lo.

A mensagem principal é: A tecnologia é legal, mas o toque humano e a supervisão cuidadosa ainda são insubstituíveis na medicina.

Resumo técnico

Título do Estudo

Respostas Geradas por IA às Mensagens dos Pacientes: Eficácia, Viabilidade e Implementação

1. Problema e Contexto

O aumento do volume de mensagens entre pacientes e profissionais de saúde (HCPs), exacerbado pela telemedicina durante a pandemia, gerou uma carga administrativa significativa, contribuindo para o esgotamento profissional (burnout). Embora modelos de linguagem grandes (LLMs) e Inteligência Artificial Generativa (GenAI) ofereçam a promessa de reduzir essa carga ao gerar rascunhos de respostas baseados em dados de Prontuários Eletrônicos de Saúde (EHR), a maioria das evidências provém de contextos norte-americanos e em inglês.
Havia uma lacuna crítica de conhecimento sobre a eficácia, viabilidade e experiência do usuário dessas ferramentas em contextos de saúde não anglófonos (especificamente em holandês) e em ambientes acadêmicos holandeses. O estudo focou na implementação do Art (Augmented Response Technology) da Epic Systems Corporation no Radboudumc (Holanda).

2. Metodologia

O estudo utilizou um design híbrido de tipo 1 (eficácia-implantação), combinando a avaliação de resultados clínicos/operacionais com a implementação da tecnologia.

• Local e Participantes: Quatro departamentos clínicos do Radboudumc (Dermatologia, Oncologia Médica, Otorrinolaringologia e Pneumologia). Envolveu 237 profissionais de saúde (médicos, enfermeiros e equipe de apoio).
• Período: Estudo de seis meses (Janeiro a Junho de 2025).
• Ferramenta (Art):
  • Integração no sistema InBasket do EHR.
  • Classificação automática de mensagens (administrativas, gerais, medicamentos, resultados) usando GPT-3.5 Turbo para definir prompts.
  • Geração de rascunhos de resposta usando GPT-4o (modelo estático, sem aprendizado contínuo dos dados de entrada).
  • O profissional de saúde podia aceitar, editar ou rejeitar o rascunho.
• Coleta de Dados:
  • Métricas do EHR: Tempo de revisão, tempo de redação, taxas de adoção e feedback dos usuários.
  • Inquérito (Survey): Realizado em três momentos: PRE (antes da implementação), POST-1 (1 mês) e POST-2 (4 meses).
  • Instrumentos: Escalas validadas como NASA-TLX (carga de trabalho), PFI (esgotamento), TAM (aceitação de tecnologia), SUS (usabilidade do sistema) e NPS.
  • Análise Qualitativa: Respostas abertas codificadas usando o framework NASSS (Não-adopção, Abandono, Escala, Disseminação e Sustentabilidade).

3. Principais Contribuições

• Contexto Não-Anglófono: É um dos primeiros estudos a avaliar a implementação de ferramentas de GenAI para comunicação paciente-médico em um ambiente de saúde holandês, abordando desafios linguísticos e culturais específicos.
• Avaliação de Longo Prazo: Diferente de estudos focados apenas no lançamento, este acompanhou a evolução da percepção e uso ao longo de 6 meses, capturando a transição da "novidade" para a rotina.
• Framework NASSS Aplicado: Mapeou sistematicamente barreiras e facilitadores, fornecendo um roteiro para a implementação responsável de IA na saúde.
• Métricas de Eficiência Real: Comparou tempos reais de processamento de mensagens entre usuários com e sem a ferramenta, indo além de apenas auto-relatos.

4. Resultados

Métricas de Uso e Eficiência (EHR)

• Volume: Foram gerados 8.410 rascunhos, mas apenas 16,7% foram utilizados (adotados) pelos profissionais.
• Tempo: Não houve diferença estatisticamente significativa no tempo de revisão ou redação entre mensagens com e sem o uso do Art. O tempo médio de revisão foi de ~2 min 2s (com Art) vs ~2 min 10s (sem Art).
• Adoção: A taxa de adoção foi alta inicialmente, mas declinou ao longo do tempo. O departamento de Pneumologia teve a maior taxa (27,1%), enquanto Oncologia Médica teve a menor (10,7%).

Resultados do Inquérito (Quantitativo)

• Expectativas vs. Realidade: Houve uma queda significativa na percepção de eficiência clínica e na intenção de uso entre o momento PRE e POST-2.
• Bem-estar: Não houve mudanças significativas nos níveis de esgotamento ou carga de trabalho (NASA-TLX).
• Usabilidade: As pontuações de usabilidade (SUS) e a percepção da qualidade da saída declinaram significativamente. O NPS (Net Promoter Score) caiu de -13 para -38, indicando uma insatisfação crescente.

Barreiras e Facilitadores (Qualitativo - NASSS)

• Facilitadores:
  • Rascunhos bem estruturados e com tom empático.
  • Redução da carga cognitiva inicial (foco no conteúdo em vez de formatação).
  • Extração automática de dados do EHR (ex: valores de laboratório, gênero).
• Barreiras:
  • Precisão Clínica: Erros factuais, alucinações (ex: nomes incorretos, dados de medicação errados) e falta de relevância para perguntas complexas.
  • Utilidade Prática: Os usuários sentiam que ainda precisavam verificar tudo, anulando a economia de tempo.
  • Estilo e Relação: O tom era percebido como impessoal ou não alinhado com o estilo do médico.
  • Viés de Automação: Preocupação de que os profissionais pudessem confiar cegamente em erros.

5. Significado e Conclusões

O estudo revela que, embora a tecnologia de GenAI para mensagens de pacientes seja tecnicamente viável, sua efetividade percebida e adoção foram mistas e decepcionantes no contexto estudado.

• Desafio de Expectativas: A alta expectativa inicial de economia de tempo não se concretizou na prática, pois a necessidade de verificação rigorosa dos rascunhos (devido a riscos de segurança e precisão) manteve a carga de trabalho.
• Necessidade de Governança: A implementação bem-sucedida exige não apenas a ferramenta, mas:
  1. Um fluxo de trabalho claro para feedback do usuário e ajustes iterativos dos prompts.
  2. Diretrizes explícitas sobre responsabilidade clínica (o médico é sempre o responsável final).
  3. Comunicação transparente sobre as limitações da ferramenta para gerenciar expectativas.
• Futuro: Para escalar a GenAI na prática clínica, é necessário estabelecer consenso sobre indicadores de qualidade e limiares de desempenho que garantam que a ferramenta ofereça valor real e seguro antes de sua adoção em larga escala.

Em suma, a ferramenta atual (Art) não atendeu totalmente às expectativas dos usuários na sua forma inicial, destacando que a integração de IA na saúde requer uma abordagem centrada no ser humano, com foco contínuo na melhoria da qualidade dos dados e na confiança do usuário.