Automating QuAL Scoring of Entrustable Professional Activity Narrative Feedback Across Residency Programs: A Locally Deployed Natural Language Processing Model
Este estudo demonstra que um modelo de processamento de linguagem natural DeBERTa-v3 implantado localmente pode automatizar de forma precisa e escalável a pontuação da Qualidade da Avaliação da Aprendizagem (QuAL) de feedbacks narrativos de Atividades Profissionais Confiáveis em múltiplos programas de residência, alcançando um acordo substancial com avaliadores humanos ao mesmo tempo em que preserva a privacidade dos dados.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo do treinamento médico, aprender não é mais apenas sobre memorizar fatos; é sobre provar que você consegue realizar o trabalho. Os programas modernos dependem de um sistema onde médicos em treinamento são constantemente observados realizando tarefas reais, desde o gerenciamento do cuidado de um paciente até o manejo de uma crise. Essas observações são registradas não apenas com um número, mas com comentários escritos. Essas notas são a força vital do processo. Elas dizem ao estagiário o que ele fez bem, o que precisa corrigir e como suas ações se conectam aos padrões da profissão. Sem essas notas específicas e de alta qualidade, um estagiário pode receber uma pontuação, mas permanecer sem saber como melhorar. O problema é que escrever essas notas dá muito trabalho, e a qualidade do que é escrito varia drasticamente. Algumas notas são ricas em detalhes e conselhos claros; outras são vagas ou perdem totalmente o ponto. Para resolver isso, os educadores desenvolveram uma forma de medir a qualidade desses comentários, buscando três coisas específicas: prova do que aconteceu, uma sugestão clara de melhoria e uma ligação com um objetivo de aprendizagem. Mas verificar cada nota individualmente à mão é lento e exaustivo, tornando difícil garantir que cada estagiário receba o feedback que merece.
Uma equipe de pesquisadores da Universidade de Alberta partiu para ver se um computador poderia ajudar com esse pesado trabalho. Eles queriam saber se um programa de computador especializado, que compreende a linguagem humana, poderia ler essas milhares de notas escritas e avaliá-las da mesma forma que um especialista humano faria. O objetivo não era substituir os professores, mas construir uma ferramenta que pudesse lidar com o volume de trabalho mantendo os dados seguros dentro das paredes do hospital e da universidade. Eles se concentraram em um tipo específico de treinamento médico chamado Atividades Profissionais Confiáveis (Entrustable Professional Activities), onde os residentes são avaliados em sua capacidade de realizar deveres específicos. Os pesquisadores reuniram mais de 5.000 comentários escritos de 24 programas de residência diferentes de uma única instituição canadense. Esses comentários vieram de um ano de treinamento entre 2019 e 2020. Antes que o computador visse os dados, as notas já haviam sido cuidadosamente lidas e pontuadas por especialistas humanos usando uma lista de verificação padrão. Essa pontuação humana serviu como o padrão ouro, a resposta correta contra a qual o desempenho do computador seria medido.
Os pesquisadores construíram um modelo de computador que rodaram inteiramente em seus próprios servidores locais, garantindo que nenhuma informação sensível de pacientes ou estagiários saísse de seu ambiente seguro. Eles ensinaram este modelo a procurar os três elementos-chave nas notas: evidência, sugestões e conexões. Para a parte da evidência, o modelo tinha que decidir quão bem o escritor descreveu o que realmente aconteceu, variando de nenhuma descrição até um relato muito detalhado. Para as outras duas partes, ele simplesmente tinha que decidir se uma sugestão de melhoria estava presente e se a nota conectava a observação a um objetivo de aprendizagem mais amplo. Para garantir que o teste fosse justo e realista, eles dividiram os dados de modo que notas sobre o mesmo estagiário nunca aparecessem tanto no grupo de treinamento quanto no grupo de teste. Isso evitou que o computador simplesmente memorizasse o estilo de escrita de um estagiário específico e fingisse entender as regras.
Quando os pesquisadores liberaram o modelo para os dados de teste não vistos, os resultados foram encorajadores. O computador tornou-se muito bom em detectar se uma nota continha uma sugestão de melhoria clara, acertando na maioria das vezes. Ele também fez um bom trabalho identificando a seção de evidências, julgando corretamente a qualidade da descrição na vasta maioria dos casos. O modelo foi menos perfeito ao encontrar a conexão entre a observação e o objetivo de aprendizagem, mas ainda assim teve um desempenho bom o suficiente para ser útil. Quando os pesquisadores analisaram a pontuação total que o modelo deu para cada nota em comparação com a pontuação humana, descobriram que, em mais de 86% dos casos, a pontuação do computador estava a apenas um ponto de distância da pontuação do especialista humano. Os erros que cometeu foram geralmente pequenos, como dar uma nota dois em vez de três, em vez de erros grandes que descaracterizariam completamente a qualidade do feedback.
O estudo sugere que esse tipo de ferramenta de computador executada localmente poderia se tornar um parceiro prático para educadores médicos. Oferece uma maneira de monitorar a qualidade do feedback em muitos programas sem o custo massivo de contratar pessoas para ler cada nota. Como o modelo roda em computadores locais, ele respeita a privacidade dos estagiários e da instituição, evitando os riscos de enviar dados sensíveis para empresas externas. Os pesquisadores ressaltam cautelosamente que este é um ponto de partida, não uma solução final. O modelo ainda precisa ser testado em outros hospitais e em situações de tempo real para ver se ajuda professores e estagiários a longo prazo. Mas as descobertas mostram que é possível construir um sistema que entenda a nuance do feedback médico, oferecendo uma forma escalável de garantir que cada estagiário receba a orientação clara e acionável necessária para se tornar um médico habilidoso.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.