Evaluating the Effectiveness of an Information System-Assisted Competency Assessment for Residents: A Single-Center Study in China
Este estudo unicêntrico na China demonstra que uma avaliação de competências assistida por um sistema de informação é viável para o treinamento de residência em larga escala, mas revela uma leniência significativa do corpo docente e uma inflação da autoavaliação dos residentes, ressaltando a necessidade crítica de calibração dos avaliadores para garantir a precisão da avaliação.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo do treinamento médico, o objetivo tem sido, há muito tempo, garantir que cada médico graduado em um programa de residência não seja apenas conhecedor, mas verdadeiramente competente. Por décadas, esse treinamento dependeu fortemente de quanto tempo um estudante passava em um hospital e se ele passava em exames escritos. No entanto, a abordagem moderna, conhecida como educação médica baseada em competências, muda o foco para o que um médico consegue realmente fazer. Ela decompõe o complexo trabalho de ser um médico em habilidades específicas, como gerenciar o cuidado de um paciente, comunicar-se com uma família ou ensinar um colega júnior. O desafio para os hospitais é como medir essas habilidades de forma justa e precisa entre centenas de estagiários. Se as pessoas que avaliam os residentes forem condescendentes demais, ou se os residentes acharem que são melhores do que realmente são, o sistema falha em identificar quem precisa de mais ajuda. Sem uma imagem clara das reais capacidades de um residente, um hospital não pode garantir que seus médicos estejam prontos para tratar pacientes com segurança.
Para resolver isso, pesquisadores do West China Hospital em Sichuan, China, recorreram à tecnologia para avaliar quase 1.800 residentes em 24 diferentes especialidades médicas. Eles construíram um sistema digital para coletar dados sobre como esses estagiários estavam desempenhando ao longo de vários meses. Em vez de depender de uma única opinião, o sistema coletou três tipos diferentes de feedback para cada residente: uma pontuação de seu mentor docente direto, uma pontuação de um comitê especial de especialistas conhecido como Comitê de Competência Clínica e uma pontuação dos próprios residentes. Os pesquisadores queriam ver se essa abordagem digital poderia funcionar em tal escala e, mais importante, se os diferentes grupos de avaliadores concordavam uns com os outros. Eles buscavam a verdade por trás dos números: as pontuações aumentavam conforme os residentes ganhavam experiência e as pessoas que os avaliavam viam a mesma realidade?
Os resultados mostraram que o sistema digital funcionou bem, organizando com sucesso uma quantidade massiva de dados que seria impossível gerenciar com formulários de papel. Quando os pesquisadores analisaram as pontuações dadas pelo comitê de especialistas, um padrão claro emergiu. À medida que os residentes avançavam do primeiro para o terceiro ano de treinamento, suas pontuações melhoravam significamente em todas as áreas de competência. Isso confirmou que o treinamento estava funcionando e que os residentes estavam, de fato, tornando-se mais habilidosos ao longo do tempo. No entanto, uma habilidade específica destacou-se como consistentemente fraca. Em todos os três anos de treinamento, os residentes receberam as notas mais baixas em habilidades de ensino. Mesmo os estagiários mais experientes tinham dificuldades nessa área, sugerindo que, embora estivessem se tornando excelentes médicos, não estavam sendo ensinados a ensinar outros.
O estudo também revelou uma desconexão significativa entre quem estava avaliando e como avaliava. Os mentores docentes, que trabalham de perto com os residentes todos os dias, deram pontuações que estavam geralmente na mesma ordem de grandeza que o comitê de especialistas, mas foram consistentemente benevolentes demais. Em cinco das seis áreas de habilidade, os mentores avaliaram os residentes de forma mais alta do que o comitê. Essa "condescendência" significava que os mentores não estavam detectando as mesmas fraquezas que o comitê via. A lacuna era ainda maior quando se tratava das próprias visões dos residentes sobre seu desempenho. Quando os residentes avaliavam a si mesmos, davam a si próprios pontuações que eram dramaticamente superiores às classificações do comitê de especialistas. Em média, um residente avaliava a si mesmo cerca de quatro pontos acima do que o comitê o fazia. Isso sugere que os residentes não estavam apenas ligeiramente excessivamente confiantes; eles estavam amplamente inconscientes da lacuna entre sua autopercepção e seu desempenho real.
Os pesquisadores descobriram que o sistema digital era uma ferramenta poderosa para descobrir esses padrões ocultos. Ele permitiu que vissem que, embora o programa de treinamento fosse bem-sucedido em construir habilidades clínicas, estava falhando em desenvolver habilidades de ensino. Também destacou uma necessidade séria de melhor treinamento para as pessoas que realizam a avaliação. Os mentores docentes precisavam aprender a ser mais objetivos, e os residentes precisavam de ajuda para aprender a julgar seu próprio trabalho com precisão. O estudo não alegou ter resolvido esses problemas, mas provou que um sistema computadorizado poderia fornecer os dados claros e honestos necessários para corrigi-los. Ao se afastar de registros fragmentados em papel para uma plataforma digital unificada, o hospital criou uma maneira de medir o progresso que era tanto de grande escala quanto detalhada. Essa abordagem oferece um caminho a seguir para a educação médica, onde os dados podem ser usados para garantir que cada residente esteja verdadeiramente pronto para cuidar de pacientes, em vez de apenas ter completado o tempo exigido.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.