Reliability and Feasibility of a Multi-Source, Competency-Based Evaluation System for Surgical Sub-Internship Students: A Single-Institution Pilot Study
Este estudo piloto de uma única instituição demonstra que um sistema de avaliação breve, de múltiplas fontes e baseado em competências para estagiários de cirurgia (sub-interns) alcança forte confiabilidade interexaminadores e viabilidade com carga mínima para o avaliador, sustentando seu potencial para seleção de residência de alto risco.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você está contratando um novo chef para um restaurante movimentado. Normalmente, você poderia apenas perguntar ao chef executivo: "Essa pessoa pareceu ok?", e tomar uma decisão baseada nessa única opinião. Mas e se o chef executivo estivesse ocupado demais para observar o tempo todo, ou se ele tivesse visto o chef apenas em um dia bom? Você desejaria um sistema melhor para ver se o novo contratado está realmente pronto para encarar o movimento do jantar.
Este artigo trata do teste de um novo sistema de "boletim" para estudantes de medicina que estão fazendo um teste final (chamado de "Sub-Internship") antes de se tornarem cirurgiões de verdade. O objetivo era ver se uma nova maneira estruturada de avaliá-los funciona melhor do que a antiga maneira informal.
Aqui está a divisão do que eles fizeram e descobriram, usando analogias simples:
O Problema: O "Jogo de Adivinhação"
Atualmente, quando as escolas de medicina escolhem residentes, elas muitas vezes dependem de uma única carta de recomendação de um médico. É como contratar um piloto com base em uma única conversa com o gerente do aeroporto, sem verificar os registros de voo ou perguntar aos copilotos. Isso pode ser injusto, inconsistente e deixa de fora o quadro completo de como o estudante realmente desempenha suas funções.
A Solução: O "Scorecard 360 Graus"
Os pesquisadores construíram um novo boletim digital. Em vez de apenas uma pessoa avaliar o estudante, eles pediram a três grupos diferentes para preencherem:
- Os Chefes: Cirurgiões preceptores (como os chefs executivos).
- Os Pares: Outros residentes (como os sous-chefs que trabalham lado a lado com o estudante).
- A Equipe de Apoio: Enfermeiros e técnicos (como os lavadores de pratos e garçons que veem como o estudante trata toda a equipe).
O boletim não perguntava apenas "Este estudante é bom?" (que é algo vago). Em vez disso, fazia perguntas específicas sobre seis áreas principais, como "Ele consegue manusear uma faca?" (Habilidades Técnicas), "Ele conhece a receita?" (Conhecimento Clínico) e "Ele é educado sob pressão?" (Profissionalismo). Eles usaram uma escala simples de 1 a 5, semelhante à avaliação de um filme.
O Teste: Um Piloto de 5 Meses
Eles testaram este novo sistema em um hospital durante cinco meses. Oito estudantes passaram por suas rotações e a equipe preencheu 24 desses formulários digitais. Os formulários foram projetados para serem rápidos, como pedir um café em um aplicativo de celular, levando apenas cerca de 3 minutos para serem concluídos.
Os Resultados: O Novo Sistema Funciona?
Os pesquisadores queriam saber duas coisas:
- Confiabilidade: Se pessoas diferentes avaliassem o mesmo estudante, elas concordariam? (Se uma pessoa der "5 estrelas" e outra der "1 estrela", o sistema está quebrado).
- Viabilidade: Era muito trabalho para a equipe?
Aqui está o que eles descobriram:
- Foi rápido e fácil: A equipe terminou os formulários em cerca de 3 minutos. Não atrasou o hospital.
- As notas do "Panorama Geral" foram super consistentes: Quando se tratava das perguntas mais importantes — "Este estudante está pronto para ser um cirurgião?" e "Quão boas são suas habilidades técnicas?" — os diferentes avaliadores (médicos, residentes e equipe) concordaram quase perfeitamente. É como se você perguntasse a cinco críticos gastronômicos para avaliar um prato, e todos dessem uma avaliação de 5 estrelas.
- As notas de "Conhecimento" foram razoáveis: Quando se tratava de avaliar o quanto o estudante sabia sobre medicina, os avaliadores concordaram moderadamente bem.
- As notas de "Profissionalismo" foram complicadas: Curiosamente, as pontuações sobre "ser uma boa pessoa" foram tão altas para todos que o sistema não conseguia distinguir muita diferença entre elas. É como uma aula onde todos os alunos tiram "A" em presença; as notas são todas iguais, então a matemática parece estranha, mas isso apenas significa que todos chegaram no horário! O sistema ainda funcionou porque tinha uma seção de "bandeira vermelha" para problemas sérios.
- Não houve Viés: Não importava se um chefe ou um colega preenchia o formulário; eles davam pontuações semelhantes. Isso significa que o sistema é justo, independentemente de quem está realizando a avaliação.
- Ele detectou os problemas: O sistema conseguiu sinalizar com sucesso os estudantes que estavam com dificuldades. Cerca de 17% das avaliações tiveram uma nota de "preocupação" e o sistema garantiu que isso fosse registrado claramente para que o comitê de contratação pudesse ver exatamente o que deu errado.
A Conclusão
Os pesquisadores concluíram que este novo boletim, feito por várias pessoas, é uma ferramenta sólida e confiável. Ele oferece uma imagem clara e consistente de se o estudante está pronto para o trabalho, sem tomar muito tempo da ocupada equipe médica.
Eles observaram que este foi apenas um pequeno teste (um "piloto") com um pequeno grupo de estudantes. Para torná-lo perfeito, eles dizem que precisam testá-lo em mais hospitais e com mais estudantes para ajustar os números. Mas, por enquanto, isso prova que uma maneira estruturada e baseada em equipe de avaliar é possível e funciona bem.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.