Pathways to improve the quality of clinical professional master’s degree theses: a retrospective analysis of double-blind review results

No mundo da formação médica, a tese final é mais do que apenas um longo artigo; é o ponto culminante que prova que um estudante realmente dominou seu ofício. Para estudantes que buscam um mestrado profissional em medicina clínica, este documento representa a culminação de anos estudando doenças, tratando pacientes e aprendendo a pensar como um médico. Para garantir que esses documentos atendam a altos padrões, as universidades utilizam um processo chamado revisão duplo-cega. Neste sistema, os nomes dos alunos e de seus professores são ocultados dos especialistas que avaliam o trabalho, e as identidades dos especialistas são ocultadas dos alunos. Essa configuração é projetada para eliminar conexões pessoais e preconceitos, deixando apenas a qualidade da escrita e da pesquisa serem julgadas. Se uma tese passa por este rigoroso teste anônimo, ela avança para uma defesa final; se falha, o aluno deve revisar o trabalho e só então é aprovado para a defesa, embora uma pontuação abaixo de 60 pontos resulte em desaprovação para a defesa. Compreender o que faz esses trabalhos terem sucesso ou fracassar é crucial, pois a qualidade dessas teses reflete a qualidade dos futuros médicos que entrarão nos hospitais.

Uma equipe de pesquisadores do Chengdu Medical College, na China, decidiu observar de perto os resultados deste processo de revisão cega para ver o que realmente estava acontecendo por trás das notas. Eles reuniram dados de 1.156 relatórios de revisão cobrindo 578 teses submetidas entre 2021 e 2023. O objetivo era ir além das médias simples e entender os fatores específicos que influenciaram se uma tese era classificada como excelente, boa, regular ou insuficiente. Eles examinaram o histórico dos estudantes, os títulos de seus orientadores, as especialidades médicas envolvidas e os comentários detalhados escritos pelos revisores anônimos. Ao tratar os dados como um mapa, esperavam encontrar os caminhos ocultos que levam a um trabalho de melhor qualidade.

Quando os pesquisadores olharam para as pontuações gerais pela primeira vez, o cenário parecia calmo e estável. A pontuação média das teses permaneceu quase exatamente a mesma ao longo dos três anos, pairando em torno de 80 pontos. No entanto, quando classificaram os trabalhos em categorias, uma história diferente surgiu. O ano de 2022 destacou-se como uma anomalia. Embora a pontuação média parecesse normal, esse ano teve a menor taxa de trabalhos excelentes e a maior taxa de falhas. Isso sugeriu que o ponto médio estava mascarando uma mudança real na qualidade. Os pesquisadores descobriram que os trabalhos de 2022 eram mais fracos em áreas específicas que exigem pensamento profundo e aplicação prática, como o valor real da pesquisa e a padronização da escrita. Em contraste, as habilidades básicas, como a capacidade dos alunos de resumir a literatura existente ou desenhar seus métodos, permaneceram estáveis. Esse padrão indicou que, embora os alunos ainda fossem bons nos fundamentos, sua capacidade de produzir um trabalho de alto nível e inovador havia caído durante aquele ano específico.

O estudo também revelou que quem o estudante era importava mais do que quem era seu professor. Os pesquisadores compararam estudantes de tempo integral, que se dedicam inteiramente aos estudos, com aqueles em uma via de equivalência, que são frequentemente médicos trabalhando em regime de meio período. Os estudantes de tempo integral produziram consistentemente trabalhos de maior qualidade, com uma taxa muito maior de trabalhos excelentes e uma taxa menor de falhas. Os estudantes de meio período enfrentaram mais dificuldades, provavelmente devido ao conflito entre seus empregos e suas pesquisas. Surpreendentemente, o título acadêmico do orientador não alterou o resultado. Se um aluno era orientado por um professor sênior ou um professor associado, não houve diferença estatística para a nota final. Da mesma forma, o histórico do revisor anônimo, como se ele vinha de uma universidade de primeira linha ou possuía o título de orientador de doutorado, não teve impacto nas pontuações. Isso confirmou que o sistema de revisão cega estava funcionando conforme o pretendido, julgando o trabalho por seus próprios méritos, e não pela reputação das pessoas envolvidas.

A especialidade médica do estudante também se mostrou irrelevante para a qualidade final. Quer uma tese fosse sobre cirurgia, medicina interna ou anestesia, a distribuição das notas foi estatisticamente a mesma. Não houve evidência de que um campo da medicina produzisse melhores ou piores trabalhos do que outro. Em vez disso, o foco dos próprios revisores estava mudando ao longo do tempo. Em 2021, as reclamações mais comuns nos comentários de revisão eram sobre questões formais, como estilo de escrita e formatação de citações. Em 2023, os revisores falavam muito mais sobre a substância da pesquisa. Palavras como "inovação", "valor clínico" e "limitações da pesquisa" apareceram com frequência crescente. Essa mudança mostrou que a comunidade acadêmica estava elevando suas expectativas, afastando-se de simplesmente marcar caixas para formatação correta e exigindo que a pesquisa realmente contribuísse com algo novo e útil para a área.

Os pesquisadores concluíram que a estabilidade das pontuações médias era enganosa. A queda de qualidade durante 2022 foi provavelmente causada pela emergência de saúde pública global, que comprimiu o tempo disponível tanto para professores quanto para alunos. Os supervisores clínicos estavam sobrecarregados com o atendimento a pacientes, e os alunos tinham menos tempo para dedicar às suas pesquisas, levando a um declínio nos aspectos mais complexos da tese. Para corrigir isso, os autores sugerem que as escolas devem parar de confiar apenas em pontuações médias para julgar a qualidade. Em vez disso, devem observar de perto a dispersão das notas, procurando por picos de falhas ou quedas na excelência como um sinal de alerta precoce. Eles também recomendam que as escolas imponham regras mais rígidas sobre quanto tempo os supervisores devem passar com seus alunos, garantindo que a orientação seja consistente e substancial. Finalmente, o próprio processo de revisão precisa ser gerenciado com mais cuidado para garantir que os revisores forneçam feedbacks detalhados e construtivos, em vez de comentários superficiais. O caminho para uma melhor educação médica reside em prestar atenção a esses detalhes e mudar o foco da mera conformidade para a contribuição acadêmica genuína.