Applying a Cognitive Diagnostic Model to Assess Clinical Reasoning: Q- Matrix Development and Known-Groups Validity Evidence from a Nationwide Medical Examination

No mundo de alto risco do treinamento médico, a capacidade de pensar como um médico é tão crítica quanto conhecer fatos. Essa habilidade, conhecida como raciocínio clínico, envolve pegar um emaranhado de detalhes do paciente — sintomas, histórico, resultados de exames — e tecê-los em um diagnóstico e plano de tratamento claros. Por décadas, as faculdades de medicina confiaram em exames de múltipla escolha para testar essa habilidade. No entanto, esses testes geralmente oferecem uma pontuação única, um número que diz ao estudante quantos acertos ele teve, mas não revela nada sobre como ele pensou. É como saber que um corredor terminou uma corrida em dez minutos sem saber se ele correu em velocidade máxima na primeira metade e trotou na segunda, ou se tropeçou em cada curva. Para realmente melhorar a educação médica, os educadores precisam ver os passos mentais específicos que um aluno percorre, identificando exatamente quais partes de seu raciocínio são fortes e quais precisam de trabalho.

Um pesquisador da Faculdade de Medicina da Universidade de Gachon propôs-se a resolver este problema aplicando um método sofisticado chamado modelo de diagnóstico cognitivo a um enorme exame médico nacional na Coreia do Sul. Em vez de apenas contar respostas corretas, o estudo visava mapear as habilidades mentais específicas necessárias para responder a cada questão corretamente. A equipe analisou as respostas de quase 5.600 estudantes de medicina do terceiro e quarto anos de graduação. Eles começaram listando nove diferentes habilidades de pensamento que especialistas acreditavam serem essenciais para o raciocínio clínico, como interpretar resultados de exames laboratoriais ou decidir sobre um tratamento. Através de um processo cuidadoso de revisão das questões do exame e consulta com um painel de experientes educadores médicos, eles refinaram essa lista para sete habilidades distintas. Eles então usaram um modelo estatístico para ver se essas sete habilidades podiam explicar com precisamente como os alunos tiveram desempenho. Os resultados foram impressionantes: o modelo separou com sucesso as habilidades dos alunos, mostrando que os estudantes do quarto ano, que possuíam mais experiência clínica, dominavam consistentemente essas habilidades de raciocínio em taxas muito mais altas do que os estudantes do terceiro ano. Esse achado forneceu uma evidência forte de que o novo framework funciona, oferecendo uma forma de ir além das simples pontuações de testes para um diagnóstico detalhado, habilidade por habilidade, do pensamento de um estudante.

A jornada para esta conclusão começou com um conjunto de dados massivo: o segundo Exame Abrangente Clínico de 2019, um teste escrito de âmbito nacional administrado a estudantes de medicina em toda a Coreia do Sul. Os pesquisadores focaram especificamente na seção de medicina interna, que continha 144 questões de múltipla escolha. Eles coletaram as respostas de 5.586 estudantes, compreendendo 2.603 alunos do terceiro ano e 2.983 alunos do quarto ano. Como os dados eram totalmente anônimos, os pesquisadores não puderam observar o histórico individual de cada aluno, mas o tamanho imenso do grupo permitiu que vissem padrões claros de como as habilidades de raciocínio se desenvolvem ao longo do tempo.

A primeira tarefa importante foi construir um mapa, conhecido nesta área como uma matriz Q (Q-matrix), que conectasse cada questão do exame às habilidades de pensamento específicas necessárias para resolvê-la. Os pesquisadores começaram com uma lista de nove habilidades potenciais derivadas de uma revisão da literatura existente. Estas incluíam coisas como interpretar o histórico do paciente, analisar achados do exame físico, filtrar informações significativas e avaliar a gravidade de uma condição. Eles mapearam essas nove habilidades contra as 144 questões para criar um mapa preliminar. Para verificar se esse mapa fazia sentido, observaram a frequência com que diferentes habilidades apareciam juntas nas mesmas questões e realizaram testes estatísticos para ver se as habilidades eram distintas entre si. Os dados iniciais mostraram que as habilidades eram distintas o suficiente, mas os testes estatísticos não forneceram provas fortes por si só.

Reconhecendo que números sozinhos não poderiam contar a história toda, os pesquisadores trouxeram um painel de quatro membros do corpo docente de faculdades de medicina. Esses especialistas, com décadas de experiência em educação médica e desenvolvimento de exames, revisaram o mapa preliminar e os dados estatísticos. Eles decidiram que algumas habilidades eram muito semelhantes para serem mantidas separadamente. Por exemplo, eles fundiram as habilidades de interpretar o histórico do paciente e os achados do exame físico porque, na prática real, os médicos costumam usar ambas juntas para identificar pistas importantes. Eles também removeram a habilidade de filtrar informações significativas, raciocinando que as questões de exames escritos geralmente apresentam a informação já selecionada, tornando impossível testar a habilidade de encontrá-la. Eles também reduziram a habilidade de "avaliação de gravidade", removendo o componente de nível de emergência por ser difícil de julgar de forma consistente em um teste escrito. Após essa revisão de especialistas, a lista foi refinada para sete habilidades claras e distintas: distinguir informações significativas do paciente, interpretar achados laboratoriais, analisar as causas de doenças, avaliar a necessidade de testes adicionais, raciocínio diagnóstico, avaliar a gravidade e tomar decisões de tratamento.

Com as sete habilidades definidas, os pesquisadores aplicaram o modelo de diagnóstico cognitivo às respostas dos estudantes. Este modelo funciona como uma porta lógica: assume que, para acertar uma questão, um estudante deve ter dominado cada uma das habilidades exigidas pela questão. Se um estudante falha em apenas uma habilidade necessária, o modelo prevê que ele provavelmente errará a questão, a menos que tenha acertado por chute. O modelo calculou a probabilidade de cada estudante ter dominado cada uma das sete habilidades. Os resultados mostraram que o modelo se ajustou muito bem aos dados, refletindo com precisão os padrões de respostas corretas e incorretas entre os milhares de estudantes.

O verdadeiro teste deste novo framework veio quando os pesquisadores compararam os dois grupos de estudantes. Como se espera que o raciocínio clínico melhore à medida que os estudantes ganham mais experiência no hospital, os pesquisadores previram que os alunos do quarto ano mostrariam maior domínio de todas as sete habilidades do que os alunos do terceiro ano. Os dados confirmaram essa previsão com clareza notável. Para cada uma das sete habilidades, os alunos do quarto ano demonstraram um domínio significativamente maior. A diferença não foi apenas um pequeno desvio estatístico; foi uma lacuna grande e consistente. Os alunos do quarto ano mostraram taxas de domínio variando entre cerca de 83% e 91% nas habilidades, enquanto os alunos do terceiro ano oscilaram entre 50% e 65%. Essa lacuna foi tão consistente e ampla que serviu como uma prova poderosa de que as sete habilidades eram reais e que o modelo estava identificando-as corretamente.

O estudo também analisou as pontuações gerais do exame para ver como o novo método se comparava à forma antiga de testagem. Os alunos do quarto ano pontuaram muito mais no exame total do que os alunos do terceiro ano, o que era esperado. No entanto, o novo método fez algo que a pontuação total não conseguia fazer: ele decompôs essa grande diferença em sete partes específicas. Mostrou que a lacuna nas habilidades de raciocínio era tão grande quanto a lacência nas pontuações totais, provando que o modelo não estava apenas adicionando ruído aos dados, mas sim capturando o mesmo progresso de desenvolvimento de uma forma muito mais detalhada.

Esta pesquisa destaca uma mudança na forma como a educação médica pode ser avaliada. Por anos, o foco tem sido em se um estudante passa ou reprova em um teste. Este estudo sugere que agora podemos olhar dentro do teste para ver exatamente quais partes do pensamento de um estudante estão funcionando e quais não estão. As sete habilidades identificadas neste estudo fornecem um roteiro claro do que os estudantes de medicina precisam aprender. Embora o estudo tenha tido limitações, como depender de questões que não foram originalmente desenhadas para este tipo específico de análise, os resultados foram robustos o suficiente para mostrar que esta abordagem é viável. Os achados sugerem que, no futuro, os exames médicos poderão fornecer aos estudantes um boletim detalhado de suas habilidades de raciocínio, ajudando-os e ajudando seus professores a direcionar áreas específicas para melhoria, em vez de apenas fornecer um número único. Este nível de detalhe poderia, eventualmente, ajudar a garantir que os médicos não estejam apenas memorizando fatos, mas verdadeiramente dominando o pensamento complexo necessário para cuidar dos pacientes com segurança.