📄 medicine

Measuring What Future Physicians Know About Contraception: Development and Validation of the Clinical Contraceptive Knowledge Test (CCKT) in Vietnam Using Item Response Theory

Este estudo desenvolveu e validou o Teste de Conhecimento Clínico sobre Contracepção de 18 itens (CCKT-18) utilizando a Teoria de Resposta ao Item entre estudantes de medicina vietnamitas, demonstrando ser um instrumento robusto, unidimensional e preciso para avaliar o conhecimento contraceptivo e orientar melhorias curriculares.

Autores originais: Nguyen Dinh Ky, Nguyen Quynh Anh, Nguyen Ngoc Minh, Pham The Lam, Do Hoa Cham, To Khanh Linh, Nguyen Dang Linh Chi, Pham Hong Anh, Nguyen Thi Hong Hanh, Nguyen Tien Thang, Nguyen Thi Huyen Anh, Nguyen

Publicado 2026-07-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nguyen Dinh Ky, Nguyen Quynh Anh, Nguyen Ngoc Minh, Pham The Lam, Do Hoa Cham, To Khanh Linh, Nguyen Dang Linh Chi, Pham Hong Anh, Nguyen Thi Hong Hanh, Nguyen Tien Thang, Nguyen Thi Huyen Anh, Nguyen Manh Thang

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando medir o quão bem um grupo de futuros médicos conhece sobre anticoncepção. No passado, pesquisadores usavam uma "régua" que estava um pouco quebrada. Ela tratava cada pergunta como se fosse igualmente importante e apenas fornecia um único número (como uma nota de um teste de 0 a 100) sem dizer o que o aluno realmente sabia ou onde ele estava tendo dificuldades. Era como tentar medir a altura de uma cadeia de montanhas com uma única fita métrica plana; você obtém um número, mas perde os picos e os vales.

Este artigo descreve a criação de um novo "scanner a laser" de alta tecnologia chamado Clinical Contraceptive Knowledge Test (CCKT-18). Veja como os pesquisadores construíram essa ferramenta e o que descobriram, usando analogias simples.

1. O Problema: A Régua Antiga Não Era Suficiente

Os pesquisadores notaram que estudantes de medicina no Vietnã (e globalmente) costumam tirar boas notas na escola, mas ainda carecem do conhecimento prático para aconselhar pacientes sobre anticoncepção. Os testes antigos que utilizavam eram baseados na "Teoria Clássica dos Testes".

A Analogia: Pense no teste antigo como um saco de bolinhas de gude onde todas as bolinhas têm o mesmo tamanho. Se você as contar, sabe quantas tem, mas não sabe se algumas são pesadas e outras leves. O teste antigo assumia que cada pergunta era igualmente difícil e igualmente importante.
O Objetivo: Eles queriam uma ferramenta que pudesse medir a dificuldade de cada pergunta e o quão bem cada pergunta diferenciava um "sabe-tudo" de alguém que está apenas chutando.

2. Construindo a Nova Ferramenta: Uma Construção de Quatro Etapas

A equipe não apenas escreveu perguntas e torceu para que dessem certo. Eles construíram o teste em quatro fases cuidadosas, como a construção de uma ponte robusta:

Fase 1: Reunindo os Tijolos (Geração de Itens): Eles analisaram diretrizes de saúde globais (da OMS) e teorias educacionais para escrever 27 perguntas iniciais. Essas perguntas cobriam desde fatos básicos até decisões clínicas complexas.
Fase 2: O Controle de Qualidade (Revisão por Especialistas): Seis especialistas em saúde reprodutiva e educação analisaram as perguntas. Eles atuaram como editores rigorosos, removendo uma pergunta que não se encaixava e polindo outras duas até que ficassem perfeitas. Isso deixou o teste com 26 perguntas.
Fase 3: O Teste de Estresse (Teste Piloto): Eles testaram o teste de 26 perguntas em um pequeno grupo de 100 estudantes. Funcionou bem, mas eles queriam torná-lo ainda mais afiado.
Fase 4: O Escaneamento de Alta Tecnologia (Validação em Larga Escala): Eles aplicaram o teste a mais de 700 estudantes de medicina de cinco universidades no Vietnã. Utilizaram um método matemático sofisticado chamado Teoria de Resposta ao Item (TRI).
- A Analogia: Se o método antigo era uma balança simples, a TRI é como uma impressora 3D que analisa a forma de cada pedaço de dado. Ela observa o quão difícil é cada pergunta e o quão bem ela distingue estudantes que realmente conhecem o material daqueles que estão apenas chutando.

3. O Resultado: O CCKT-18

Após analisar os dados, os pesquisadores perceberam que não precisavam de todas as 26 perguntas. Algumas perguntas eram redundantes (perguntavam a mesma coisa de formas diferentes) ou não faziam um bom trabalho em diferenciar os estudantes.

O Corte: Eles reduziram o teste para 18 perguntas.
A Forma: Eles esperavam que o teste medisse três habilidades diferentes (lembrar fatos, entender conceitos e aplicar regras). No entanto, a matemática mostrou que, para esses estudantes, todas essas habilidades estavam tão intimamente conectadas que agiam como uma única super-habilidade. Portanto, mantiveram o teste como uma medida única e unificada.
O Desempenho: O novo teste de 18 perguntas (CCKT-18) é altamente preciso. Ele pode medir com precisão o conhecimento de um estudante, seja ele um iniciante ou um aprendiz avançado. É como uma câmera com uma lente de zoom perfeita que permanece nítida em todas as distâncias.

4. O Que o Teste Revelou

Quando usaram este novo "scanner a laser" nos estudantes, descobriram algumas coisas interessantes:

Equidade: O teste funcionou exatamente da mesma forma para estudantes do sexo masculino e feminino. Ninguém foi injustamente favorecido ou prejudicado pelas perguntas.
A Curva de Aprendizado: O teste mostrou que os estudantes eram geralmente bons no que era "fácil" (fatos básicos), mas tinham mais dificuldade com o que era "difícil" (aplicar diretrizes a situações reais complexas).
A Lacuna "Clínica": O teste percebeu que os estudantes que já haviam iniciado seus estágios clínicos (trabalhando em hospitais) respondiam melhor a certas perguntas complexas do que aqueles que ainda não haviam iniciado. Isso sugere que o teste é bom em identificar quem realmente aprendeu as habilidades práticas versus quem apenas memorizou o livro didático.

5. Por Que Isso Importa (Segundo o Artigo)

O artigo conclui que o CCKT-18 é uma ferramenta válida, confiável e robusta.

A Analogia: Antes, os educadores tentavam adivinhar quanta água havia em um balde olhando para a cor da água. Agora, eles têm um copo de medição preciso.
O Benefício: Como o teste é tão preciso, ele pode dizer aos educadores exatamente onde estão as lacunas de conhecimento. Em vez de dizer "A turma precisa estudar mais", eles podem dizer: "A turma é ótima em lembrar fatos, mas precisa de mais prática sobre como aplicar esses fatos a pacientes reais".

Nota Importante: O artigo foca estritamente na criação e validação desta ferramenta de medição. Ele não afirma ter resolvido o problema ainda, nem diz exatamente como as escolas devem mudar suas aulas com base nesses resultados. Ele simplesmente fornece a "régua" de alta qualidade necessária para medir o problema com precisão, para que o trabalho futuro possa começar.

Resumo Técnico: Desenvolvimento e Validação do Teste de Conhecimento Clínico sobre Contracepção (CCKT)

Definição do Problema
A avaliação precisa do conhecimento contraceptivo entre estudantes de medicina é dificultada pelas limitações das ferramentas de avaliação tradicionais. Os instrumentos existentes, como o Contraceptive Knowledge Assessment (CKA), baseiam-se na Teoria Clássica dos Testes (TCT), que agrega pontuações brutas sob a premissa de igual ponderação de itens. Essa abordagem falha em fornecer uma medida precisa da competência clínica latente e não consegue estimar independentemente a dificuldade e a discriminação dos itens. Além disso, há uma carência de instrumentos validados, baseados na Teoria de Resposta ao Item (TRI), para avaliar o conhecimento contraceptivo no Vietnã ou internacionalmente, apesar da necessidade crítica de quantificar lacunas educacionais para informar reformas curriculares. Dado que o Vietnã enfrenta altas taxas de gravidezes indesejadas e abortos, e que os estudantes de medicina frequentemente carecem de conhecimento prático sobre contraceptivos modernos e os Critérios Médicos de Elegibilidade (CME) da OMS, um instrumento psicométrico mais robusto é necessário.

Metodologia
Este estudo empregou um delineamento transversal e multicêntrico envolvendo estudantes de graduação em medicina de cinco universidades no Vietnã. O desenvolvimento e a validação do Clinical Contraceptive Knowledge Test (CCKT) seguiram um rigoroso framework sequencial de quatro fases:

Geração de Itens: Uma escala inicial de 27 itens foi construída com base nas diretrizes da OMS e mapeada conforme a Taxonomia Revisada de Bloom (Lembrar, Compreender, Aplicar). Os itens utilizaram o formato "Verdadeiro/Falso/Não sei" para minimizar o chute.
Revisão por Especialistas: Um painel de seis especialistas avaliou a validade de conteúdo utilizando o Índice de Validade de Conteúdo por Item (I-CVI) e o Índice de Validade de Conteúdo da Escala (S-CVI/Ave). Esta fase resultou na remoção de um item e na revisão de dois, gerando um instrumento de 26 itens.
Teste Piloto: Um estudo piloto (n=100) utilizou a TCT para triagem de dificuldade de item, discriminação e consistência interna (KR-20 = 0,854).
Validação em Larga Escala: O estudo principal recrutou 723 estudantes, dos quais 636 foram retidos para análise após a exclusão de respostas inválidas. Os pesquisadores aplicaram um modelo de logística de dois parâmetros (2PL) da TRI.
- Dimensionalidade: Análise paralela e gráficos de scree foram utilizados para determinar o número de fatores latentes.
- Seleção de Modelo: Sete modelos concorrentes (variando de unidimensionais a modelos 2PL e especificações MIRT multidimensionais) foram avaliados por meio de índices de ajuste (CFI, TLI, RMSEA, SRMR). O princípio da parcimônia guiou a seleção do modelo final.
- Redução de Itens: Os itens foram removidos iterativamente com base em baixa discriminação ( $a < 0,80$ ), dependência local ( $|Q3| > 0,20$ ) ou inadequação de ajuste ( $S-X^2, p < 0,05$ ).
- Verificações de Validação: O Funcionamento Diferencial de Itens (DIF) foi testado entre sexo e estágios de treinamento. Análises de sensibilidade foram conduzidas utilizando um conjunto de dados "estrito-limpo" (n=545) para garantir a robustez do modelo.

Principais Resultados

Refinamento do Instrumento: O processo reduziu os 26 itens iniciais para um instrumento final de 18 itens (CCKT-18).
Validade Estrutural: Embora análises exploratórias tenham sugerido potencial multidimensionalidade, a avaliação empírica apoiou uma estrutura unidimensional. O modelo 2PL unidimensional (Modelo 7) demonstrou excelentes índices de ajuste (CFI = 0,983, TLI = 0,980, RMSEA = 0,036, SRMR = 0,039), comparáveis a modelos multidimensionais mais complexos. As correlações interfatores nos modelos multidimensionais foram extremamente altas ( $r > 0,80$ ), indicando um único traço latente dominante.
Parâmetros dos Itens: Os itens finais exibiram parâmetros de discriminação variando de 0,687 a 2,374 e parâmetros de dificuldade de -3,86 a 1,08.
Confiabilidade e Precisão: A escala demonstrou alta precisão de medida com uma confiabilidade marginal de 0,844. A Função de Informação do Teste (TIF) atingiu o pico em $\theta = 0,462$ , fornecendo alta precisão (confiabilidade $\ge 0,80$ ) na faixa de habilidade de -0,784 a +1,51.
Análise de DIF: Não foi encontrado DIF significativo entre sexos, confirmando a invariância de medida. No entanto, quatro itens mostraram DIF significativo entre estágios de treinamento (pré-clínico vs. clínico), especificamente em relação às competências de tomada de decisão clínica (ex: seleção de DIU, manejo de esquecimento de pílula), refletindo diferenças na exposição curricular em vez de viés.
Robustez: Análises de sensibilidade confirmaram a estabilidade estrutural, com mudanças negligenciáveis no ajuste do modelo ( $\Delta CFI = 0,003$ ) e nos parâmetros dos itens entre os conjuntos de dados principal e estrito-limpo.

Significância e Alegações
Os autores afirmam que o CCKT-18 é um instrumento válido, confiável e robusto para avaliar o conhecimento contraceptivo entre estudantes de medicina. Sua principal significância reside em seu avanço metodológico sobre as ferramentas legadas:

Precisão: Ao utilizar a TRI, o CCKT-18 vai além das pontuações brutas para fornecer uma avaliação precisa e orientada por competências da habilidade latente, permitindo que educadores identifiquem déficits curriculares específicos (ex: lacunas em habilidades de aplicação de ordem superior) em vez de apenas níveis gerais de conhecimento.
Utilidade Educacional: O instrumento apoia uma mudança da avaliação tradicional baseada em pontuação para uma avaliação baseada em competências, alinhando-se a frameworks que enfatizam o raciocínio clínico.
Contexto Global: O estudo corrobora achados internacionais de que estudantes de medicina frequentemente carecem de habilidades de aplicação prática, apesar de possuírem forte conhecimento teórico, mas fornece um template psicometricamente rigoroso e padronizado para avaliação transcultural.
Aplicação Futura: Dentro do framework mais amplo do Estudo V-COC, o CCKT-18 posiciona-se como uma ferramenta fundamental para levantamentos nacionais para caracterizar o panorama do conhecimento contraceptivo no Vietnã, visando impulsionar reformas curriculares direcionadas na educação em saúde reprodutiva.

Os autores reconhecem limitações, incluindo o uso de amostragem por conveniência, o delineamento transversal e a concentração da dificuldade dos itens na faixa moderada, o que pode limitar a discriminação nos níveis de habilidade mais elevados. Eles observam que trabalhos futuros devem incluir estudos longitudinais e avaliações de validade relacionada ao critério.