Global Validation and Cognitive Diagnosis Evaluation of the Pharmacology Concept Inventory: Multinational, Multi-Stage Psychometric and Invariance Analysis

Resumo Técnico: Validação Global e Avaliação de Diagnóstico Cognitivo do Inventário de Conceitos de Farmacologia

Problema de Pesquisa
O estudo aborda a necessidade crítica de uma ferramenta de avaliação válida, confiável e baseada em conceitos para avaliar a compreensão dos estudantes sobre farmacologia em diversos contextos educacionais internacionais. Embora o Inventário de Conceitos de Farmacologia (PCI) tenha sido desenvolvido anteriormente para avaliar conceitos farmacológicos centrais e identificar equívocos, ele carecia de uma validação multinacional em larga escala. As ferramentas de avaliação existentes frequentemente falham em considerar a natureza interconectada do raciocínio farmacológico ou em fornecer insights diagnósticos sobre forças e fraquezas conceituais específicas. Os autores argumentam que, sem uma validação empírica robusta através de coortes e abordagens pedagógicas variadas, a utilidade do PCI para benchmarking, planejamento curricular e identificação de equívocos persistentes permanece limitada.

Metodologia
A pesquisa empregou um delineamento quantitativo, transversal, envolvendo uma amostra multinacional de larga escala de 1.211 estudantes de 23 instituições em 12 países (incluindo Austrália, Reino Unido, EUA, Canadá e várias nações europeias e asiáticas). Os participantes foram selecionados de programas de ciências biomédicas e profissionais da saúde que haviam concluído a disciplina de farmacologia.

O PCI consiste em 24 itens de múltipla escolha abrangendo sete conceitos farmacológicos fundamentais: depuração de fármacos (DCl), biodisponibilidade de fármacos (DBio), concentração de estado estacionário (Css), volume de distribuição (Vd), eficácia de fármacos (DE), tolerância a fármacos (DT) e relações estrutura-atividade (SAR). Cada item inclui distratores baseados em equívocos documentados de estudantes e uma opção "não tenho certeza" para mitigar o chute aleatório.

O arcabouço analítico utilizou uma abordagem de três estágios orientada por modelos:

1. Avaliação de Dimensionalidade: A amostra foi dividida em dois subgrupos independentes. Uma Análise Fatorial Exploratória (EFA) utilizando correlações tetracóricas e Análise Paralela (PA) foi realizada no primeiro subgrupo, seguida de Modelagem de Equações Estruturais Exploratórias (ESEM). O segundo subgrupo foi utilizado para a Análise Fatorial Confirmatória (CFA) para verificar a validade estrutural.
2. Modelagem Psicométrica: O estudo integrou a Teoria Clássica dos Testes (CTT), a Teoria de Resposta ao Item (IRT) e a Avaliação de Diagnóstico Cognitivo (CDA).
   • CTT: Avaliou a dificuldade dos itens (valores p) e a discriminação (correlações ponto-bisseriais).
   • IRT: Ajustou modelos 1PL, 2PL e 3PL para estimar os parâmetros de dificuldade e discriminação dos itens, sendo o modelo 2PL selecionado com base no Critério de Informação Bayesiana (BIC).
   • CDA: Utilizou uma matriz Q orientada pela teoria, vinculando itens a atributos únicos. Múltiplos modelos (GDINA, DINA, DINO, A-CDM, R-RUM) foram comparados para determinar o melhor ajuste para perfis de maestria diagnóstica. O modelo Generalized DINA (GDINA) foi selecionado para a estimação final de parâmetros devido à sua flexibilidade em lidar com o raciocínio compensatório e não compensatório.
3. Análise de Invariância e Viés: Modelos de Múltiplos Indicadores e Múltiplas Causas (MIMIC) foram empregados para avaliar o impacto de variáveis demográficas (gênero, idioma, tipo de programa, ano de estudo, nível acadêmico) na proficiência latente. O Funcionamento Diferencial de Itens (DIF) foi analisado utilizando abordagens combinadas de MIMIC e IRT para identificar itens que funcionam de forma distinta entre subgrupos.

Principais Resultados

• Dimensionalidade: As análises fatoriais indicaram que o PCI mede primariamente uma única dimensão subjacente de proficiência farmacológica, sustentada por um fator primário dominante tanto na EFA quanto na CFA. Embora um modelo de 7 fatores (um por conceito) tenha apresentado índices de ajuste elevados, este sofreu de instabilidade e altas correlações inter-fatores (excedendo 1,0 em alguns casos), sugerindo que os conceitos não são empiricamente separáveis. Um modelo unidimensional com agrupamentos multidimensionais secundários proporcionou a interpretação mais estável.
• Propriedades Psicométricas: O instrumento demonstrou consistência interna forte (alfa de Cronbach = 0,86; Ômega total = 0,93). A discriminação dos itens foi consistentemente forte através das estruturas CTT, IRT e CDA, com a maioria dos itens apresentando excelente discriminação (≥ 0,40). A dificuldade dos itens foi geralmente moderada, embora os domínios de concentração de estado estacionário (Css) e depuração de fármacos (DCl) tenham apresentado maior incerteza e menores probabilidades de maestria.
• Diagnóstico Cognitivo: A CDA exploratória revelou que as probabilidades de maestria variaram significamente por conceito. A tolerância a fármacos (DT) apresentou a maior probabilidade de maestria (68%), enquanto as relações estrutura-atividade (SAR) apresentaram a menor (33%). A análise indicou que os estudantes frequentemente mantêm equívocos (selecionando distratores) em vez de estarem apenas incertos, uma vez que respostas baseadas em equívocos foram mais frequentes do que as respostas de "não tenho certeza".
• Preditores Demográficos: A regressão MIMIC identificou o "tipo de programa" e o "ano de estudo" como preditores significativos da proficiência latente. Estudantes de medicina superaram estudantes de outras áreas, e alunos de anos iniciais (1º/2º ano) pontuaram significativamente mais alto do que alunos de anos avançados (3º ano em diante). Gênero, histórico de idioma e nível acadêmico (graduação vs. pós-graduação) não foram preditores significativos.
• Funcionamento Diferencial de Itens (DIF): Quatro itens (DCl3, Css1, DE5, Vd2) exibiram DIF confirmado entre tipos de programa ou anos de estudo. Especificamente, estudantes de áreas não médicas e estudantes de anos avançados consideraram esses itens mais difíceis do que seus grupos de referência, mesmo controlando a habilidade latente geral.

Significância e Alegações
O estudo estabelece o PCI como uma ferramenta válida, confiável e diagnosticamente informativa para avaliar a compreensão conceitual no ensino de farmacologia em contextos internacionais. Os autores afirmam que o PCI identifica com sucesso equívocos persistentes e fornece uma visão matizada da proficiência do estudante que vai além das pontuações totais simples.

As principais contribuições incluem:

1. Validação de uma Ferramenta Global: O PCI é validado em 12 países e diversos sistemas educacionais, apoiando seu uso como um benchmark padronizado para o ensino de farmacologia.
2. Utilidade Diagnóstica: Ao integrar a CDA, a ferramenta oferece aos educadores insights específicos sobre quais conceitos centrais (ex: SAR, DCl) são mais desafiadores e onde os equívocos são prevalentes, facilitando intervenções instrucionais direcionadas.
3. Insight sobre a Estrutura do Conhecimento: Os achados sugerem que o raciocínio farmacológico é um processo hierárquico e interconectado, em vez de uma coleção de domínios isolados. Isso desafia a noção de testes de conceitos estritamente discretos e apoia uma abordagem integrada do design curricular.
4. Equidade e Justiça: A identificação de itens específicos com DIF permite o refinamento futuro para garantir a equidade entre diferentes populações de estudantes, enquanto a baixa extensão geral de DIF apoia a generalização do instrumento.

Os autores concluem que o PCI serve como um arcabouço robusto para o planejamento curricular baseado em evidências, melhoria do ensino e avaliação de resultados de aprendizagem em farmacologia, sendo adequado tanto para fins formativos quanto somativos.