Measuring student understanding in quantum computing: Development and validation of the Quantum Computing Conceptual Survey

Resumo Técnico: Desenvolvimento e Validação do Questionário Conceitual de Computação Quântica (QCCS)

Problema
A rápida expansão da educação em Ciência da Informação Quântica (QIS), impulsionada por iniciativas como o US National Quantum Initiative Act, superou o desenvolvimento de Avaliações Baseadas em Pesquisa (RBAs). Embora existam inúmeras RBAs para cursos tradicionais de mecânica quântica, elas são amplamente inaplicáveis aos cursos emergentes e interdisciplinares de QIS devido a diferenças na cobertura de conteúdo, notação e objetivos de aprendizagem. A ausência de instrumentos adequados limita a capacidade do campo de tomar decisões baseadas em evidências em relação ao desenvolvimento curricular e à reforma instrucional. Este artigo aborda essa lacuna apresentando o Quantum Computing Conceptual Survey (QCCS), um instrumento projetado para medir a compreensão conceitual de estudantes nos fundamentos da computação quântica, visendo especificamente cursos introdutórios de graduação e pós-graduação em QIS.

Metodologia
O desenvolvimento e a validação do QCCS seguiram um processo rigoroso e iterativo fundamentado tanto na Teoria Clássica dos Testes (CTT) quanto na Teoria de Resposta ao Item (IRT), com uma adoção específica da estrutura do modelo de Rasch para garantir objetividade específica.

• Definição do Construto e Escopo: Os autores realizaram uma análise de domínio envolvendo levantamentos com instrutores de QIS (N=27 inicialmente, N=63 no acompanhamento) e revisões de especialistas para identificar tópicos cobertos e avaliados em pelo menos 80% dos cursos introdutórios. O construto foi operacionalizado em três facetas interdependentes: (1) Representações (notação de Dirac, diagramas de circuitos, formalismos matemáticos), (2) Propriedades (superposição, emaranhamento, efeitos de medição) e (3) Evolução (operações de portas, comportamento de circuitos).
• Desenvolvimento de Itens: Os itens foram elaborados com base em pesquisas prévias sobre dificuldades de estudantes em mecânica quântica e computação quântica, feedback de instrutores e entrevistas de think-aloud. O processo envolveu múltiplas versões (v1.0 a v2.2), transitando de respostas abertas para itens de múltipla escolha de formato fechado para facilitar a escalabilidade. Os distratores foram derivados diretamente dos padrões de raciocínio dos alunos observados em dados de respostas abertas e entrevistas.
• Coleta de Dados: Dados piloto foram coletados de mais de 50 cursos e aproximadamente 700 estudantes em diversas instituições (incluindo universidades R1 e instituições voltadas para minorias) e disciplinas (Física, Ciência da Computação, Engenharia, Matemática) entre o outono de 2023 e o outono de 2025.
• Análise Estatística:
  • Limpeza de Dados: As respostas foram filtradas para consentimento, duplicatas e comportamento de "tentativa de acerto rápido" (usando um índice de esforço de tempo de resposta).
  • Dimensionalidade: Análise Fatorial Confirmatória (CFA) e Análise de Componentes Principais de Resíduos (PCAR) foram utilizadas para verificar a unidimensionalidade.
  • Métricas CTT: Dificuldade do item, discriminação (correlação ponto-bisserial) e confiabilidade (alfa de Cronbach e ômega de McDonald) foram calculadas.
  • Modelagem de Rasch: Os autores avaliaram o ajuste do modelo usando estatísticas de média de infit e outfit, avaliaram o direcionamento (targeting) via mapas de Wright e calcularam funções de informação do teste e erros padrão de medida.
  • Funcionamento Diferencial de Itens (DIF): O teste $\chi^2$ de Lord foi empregado para examinar a equidade entre grupos de gênero e raça (URM vs. não-URM).
• Resultados Principais
• Evidência de Validade:
  • Conteúdo: O questionário cobre 20 itens abordando tópicos centrais como qubits, superposição, portas quânticas (Hadamard, CNOT, Pauli), emaranhamento e notação de Dirac.
  • Estrutura Interna: A CFA confirmou uma estrutura de fator único (CFI = 0,964, TLI = 0,960, RMSEA = 0,036). A PCAR rendeu um autovalor de contraste primário de 1,57, apoiando a unidimensionalidade.
  • Confiabilidade: Tanto o alfa de Cronbach quanto o ômega de McDonald foram calculados em 0,83, excedendo o limite de 0,7 recomendado para medições de nível de grupo. A confiabilidade de pessoa baseada em Rasch foi de 0,79.
  • Ajuste do Item: Todos os itens caíram dentro da faixa de ajuste aceitável de [0,7, 1,3] para estatísticas de infit e outfit. As dificuldades dos itens variaram de 0,2 a 0,9, e os índices de discriminação variaram de 0,26 a 0,51.
• Direcionamento e Diferenças de Grupo: O mapa de Wright indicou que as dificuldades dos itens abrangem apropriadamente a faixa de habilidades dos estudantes. Estudantes de pós-graduação demonstraram estimativas de habilidade significativamente maiores ($\theta$ média = 0,49) em comparação com graduandos ($\theta$ média = -0,21), com um tamanho de efeito médio ($d=0,52$), alinhando-se às expectativas teóricas.
• Equidade: A análise de DIF através dos eixos de gênero e raça não revelou DIF uniforme estatisticamente significativo ou de grande magnitude prática. Três itens mostraram DIF moderado por raça, mas nenhum foi estatisticamente significativo, e os efeitos não foram consistentemente direcionais.

Significância e Alegações
Os autores afirmam que o QCCS é o primeiro instrumento publicado para computação quântica introdutória cujo desenvolvimento é apoiado por extensos dados de estudantes e uma validação dupla de CTT/Rasch. O artigo posiciona o QCCS como uma ferramenta de duplo propósito:

1. Para Instrutores: Um mecanismo prático para avaliar a eficácia do ensino, comparar o desempenho dos alunos entre instituições e identificar dificuldades conceituais persistentes para informar ajustes curriculares.
2. Para Pesquisadores: Uma métrica fundamental para facilitar a pesquisa educacional orientada por medição em QIS. Os autores sugerem que o QCCS pode servir como um referencial para avaliar intervenções instrucionais (ex: tutoriais, estratégias de aprendizagem ativa) e investigar progressões de aprendizagem através de diferentes contextos acadêmicos.

Os autores mantêm uma postura modesta, reconhecendo que as bases teóricas para um mapa de construto abrangente em computação quântica ainda estão em desenvolvimento. Eles observam que o QCCS representa uma operacionalização inicial baseada em evidências disponíveis e que trabalhos futuros são necessários para estabelecer correlações com outras medidas externas e para realizar análises de DIF mais granulares entre diferentes áreas acadêmicas. O instrumento é apresentado não como uma solução final, mas como um passo necessário para apoiar a maturação da pesquisa em educação de QIS.