Measuring student understanding in quantum computing: Development and validation of the Quantum Computing Conceptual Survey

Resumen Técnico: Desarrollo y Validación de la Encuesta Conceptual de Computación Cuántica (QCCS)

Planteamiento del Problema
La rápida expansión de la educación en Ciencia de la Información Cuántica (QIS), impulsada por iniciativas como la Ley de la Iniciativa Nacional Cuántica de los EE. UU., ha superado el desarrollo de las Evaluaciones Basadas en la Investigación (RBA). Aunque existen numerosas RBA para los cursos tradicionales de mecánica cuántica, estas son en gran medida inaplicables a los emergentes cursos interdisciplinarios de QIS debido a las diferencias en la cobertura de contenido, la notación y los objetivos de aprendizaje. La ausencia de instrumentos adecuados limita la capacidad del campo para tomar decisiones basadas en evidencia con respecto al desarrollo curricular y la reforma instruccional. Este documento aborda esta brecha mediante la introducción de la Encuesta Conceptual de Computación Cuántica (QCCS), un instrumento diseñado para medir la comprensión conceptual de los estudiantes en los fundamentos de la computación cuántica, dirigido específicamente a cursos introductorios de QIS de pregrado y posgrado.

Metodología
El desarrollo y la validación de la QCCS siguieron un proceso riguroso e iterativo basado tanto en la Teoría Clásica de los Tests (CTT) como en la Teoría de la Respuesta al Ítem (IRT), con una adopción específica del marco del modelo de Rasch para asegurar la objetividad específica.

• Definición del Constructo y Alcance: Los autores realizaron un análisis de dominio que incluyó encuestas a instructores de QIS (N=27 inicialmente, N=63 de seguimiento) y revisiones de expertos para identificar temas cubiertos y evaluados en al menos el 80% de los cursos introductorios. El constructo se operacionalizó en tres facetas interdependientes: (1) Representaciones (notación de Dirac, diagramas de circuitos, formalismos matemáticos), (2) Propiedades (superposición, entrelazamiento, efectos de la medición) y (3) Evolución (operaciones de compuertas, comportamiento de circuitos).
• Desarrollo de Ítems: Los ítems se redactaron basándose en investigaciones previas sobre las dificultades de los estudiantes en mecánica cuántica y computación cuántica, la retroalimentación de los instructores y entrevistas de "pensar en voz alta". El proceso involucró múltiples versiones (v1.0 a v2.2), transitando de respuestas libres a ítems de opción múltiple de formato cerrado para facilitar la escalabilidad. Los distractores se derivaron directamente de los patrones de razonamiento de los estudiantes observados en los datos de respuesta libre y en las entrevistas.
• Recolección de Datos: Se recolectaron datos piloto de más de 50 cursos y aproximadamente 700 estudiantes de diversas instituciones (incluyendo universidades R1 e instituciones que sirven a minorías) y disciplinas (Física, Ciencias de la Computación, Ingeniería, Matemáticas) entre el otoño de 2023 y el otoño de 2025.
• Análisis Estadístico:
  • Limpieza de Datos: Las respuestas se filtraron por consentimiento, duplicados y comportamiento de "respuesta rápida" (usando un índice de esfuerzo de tiempo de respuesta).
  • Dimensionalidad: Se utilizaron el Análisis Factorial Confirmatorio (CFA) y el Análisis de Componentes Principales de Residuos (PCAR) para verificar la unidimensionalidad.
  • Métricas de CTT: Se calcularon la dificultad del ítem, la discriminación (correlación punto-biserial) y la confiabilidad (alfa de Cronbach y omega de McDonald).
  • Modelado de Rasch: Los autores evaluaron el ajuste del modelo utilizando estadísticas de media de infit y outfit, evaluaron el alcance mediante mapas de Wright, y calcularon las funciones de información de la prueba y los errores estándar de medición.
  • Funcionamiento Diferencial del Ítem (DIF): Se empleó la prueba $\chi^2$ de Lord para examinar la equidad entre grupos de género y raza (URM vs. no-URM).
• Resultados Clave
• Evidencia de Validez:
  • Contenido: La encuesta cubre 20 ítems que abordan temas centrales como qubits, superposición, compuertas cuánticas (Hadamard, CNOT, Pauli), entrelazamiento y notación de Dirac.
  • Estructura Interna: El CFA confirmó una estructura de factor único (CFI = 0.964, TLI = 0.960, RMSEA = 0.036). El PCAR arrojó un autovalor de contraste primero de 1.57, apoyando la unidimensionalidad.
  • Confiabilidad: Tanto el alfa de Cronbach como el omega de McDonald se calcularon en 0.83, superando el umbral de 0.7 recomendado para mediciones a nivel de grupo. La confiabilidad de la persona basada en Rasch fue de 0.79.
  • Ajuste de Ítems: Todos los ítems se situaron dentro del rango de ajuste aceptable de [0.7, 1.3] para las estadísticas de infit y outfit. Las dificultades de los ítems oscilaron entre 0.2 y 0.9, y los índices de discriminación oscilaron entre 0.26 y 0.51.
• Alcance y Diferencias de Grupo: El mapa de Wright indicó que las dificultades de los ítems abarcan adecuadamente el rango de las habilidades de los estudiantes. Los estudiantes de posgrado demostraron estimaciones de habilidad significativamente más altas ($\theta$ media = 0.49) en comparación con los de pregrado ($\theta$ media = -0.21), con un tamaño de efecto medio ($d=0.52$), lo cual se alinea con las expectativas teóricas.
• Equidad: El análisis de DIF a través de los ejes de género y raza no reveló un DIF uniforme estadísticamente significativo o de magnitud práctica. Tres ítems mostraron un DIF moderado por raza, pero ninguno fue estadísticamente significativo, y los efectos no fueron consistentemente direccionales.

Significancia y Reivindicaciones
Los autores afirman que la QCCS es el primer instrumento publicado para la computación cuántica introductoria cuyo desarrollo está respaldado por extensos datos de estudiantes y un marco de validación dual de CTT/Rasch. El documento posiciona a la QCCS como una herramienta de doble propósito:

1. Para Instructores: Un mecanismo práctico para evaluar la efectividad de la enseñanza, comparar el desempeño de los estudiantes entre instituciones e identificar dificultades conceptuales persistentes para informar los ajustes curriculares.
2. Para Investigadores: Una métrica fundamental para facilitar la investigación educativa impulsada por la medición en QIS. Los autores sugieren que la QCCS puede servir como un referente para evaluar intervenciones instruccionales (ej. tutoriales, estrategias de aprendizaje activo) e investigar las progresiones de aprendizaje a través de diferentes antecedentes académicos.

Los autores mantienen una postura modesta, reconociendo que las bases teóricas para un mapa de constructo integral en computación cuántica aún se están desarrollando. Señalan que la QCCS representa una operacionalización inicial basada en la evidencia disponible y que se requiere trabajo futuro para establecer correlaciones con otras medidas externas y para realizar análisis de DIF más granulares entre las distintas especialidades académicas. El instrumento se presenta no como una solución final, sino como un paso necesario para apoyar la maduración de la investigación educativa en QIS.