A Deep Investigation Using Factorial Analysis and Rasch Model: An Optimized Short-Version of the Computational Thinking Scale (COTS)

Resumen Técnico: Una Versión Optimizada y Corta de la Escala de Pensamiento Computacional (COTS)

Planteamiento del Problema
El pensamiento computacional (PC) es reconocido como una competencia fundamental del siglo XXI, esencial para la resolución sistemática de problemas en diversas disciplinas. A pesar de su creciente importancia en la educación, el campo carece de instrumentos psicométricamente robustos diseñados específicamente para evaluar las habilidades de PC, particularmente en contextos no relacionados con las TIC, como las ciencias sociales. Las herramientas existentes suelen basarse en cuestionarios de respuesta cerrada que pueden no considerar adecuadamente las diferencias culturales o poseer suficiente validez y confiabilidad. Esta brecha limita la capacidad de investigadores y educadores para diagnosticar con precisión las fortalezas y debilidades de los estudiantes, lo que dificulta el diseño de intervenciones educativas efectivas. El estudio aborda la necesidad de una herramienta de medición de alta calidad y validada, fundamentada en un riguroso análisis psicométrico.

Metodología
El estudio empleó un proceso de validación secuencial de dos etapas para desarrollar y refinar un instrumento de Habilidades de Pensamiento Computacional (COTS), originalmente adaptado de una escala de 22 ítems.

• Participantes y Recolección de Datos: Los datos se recolectaron de forma anónima de estudiantes de pregrado en Makassar, Indonesia. El proceso involucró dos muestras distintas: 364 participantes para el Análisis Factorial Confirmatorio (CFA) inicial y 434 participantes para el posterior análisis del modelo de Rasch.
• Etapa 1: Análisis Factorial Confirmatorio (CFA): Utilizando el software JASP, los investigadores evaluaron la validez factorial del instrumento de 22 ítems. El análisis se centró en las cargas factoriales (requeridas >0.50), los índices de ajuste del modelo (CFI, GFI, TLI, NNFI, IFI, RNI >0.90; RMSEA y SRMR <0.08) y la confiabilidad de consistencia interna (McDonald's ω y Cronbach's α >0.80 para la escala total). Los ítems que no cumplieron con estos criterios fueron eliminados.
• Etapa 2: Modelo de Escala de Calificación de Rasch (RSM): El instrumento refinado fue analizado utilizando el software J.Metrik. Esta etapa evaluó los supuestos fundamentales de la medición, incluyendo:
  • Unidimensionalidad: Verificada mediante el Análisis de Componentes Principales (PCA) de los residuos (autovalor del primer contraste <3.0).
  • Independencia Local: Evaluada a través de las correlaciones residuales entre pares de ítems (umbral <0.40).
  • Funcionamiento de la Escala de Calificación: Examinado para detectar patrones de incremento monotónico en las medidas promedio y parámetros de umbral ordenados.
  • Ajuste del Modelo: Evaluado mediante estadísticas de Infit y Outfit Mean Square (rango aceptable de 0.5–1.5).
  • Confiabilidad y Separación: Calculadas tanto para los ítems como para las personas para determinar la precisión de la medición y la capacidad de distinguir entre diferentes niveles de habilidad.
  • Dificultad del Ítem: Analizada para determinar la distribución de los ítems a lo largo del continuo del rasgo latente.

Resultados Clave

• Refinamiento del Instrumento: La etapa de CFA resultó en la eliminación de dos ítems de la dimensión de "abstracción" debido a cargas factoriales inferiores a 0.50. El instrumento final consta de 20 ítems distribuidos en cuatro dimensiones: Abstracción (3 ítems), Descomposición (6 ítems), Pensamiento Algorítmico (6 ítems) y Generalización/Reconocimiento de Patrones (5 ítems).
• Resultados del CFA: El modelo final demostró un ajuste excelente. Todos los índices de ajuste superaron el 0.90 (por ejemplo, CFI = 0.922, TLI = 0.908), y los índices de error estuvieron por debajo de 0.06 (RMSEA = 0.057, SRMR = 0.046). Las cargas factoriales oscilaron entre 0.52 y 0.75. La confiabilidad general fue de 0.89, con confiabilidades de subescala que variaron entre 0.62 y 0.85.
• Resultados de Rasch:
  • Supuestos: El instrumento satisfizo la unidimensionalidad (autovalor del primer contraste = 2.54) y la independencia local (correlación residual máxima = 0.40).
  • Ajuste del Modelo: Todos los 20 ítems se situaron dentro del rango aceptable de Infit/Outfit (0.5–1.5), y la escala de calificación funcionó de manera óptima con umbrales de incremento monotónico.
  • Confiabilidad: La confiabilidad de los ítems fue excelente (0.97–0.98), y la confiabilidad de las personas fue buena (0.87–0.88). Los índices de separación indicaron que el instrumento puede distinguir aproximadamente 9.89 estratos de dificultad de ítem y 3.80 estratos de habilidad de persona.
  • Dificultad del Ítem: El rango de dificultad abarcó desde −0.79 hasta 0.82 logits. La distribución indica que el instrumento es más efectivo para evaluar a individuos con niveles moderados de habilidades de PC.

Significancia y Reivindicaciones
El artículo afirma proporcionar un instrumento de versión corta (COTS) psicométricamente sólido para evaluar el pensamiento computacional entre estudiantes universitarios. Al integrar el CFA y el modelado de Rasch, el estudio ofrece una validación integral que aborda tanto la validez estructural como las propiedades de medición a nivel de ítem.

Los autores sostienen que el COTS es una herramienta válida y confiable para contextos educativos, capaz de identificar las fortalezas y debilidades de los estudiantes para informar intervenciones dirigidas y el diseño curricular. Sin embargo, el estudio reconoce modestamente una limitación: el instrumento está dirigido principalmente a individuos con habilidades de PC moderadas. Debido al agrupamiento de la dificultad de los ítems en el rango bajo-moderado, la herramienta tiene una precisión limitada para diferenciar a individuos con habilidades de PC avanzadas o de alto nivel. En consecuencia, el artículo concluye que, si bien el instrumento actual es robusto para la evaluación general, el desarrollo futuro debería centrarse en la creación de ítems más desafiantes para mejorar la cobertura en el extremo superior del espectro de habilidad.