Assessing the Social Validity of Canvas LMS-Based Cybersecurity Online Modules in High School STEM Classes

Resumen Técnico: Evaluación de la Validez Social de los Módulos en Línea de Ciberseguridad Basados en el LMS Canvas en Clases de STEM de Secundaria

Planteamiento del Problema
La ciberseguridad se ha convertido en un componente integral de la vida cotidiana, lo que requiere una urgente concienciación y educación pública. A pesar de la integración de la ciberseguridad en los currículos de STEM de secundaria, existe una falta de investigación que mida la validez social —el grado de aceptación social y la idoneidad de los objetivos, procedimientos y resultados de la intervención— de los módulos de ciberseguridad en línea impartidos a través de Sistemas de Gestión de Aprendizaje (LMS). Además, el alcance con el que la autoeficacia tecnológica de los estudiantes influye en su percepción de estos módulos sigue estando insuficientemente investigado. Este estudio aborda la necesidad de evaluar la validez social de los módulos de ciberseguridad basados en el LMS Canvas para estudiantes de secundaria y determinar si la autoeficacia tecnológica actúa como un predictor significativo de esta validez.

Metodología
El estudio empleó un enfoque de métodos mixtos que involucró a 30 estudiantes de secundaria (grados 9–12) de una escuela pública de STEM en el sur de los Estados Unidos. La intervención consistió en diez módulos en línea desarrollados en el LMS Canvas, que cubrían diez unidades que iban desde la ética cibernética y la privacidad hasta la seguridad en el metaverso y los marcos profesionales. Los módulos utilizaron componentes de diseño instruccional que incluyeron videos secuenciados (5–10 minutos), actividades prácticas, simulaciones, discusiones en línea y cuestionarios.

• Recolección de Datos: Los participantes completaron una encuesta que contenía cinco preguntas de escala Likert de 5 puntos que medían la validez social (por ejemplo, mejora en la comprensión, interés y confianza) y tres preguntas que medían la autoeficacia tecnológica (navegación por herramientas, seguimiento de secuencias de aprendizaje y autorregulación). Adicionalmente, cinco preguntas abiertas recopilaron datos cualitativos sobre temas preferidos/menos preferidos y experiencias generales.
• Análisis Cuantitativo: Debido al pequeño tamaño de la muestra y la naturaleza ordinal de los datos de Likert (colapsados a una escala de 4 puntos, ya que no se registraron respuestas de "totalmente en desacuerdo"), los autores utilizaron un modelo de efectos mixtos de enlace acumulativo bayesiano de clasificación cruzada (CLMM). Este modelo contabilizó la estructura jerárquica de los datos (ítems anidados dentro de los estudiantes) y empleó priors débilmente informativos para evitar el sobreajuste. El modelo estimó coeficientes de logit y razones de probabilidad (odds ratios) para la relación entre los predictores de la autoeficacia tecnológica y las calificaciones de validez social.
• Análisis Cualitativo: Las respuestas abiertas se analizaron mediante un análisis de redes de palabras. El preprocesamiento de texto incluyó tokenización, conversión a minúsculas y eliminación de palabras de parada (stop-words). Las palabras co-ocurrentes se mapearon en grafos no dirigidos, y se calcularon métricas de centralidad (grado, intermediación, cercanía y eigenvector) utilizando el paquete igraph. Las estructuras de comunidad se identificaron mediante el algoritmo de Leiden para visualizar los grupos de sentimiento y asociación de temas.

Resultados Clave

• Calificaciones de Validez Social: El CLMM bayesiano reveló que los estudiantes calificaron la validez social con mayor frecuencia en el rango bajo a medio (calificaciones 3 o inferiores) en comparación con la calificación más alta (5). Específicamente, los log-odds de una calificación de 4 o inferior fueron significativamente más altos que una calificación de 5 (coeficiente de logit = 6.09; Razón de Probabilidad [OR] = 441.18). Ningún estudiante seleccionó "totalmente en desacuerdo", y las respuestas fueron generalmente positivas, aunque escasas en los extremos.
• Impacto de la Autoeficacia Tecnológica: El estudio encontró una relación positiva estadísticamente significativa entre la autoeficacia tecnológica y las calificaciones de validez social.
  • Autorregulación: El predictor más fuerte fue la autorregulación y el comportamiento de monitoreo durante la instrucción. Por cada incremento de una escala en la autoeficacia de la autorregulación, las probabilidades de calificar con una mayor validez social aumentaron 3.70 veces (coeficiente de logit = 1.31; OR = 3.70; IC del 95% = 1.06 a 16.09).
  • Secuencia de Aprendizaje: Seguir una secuencia de aprendizaje de manera efectiva también aumentó las probabilidades de una calificación más alta en 2.40 veces (OR = 2.40).
  • Navegación: La confianza en la navegación por las herramientas mostró un efecto positivo mínimo (OR = 1.17).
• Hallazgos de la Red de Palabras:
  • Temas Preferidos: Palabras como "ciberseguridad", "metaverso" y "en línea" mostraron una alta centralidad de grado y estaban conectadas con palabras de sentimiento positivo como "interesante", "disfrutar" y "bueno". Los temas que involucraban "tipos de hackers" y "ética cibernética" también fueron favorecidos.
  • Temas Menos Preferidos: Palabras como "información", "largo", "videojuego" y "metaverso" se conectaron con palabras de sentimiento negativo ("menos", "disgusto"). Los estudiantes citaron específicamente la duración del contenido de video y las secciones de discusión como elementos disuasorios.
  • Experiencia General: La palabra "disfrutar" mostró una alta centralidad, conectada con "aprender" y "programa", mientras que "información", "mantener" y "seguro" formaron grupos distintos que reflejan la utilidad del curso.

Contribuciones Clave

1. Aplicación Metodológica: El estudio demuestra la utilidad de los modelos de efectos mixtos de enlace acumulativo bayesianos para analizar datos de validez social en entornos educativos de muestras pequeñas, ofreciendo una alternativa robusta a los enfoques frecuentistas cuando se trata de datos ordinales y estructuras de efectos aleatorios complejas.
2. Integración de Redes de Palabras: Al aplicar el análisis de redes de palabras a las respuestas de encuestas abiertas, el estudio proporciona una validación visual y cuantitativa de los patrones de sentimiento de los estudiantes, vinculando temas curriculares específicos (por ejemplo, metaverso, hacking ético) con respuestas afectivas positivas o negativas.
3. Evidencia Empírica sobre la Autoeficacia: La investigación establece empíricamente que la autoeficacia tecnológica, particularmente en el dominio de la autorregulación y el monitoreo, es un predictor significativo de la validez social en la educación de ciberseguridad en línea. Esto sugiere que los estudiantes que se sienten capaces de gestionar su propio proceso de aprendizaje en un entorno digital tienen más probabilidades de percibir la intervención como válida y apropiada.

Significancia y Reivindicaciones
Los autores afirman que el estudio valida la validez social del uso de módulos basados en el LMS Canvas como un método de instrucción suplementario para la educación de ciberseguridad de STEM en secundaria. Los hallazgos sugieren que, si bien los módulos son generalmente aceptados, su efectividad está estrechamente ligada a la capacidad de los estudiantes para autorregularse dentro del entorno de aprendizaje digital.

El documento concluye modestamente que, aunque los resultados indican sentimientos generalmente positivos y el potencial de efectividad de este enfoque, el estudio tiene limitaciones. El pequeño tamaño de la muestra (N=30) hizo necesario el uso de métodos bayesianos, y la falta de datos de pre/post-test significa que el estudio mide la percepción (validez social) más que la adquisición de conocimientos. Los autores señalan que algunos estudiantes consideraron que la longitud del contenido y la naturaleza asincrónica eran insuficientes para una comprensión profunda, lo que sugiere la necesidad de una guía docente explícita y demostraciones prácticas en futuras iteraciones. En última instancia, el estudio apoya la democratización de la educación en ciberseguridad a través de plataformas en línea, pero destaca el papel crítico de la autoeficacia del estudiante para el éxito de tales intervenciones.