💻 computer science

Learning Profiling with Automated Feedback for Supporting the Assessment of Cybersecurity Education

Este artículo presenta un modelo de perfilado impulsado por IA dentro de un entorno de cyber range que evalúa continuamente el desempeño del estudiante para generar retroalimentación automatizada y personalizada y rutas de aprendizaje adaptativas, abordando así desafíos clave en escalabilidad y personalización para la educación en ciberseguridad.

Autores originales: Willi Lazarov, Pavel Seda, Ondrej Pospisil, Milos Seda, Zdenek Martinasek

Publicado 2026-07-31

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Willi Lazarov, Pavel Seda, Ondrej Pospisil, Milos Seda, Zdenek Martinasek

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina el internet como una ciudad gigante y bulliciosa donde todos están conectados. Como cualquier ciudad, tiene su parte de alborotadores: hackers, estafadores y vándalos digitales que intentan entrar en las casas, robar el correo o apagar las centrales eléctricas. Para mantener segura esta ciudad, no solo necesitamos mejores cerraduras; necesitamos entrenar a las personas que construyen y custodian dichas cerraduras. Este es el mundo de la educación en ciberseguridad. Tradicionalmente, aprender este oficio ha sido un poco como ver un programa de cocina: te sientas y escuchas a un profesor explicar la teoría, o tal vez ves un video. Pero para aprender realmente a cocinar (o a hackear), necesitas ensuciarte las manos en la cocina. En el mundo digital, esta "cocina" se llama entorno de simulación cibernética (cyber range): un banco de pruebas seguro y aislado donde los estudiantes pueden practicar rompiendo y arreglando cosas sin quemar accidentalmente la ciudad real.

Sin embargo, hay un problema con estas cocinas digitales. Cuando un estudiante está practicando, un profesor no puede estar vigilando cada uno de sus movimientos, especialmente si hay treinta estudiantes cocinando a la vez. Si un estudiante comete un error, es posible que solo reciba una puntuación, como "obtuviste 8 de 10", pero no sabe por qué falló o qué hacer después. Es como recibir un examen con una "F" roja pero sin comentarios sobre cómo estudiar mejor. Este artículo pregunta: ¿Podemos construir un sistema inteligente que actúe como un entrenador súper atento, observando cada movimiento que hace un estudiante, comprendiendo sus fortalezas y debilidades únicas, y luego entregándole un reporte de calificaciones personalizado y un plan de entrenamiento a medida?

Los autores de este artículo, un equipo de la Universidad Tecnológica de Brno, dicen que sí. Han construido un sistema que combina un entorno de simulación cibernética con inteligencia artificial para crear un "perfil de aprendizaje" para cada estudiante. Piensa en este perfil no como una calificación estática, sino como un mapa vivo y palpitante de las habilidades de un estudiante. A medida que el estudiante aborda desafíos de ciberseguridad (a menudo en un formato de juego llamado Capture the Flag o "Captura la Bandera", donde resuelves acertijos para encontrar banderas ocultas), el sistema rastrea todo: cuánto tiempo tardó, cuántas veces adivinó incorrectamente, si pidió pistas y qué tan difícil era el acertijo.

En lugar de solo contar puntos, el sistema utiliza una fórmula matemática para ponderar estos factores. Se pregunta: ¿El estudiante resolvió el acertijo rápidamente pero con muchos intentos fallidos? ¿Avanzó sin problemas por las tareas fáciles pero se quedó estancado en las difíciles? ¿Dependió demasiado de las pistas? Al procesar estos números, el sistema asigna una "puntuación de perfilado" que cuenta la historia de cómo aprendió el estudiante, no solo qué hizo bien.

Aquí es donde ocurre la magia: esta puntuación se introduce en un Modelo de Lenguaje Extenso (LLM), que es esencialmente una IA muy avanzada que puede leer y escribir lenguaje humano. La IA toma los números fríos y duros y los convierte en una conversación cálida y útil. Para el estudiante, genera un informe de retroalimentación personalizado que dice cosas como: "Eres un mago encontrando vulnerabilidades ocultas en la red, pero tiendes a apresurarte en la fase de configuración. La próxima vez, intenta ir más despacio en el primer paso". Incluso sugiere el siguiente desafío perfecto: si superaste con éxito lo fácil, te empuja a un nivel más difícil; si tuviste dificultades, te ofrece un camino ligeramente más sencillo para desarrollar tu confianza.

Para los profesores, el sistema actúa como una bola de cristal. Agrega todos los datos de los estudiantes para mostrar el panorama general. Puede decirle al instructor: "Toda su clase es excelente en el hacking, pero todos están teniendo problemas con el mismo tipo específico de defensa de firewall", o "Esta tarea en particular fue demasiado difícil para todos; tal vez necesitemos ajustarla".

Para demostrar que esto funciona, el equipo probó su sistema con 35 estudiantes universitarios reales. Establecieron un escenario donde los estudiantes tenían que actuar como detectives digitales y hackers, intentando inundar un sitio web falso o romper en un servidor. Los resultados fueron prometedores. El sistema rastreó con éxito el progreso de los estudiantes, calculó sus perfiles únicos y generó una retroalimentación detallada y legible que se sentía como si viniera de un mentor humano. El estudio sugiere que este enfoque es técnicamente factible y ofrece una forma de hacer que el entrenamiento en ciberseguridad sea más personal y efectivo, pasando de una calificación de "talla única" hacia un sistema que realmente entiende cómo piensa y lucha cada estudiante. Si bien el artículo no afirma que esto resuelva todos los problemas de la educación, muestra un camino claro hacia un futuro donde la IA ayude a los profesores a brindar a cada estudiante la guía específica que necesitan para convertirse en expertos en ciberseguridad.

Resumen Técnico: Perfilado de Aprendizaje con Retroalimentación Automatizada para Apoyar la Evaluación de la Educación en Ciberseguridad

Planteamiento del Problema
La educación en ciberseguridad enfrenta desafíos significativos para escalar la evaluación efectiva y la personalización. Mientras que los métodos tradicionales varían desde el aprendizaje pasivo hasta ejercicios prácticos en entornos de cyber range y escenarios gamificados de Capture the Flag (CTF), los enfoques existentes luchan por lograr una evaluación objetiva del estudiante, la escalabilidad de la retroalimentación y la personalización. Los sistemas de puntuación actuales suelen depender de la simple acumulación de puntos, lo cual no logra capturar los matices del desarrollo de habilidades, como el tiempo empleado, el número de intentos o la dependencia de las pistas. La supervisión manual es insuficiente para grupos grandes, y los marcos adaptativos existentes a menudo requieren una configuración manual compleja y propensa a errores de los pesos de rendimiento detallados para cada fase de la tarea. Existe una brecha crítica en la provisión de un perfilado de estudiante continuo e individualizado y una retroalimentación descriptiva automatizada que pueda guiar rutas de aprendizaje adaptativas sin sobrecargar a los instructores.

Metodología
Los autores proponen un modelo de perfilado innovador integrado dentro de un entorno de cyber range (específicamente el Brno University of Technology Cyber Arena, o BUTCA) para abordar estas brechas. La metodología consta de tres componentes principales:

Modelo de Perfilado Cuantitativo:
El sistema evalúa el rendimiento del estudiante a través de una serie de escenarios ( $S_i$ ) que contienen múltiples tareas ( $T_{ij}$ ). El modelo calcula una puntuación de perfilado ponderada ( $\tilde{P}_w(S_i)$ ) mediante la normalización y agregación de tres dimensiones clave:
- Puntuación de Rendimiento ( $\tilde{p}$ ): Derivada de los puntos base ajustados por la complejidad de la tarea ( $C_{ij}$ ) y penalizados por el uso de pistas ( $r_{ij}$ ) y respuestas finales de prueba incorrectas ( $r_{ijq}$ ).
- Eficiencia de Tiempo ( $\tilde{\Delta t}$ ): La diferencia entre el tiempo de solución real y el tiempo esperado, normalizada para penalizar la duración excesiva pero limitando las recompensas por una finalización extremadamente rápida.
- Precisión ( $\tilde{E}$ ): El número relativo de intentos incorrectos, normalizado por la complejidad de la tarea.
Estas dimensiones se combinan utilizando pesos globales ( $w_1, w_2, w_3$ ) para producir una puntuación escalar $\pi(S_i) \in [0, 1]$ . Esta puntuación determina la transición del estudiante al siguiente escenario ( $S_y$ ) mediante una función determinista, creando efectivamente rutas de aprendizaje adaptativas que alinean la dificultad con las necesidades evolutivas del estudiante.
Sistema de Generación de Retroalimentación Automatizada:
Para transformar los datos numéricos de perfilado en conocimientos pedagógicos, el sistema emplea Modelos de Lenguaje de Gran Escala (LLMs). Para abordar las limitaciones de la ventana de contexto y garantizar la precisión de los datos, los autores utilizan un canal de preprocesamiento determinista en Python. Este canal filtra y agrega datos brutos (puntuaciones de tareas, tiempo, intentos, pistas) en cargas útiles (payloads) estructuradas en JSON antes de que se pasen al LLM.
- Retroalimentación para el Estudiante: Generada mediante un esquema de prompt específico para proporcionar resúmenes personalizados, identificar fortalezas y debilidades, explicar errores de pruebas y recomendar los siguientes pasos.
- Retroalimentación para el Instructor: Generada mediante un esquema separado para proporcionar estadísticas grupales agregadas, comparar el rendimiento del grupo frente a referentes globales y resaltar tareas difíciles o fáciles basadas en datos colectivos.
- Opciones de LLM: El sistema soporta tanto LLMs locales (ej. Gemma-7b-it) para la privacidad de los datos como APIs basadas en la nube (ej. Llama-3-70B, GPT-4.1-mini) para la escalabilidad, con el paso de preprocesamiento asegurando que los datos brutos del usuario no se expongan directamente al modelo de una manera que viole los límites de contexto.
Entorno de Integración:
El modelo opera dentro de un flujo de trabajo basado en CTF donde los estudiantes interactúan con entornos de sandbox aislados (máquinas virtuales). La recolección de datos ocurre en la capa operativa, el análisis en la capa de gestión y la entrega de retroalimentación en la capa de aprendizaje.

Contribuciones Clave
El artículo describe tres contribuciones principales:

Un Modelo de Perfilado Innovador: Un método formalizado para evaluar el rendimiento del estudiante durante el entrenamiento práctico que va más allá de la simple puntuación de puntos al incluir tiempo, intentos y uso de pistas, normalizados y ponderados para producir un perfil holístico.
Sistema de Retroalimentación Automatizada: Un sistema de doble salida que genera retroalimentación descriptiva e individualizada para los estudiantes (incluyendo análisis de fortalezas/debilidades y explicación de errores) y resúmenes de rendimiento agregados para los instructores, todo impulsado por LLMs y un canal de datos determinista.
Validación Empírica: Un estudio de caso que demuestra la viabilidad técnica del enfoque dentro de un entorno de cyber range real, integrando el modelo de perfilado con la generación de retroalimentación automatizada.

Resultados
El enfoque propuesto fue validado mediante un estudio de caso que involucró a 35 estudiantes de tercer año de Seguridad de la Información de la Universidad Tecnológica de Brno. Los estudiantes completaron un único escenario de entrenamiento enfocado en pruebas de penetración y resiliencia contra ataques de inundación/lógicos, que consistía en ocho tareas de diversas dificultades.

Viabilidad Técnica: El estudio confirmó que el modelo de perfilado podía calcular con éxito las puntuaciones y determinar las transiciones de los escenarios.
Generación de Retroalimentación: El sistema generó con éxito retroalimentación estructurada utilizando tanto LLMs locales (Gemma-7b-it) como basados en la nube (Llama-3-70B, GPT-4.1-mini). El canal de preprocesamiento determinista gestionó eficazmente el gran volumen de datos (aprox. 97k tokens) reduciéndolo a cargas útiles compatibles con la ventana de contexto.
Calidad de la Salida: La retroalimentación generada incluyó resúmenes de escenarios personalizados, análisis de comprensión de temas, identificación de fortalezas/debilidades y explicaciones detalladas para respuestas de prueba incorrectas, así como información estadística agregada para el instructor.

Significancia y Reivindicaciones
Los autores posicionan este trabajo como un método basado en datos para cerrar la brecha en la evaluación de la educación en ciberseguridad. Reivindican que, al integrar el perfilado con la retroalimentación automatizada, el sistema:

Objetiviza la Evaluación: Va más allá de la simple puntuación para proporcionar una visión matizada de la competencia del estudiante basada en múltiples indicadores de rendimiento.
Permite la Personalización: Facilita el desarrollo continuo mediante la recomendación de rutas de aprendizaje adaptativas que coincidan con el nivel de competencia actual del estudiante.
Apoya a los Instructores: Reduce la carga cognitiva de los educadores al proporcionar información agregada y eliminar la necesidad de una calibración manual y detallada de los pesos para cada fase de la tarea, una limitación identificada en marcos adaptativos previos.
Escalabilidad: Demuestra que el perfilado y la retroalimentación automatizados pueden desplegarse en entornos controlados de cyber range para apoyar evaluaciones estructuradas e individualizadas para los estudiantes y resúmenes agregados para los instructores.

El artículo concluye modestamente, afirmando que el estudio de caso demuestra la viabilidad técnica del enfoque, contribuyendo con un método para la evaluación objetiva y el entrenamiento personalizado, mientras reconoce que las direcciones de investigación futura permanecen abiertas.

Más como este