Learning Profiling with Automated Feedback for Supporting the Assessment of Cybersecurity Education

Resumo Técnico: Perfil de Aprendizagem com Feedback Automatizado para Apoio à Avaliação da Educação em Cibersegurança

Definição do Problema
A educação em cibersegurança enfrenta desafios significativos na escala de avaliação eficaz e personalização. Embora os métodos tradicionais variem entre a aprendizagem passiva e exercícios práticos em cyber ranges e cenários gamificados de Capture the Flag (CTF), as abordagens existentes lutam para realizar uma avaliação objetiva do aluno, escalabilidade de feedback e personalização. Os sistemas de pontuação atuais geralmente dependem de uma simples acumulação de pontos, o que falha em capturar a nuance do desenvolvimento de habilidades, como o tempo gasto, o número de tentativas ou a dependência de dicas (hints). Além disso, a supervisão manual é insuficiente para grupos grandes, e os frameworks adaptativos existentes frequentemente exigem uma configuração manual complexa e propensa a erros de pesos de desempenho detalhados para cada fase da tarefa. Existe uma lacuna crítica no fornecimento de perfil de aprendizagem contínuo e individualizado e de feedback descritivo automatizado que possa guiar caminhos de aprendizagem adaptativos sem sobrecarregar os instrutores.

Metodologia
Os autores propõem um modelo de perfil inovador integrado em um ambiente de cyber range (especificamente o Brno University of Technology Cyber Arena, ou BUTCA) para abordar essas lacunas. A metodologia consiste em três componentes primários:

1. Modelo de Perfil Quantitativo:
   O sistema avalia o desempenho do aluno através de uma série de cenários ($S_i$) contendo múltiplas tarefas ($T_{ij}$). O modelo calcula uma pontuação de perfil ponderada ($\tilde{P}_w(S_i)$) normalizando e agregando três dimensões principais:

   • Pontuação de Desempenho ($\tilde{p}$): Derivada de pontos base ajustados pela complexidade da tarefa ($C_{ij}$) e penalizados pelo uso de dicas ($r_{ij}$) e respostas finais de teste incorretas ($r_{ijq}$).
   • Eficiência de Tempo ($\tilde{\Delta t}$): A diferença entre o tempo de solução real e o tempo esperado, normalizada para penalizar a duração excessiva, mantendo um limite para recompensas por conclusão extremamente rápida.
   • Precisão ($\tilde{E}$): O número relativo de tentativas incorretas, normalizado pela complexidade da tarefa.

   Essas dimensões são combinadas usando pesos globais ($w_1, w_2, w_3$) para produzir uma pontuação escalar $\pi(S_i) \in [0, 1]$. Esta pontuação determina a transição do aluno para o próximo cenário ($S_y$) via uma função determinística, criando efetivamente caminhos de aprendizagem adaptativos que alinham a dificuldade com as necessidades em evolução do aluno.

2. Sistema de Geração de Feedback Automatizado:
   Para transformar dados numéricos de perfil em insights pedagógicos, o sistema utiliza Grandes Modelos de Linguagem (LLMs). Para lidar com as limitações da janela de contexto e garantir a precisão dos dados, os autores utilizam um pipeline de pré-processamento determinístico em Python. Este pipeline filtra e agrega dados brutos (pontuações de tarefas, tempo, tentativas, dicas) em payloads estruturados em JSON antes de serem passados para o LLM.

   • Feedback do Aluno: Gerado via um esquema de prompt específico para fornecer resumos personalizados, identificar pontos fortes e fracos, explicar erros de testes e recomendar próximos passos.
   • Feedback do Instrutor: Gerado via um esquema separado para fornecer estatísticas agregadas do grupo, comparar o desempenho do grupo com benchmarks globais e destacar tarefas difíceis ou fáceis com base em dados coletivos.
   • Opções de LLM: O sistema suporta tanto LLMs locais (ex: Gemma-7b-it) para privacidade de dados quanto APIs baseadas em nuvem (ex: Llama-3-70B, GPT-4.1-mini) para escalabilidade, com o passo de pré-processamento garantindo que os dados brutos do usuário não sejam expostos diretamente ao modelo de uma forma que viole os limites de contexto.

3. Ambiente de Integração:
   O modelo opera dentro de um fluxo de trabalho baseado em CTF, onde os alunos interagem com ambientes de sandbox isolados (máquinas virtuais). A coleta de dados ocorre na camada operacional, a análise na camada de gestão e a entrega de feedback na camada de aprendizagem.

Principais Contribuições
O artigo descreve três contribuições principais:

• Um Modelo de Perfil Inovador: Um método formalizado para avaliar o desempenho do aluno durante o treinamento prático que vai além da simples pontuação, incluindo tempo, tentativas e uso de dicas, normalizados e ponderados para produzir um perfil holístico.
• Sistema de Feedback Automatizado: Um sistema de saída dupla que gera feedback descritivo individualizado para estudantes (incluindo análise de pontos fortes/fracos e explicações de erros) e resumos de desempenho agregados para instrutores, todos impulsionados por LLMs e um pipeline de dados determinístico.
• Validação Empírica: Um estudo de caso demonstrando a viabilidade técnica da abordagem dentro de um ambiente real de cyber range, integrando o modelo de perfil com a geração de feedback automatizado.

Resultos
A abordagem proposta foi validada através de um estudo de caso envolvendo 35 alunos do terceiro ano de Segurança da Informação da Brno University of Technology. Os alunos completaram um único cenário de treinamento focado em testes de penetração e resiliência contra ataques de inundação (flooding) e lógicos, consistindo em oito tarefas de diferentes níveis de dificuldade.

• Viabilidade Técnica: O estudo confirmou que o modelo de perfil poderia calcular pontuações com sucesso e determinar transições de cenário.
• Geração de Feedback: O sistema gerou feedback estruturado com sucesso usando tanto LLMs locais (Gemma-7b-it) quanto baseados em nuvem (Llama-3-70B, GPT-4.1-mini). O pipeline de pré-processamento determinístico gerenciou efetivamente o grande volume de dados (aprox. 97 mil tokens) reduzindo-os para payloads compatíveis com a janela de contexto.
• Qualidade do Output: O feedback gerado incluiu resumos de cenários personalizados, análise de compreensão de tópicos, identificação de pontos fortes/fracos e explicações detalhadas para respostas de testes incorretas, bem como insights estatísticos agregados para o instrutor.

Significância e Alegações
Os autores posicionam este trabalho como um método baseado em dados para preencher a lacuna na avaliação da educação em cibersegurança. Eles alegam que, ao integrar o perfil com o feedback automatizado, o sistema:

• Objetiva a Avaliação: Vai além da simples pontuação para fornecer uma visão matizada da competência do aluno baseada em múltiplos indicadores de desempenho.
• Permite a Personalização: Facilita o desenvolvimento contínuo ao recomendar caminhos de aprendizagem adaptativos que correspondem ao nível de proficiência atual do aluno.
• Apoia os Instrutores: Reduz a carga cognitiva dos educadores ao fornecer insights agregados e eliminar a necessidade de calibração manual e detalhada de pesos para cada fase da tarefa, uma limitação identificada em frameworks adaptativos anteriores.
• Escalabilidade: Demonstra que o perfil e o feedback automatizados podem ser implantados em ambientes controlados de cyber range para apoiar avaliações estruturadas e individualizadas para alunos e resumos agregados para instrutores.

O artigo conclui modestamente, afirmando que o estudo de caso demonstra a viabilidade técnica da abordagem, contribuindo com um método para avaliação objetiva e treinamento personalizado, enquanto reconhece que direções de pesquisas futuras permanecem abertas.