💻 computer science

Learning Profiling with Automated Feedback for Supporting the Assessment of Cybersecurity Education

Questo articolo presenta un modello di profilazione guidato dall'IA all'interno di un ambiente cyber range che valuta continuamente le prestazioni dell'apprendente per generare feedback automatizzati e personalizzati e percorsi di apprendimento adattivi, affrontando così le sfide chiave relative alla scalabilità e alla personalizzazione nell'educazione alla cybersicurezza.

Autori originali: Willi Lazarov, Pavel Seda, Ondrej Pospisil, Milos Seda, Zdenek Martinasek

Pubblicato 2026-07-31

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Willi Lazarov, Pavel Seda, Ondrej Pospisil, Milos Seda, Zdenek Martinasek

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate internet come una gigantesca e frenetica città dove tutti sono connessi. Come ogni città, ha la sua quota di malintenzionati — hacker, truffatori e vandali digitali — che cercano di scassinare case, rubare la posta o mandare in blackout le centrali elettriche. Per mantenere sicura questa città, non abbiamo solo bisogno di serrature migliori; abbiamo bisogno di addestrare le persone che costruiscono e sorvegliano quelle serrature. Questo è il mondo della formazione sulla cybersecurity. Tradizionalmente, imparare questo mestiere è stato un po' come guardare un programma di cucina: ti siedi e ascolti un insegnante spiegare la teoria, o magari guardi un video. Ma per imparare davvero a cucinare (o a hackerare), devi sporcarti le mani in cucina. Nel mondo digitale, questa "cucina" è chiamata cyber range: un ambiente isolato e sicuro, una sabbiera, dove gli studenti possono esercitarsi a rompere e riparare le cose senza rischiare di dare fuoco alla vera città.

Tuttavia, c'è un problema con queste cucine digitali. Quando uno studente si sta esercitando, un insegnante non può stare sopra la sua spalla a controllare ogni singola mossa, specialmente se ci sono trenta studenti che cucinano contemporaneamente. Se uno studente commette un errore, potrebbe semplicemente ricevere un punteggio, come "Hai ottenuto 8 su 10", ma non saprà perché ha fallito o cosa fare dopo. È come ricevere un compito con un "F" rosso, ma senza commenti su come studiare meglio. Questo articolo si chiede: Possiamo costruire un sistema intelligente che agisca come un coach super attento, che osservi ogni mossa di uno studente, comprenda i suoi punti di forza e di debolezza unici e poi fornisca una pagella personalizzata e un piano di formazione su misura?

Gli autori di questo articolo, un team dell'Università Tecnologica di Brno, dicono di sì. Hanno costruito un sistema che combina un cyber range con l'intelligenza artificiale per creare un "profilo di apprendimento" per ogni studente. Pensate a questo profilo non come a una pagella statica, ma come a una mappa viva e pulsante delle abilità di uno studente. Mentre lo studente affronta le sfide di cybersecurity (spesso in un formato simile a un gioco chiamato Capture the Flag, dove si risolvono enigmi per trovare "flag" nascosti), il sistema traccia tutto: quanto tempo ha impiegato, quante volte ha sbagliato una risposta, se ha chiesto suggerimenti e quanto era difficile l'enigma.

Inveve di limitarsi a contare i punti, il sistema utilizza una formula matematica per pesare questi fattori. Si chiede: Lo studente ha risolto l'enigma velocemente ma con molti tentativi errati? Ha superato facilmente i compiti facili ma si è bloccato su quelli difficili? Si è affidato troppo ai suggerimenti? Elaborando questi numeri, il sistema assegna un "punteggio di profilazione" che racconta la storia di come lo studente ha imparato, non solo di cosa ha fatto correttamente.

È qui che avviene la magia: questo punteggio viene inserito in un Large Language Model (LLM), che è essenzialmente un'IA molto avanzata capace di leggere e scrivere il linguaggio umano. L'IA prende i numeri freddi e duri e li trasforma in una conversazione calda e utile. Per lo studente, genera un rapporto di feedback personalizzato che dice cose come: "Sei un mago nel trovare vulnerabilità di rete nascoste, ma tendi a correre troppo durante la fase di configurazione. La prossima volta, prova a rallentare durante il primo passaggio". Genera anche la sfida perfetta successiva: se hai dominato le cose facili, ti spinge a un livello più difficile; se hai avuto difficoltà, ti offre un percorso leggermente più semplice per costruire la tua fiducia.

Per gli insegnanti, il sistema agisce come una palla di cristallo. Aggrega tutti i dati degli studenti per mostrare il quadro generale. Può dire all'istruttore: "La vostra intera classe è bravissima nell'hacking, ma tutti hanno difficoltà con lo stesso specifico tipo di difesa del firewall" oppure "Questo compito particolare era troppo difficile per tutti; forse dobbiamo modificarlo".

Per dimostrare che questo approaccio funziona, il team ha testato il loro sistema con 35 veri studenti universitari. Hanno impostato uno scenario in cui gli studenti dovevano agire come detective digitali e hacker, cercando di inondare un sito web finto o di violare un server. I risultati sono stati promettenti. Il sistema ha tracciato con successo i progressi degli studenti, ha calcolato i loro profili unici e ha generato feedback dettagliati e leggibili che sembravano provenire da un mentore umano. Lo studio suggerisce che questo approccio è tecnicamente fattibile e offre un modo per rendere la formazione sulla cybersecurity più personale ed efficace, passando da una valutazione standardizzata a un sistema che comprende davvero come ogni singolo studente pensa e affronta le difficoltà. Sebbene l'articolo non sostenga di aver risolto ogni problema dell'istruzione, mostra una via chiara verso un futuro in cui l'IA aiuta gli insegnanti a fornire a ogni studente la guida specifica di cui ha bisogno per diventare un esperto di cybersecurity.

Sintesi Tecnica: Profilazione dell'Apprendimento con Feedback Automatizzato per il Supporto della Valutazione dell'Istruzione in Cybersecurity

Problematica
L'istruzione nella cybersecurity affronta sfide significative nel rendere scalabile la valutazione efficace e la personalizzazione. Mentre i metodi tradizionali spaziano dall'apprendimento passivo agli esercizi pratici in cyber range e scenari gamificati di tipo Capture the Flag (CTF), gli approoli esistenti faticano nell'obiettivo della valutazione oggettiva del discente, della scalabilità del feedback e della personalizzazione. Gli attuali sistemi di punteggio si basano spesso sulla semplice accumulazione di punti, il che non riesce a catturare la sfumatura dello sviluppo delle competenze, come il tempo impiegato, il numero di tentativi o l'uso di suggerimenti (hint). Inoltre, la supervisione manuale è insufficiente per gruppi numerosi, e gli attuali framework adattivi richiedono spesso una configurazione manuale complessa e soggetta a errori dei pesi di prestazione granulari per ogni fase del compito. Esiste un vuoto critico nella fornitura di un profiling continuo e individualizzato del discente e di un feedback descrittivo automatizzato che possa guidare percorsi di apprendimento adattivi senza sovraccaricare gli istruttori.

Metodologia
Gli autori propongono un modello di profiling innovativo integrato in un ambiente di cyber range (specificamente il Brno University of Technology Cyber Arena, o BUTCA) per affrontare queste lacune. La metodologia consiste in tre componenti primarie:

Modello di Profilazione Quantitativa:
Il sistema valuta la prestazione del discente attraverso una serie di scenari ( $S_i$ ) contenenti molteplici compiti ( $T_{ij}$ ). Il modello calcola un punteggio di profilazione pesato ( $\tilde{P}_w(S_i)$ ) normalizzando e aggregando tre dimensioni chiave:
- Punteggio di Prestazione ( $\tilde{p}$ ): Derivato dai punti base regolati per complessità del compito ( $C_{ij}$ ) e penalizzati per l'uso di suggerimenti ( $r_{ij}$ ) e risposte errate ai test finali ( $r_{ijq}$ ).
- Efficienza Temporale ( $\tilde{\Delta t}$ ): La differenza tra il tempo di soluzione effettivo e il tempo atteso, normalizzata per penalizzare la durata eccessiva pur limitando i premi per una completamento estremamente rapido.
- Accuratezza ( $\tilde{E}$ ): Il numero relativo di tentativi errati, normalizzato rispetto alla complessità del compito.
Queste dimensioni vengono combinate utilizzando pesi globali ( $w_1, w_2, w_3$ ) per produrre uno score scalare $\pi(S_i) \in [0, 1]$ . Questo punteggio determina la transizione del discente allo scenario successivo ( $S_y$ ) tramite una funzione deterministica, creando efficacemente percorsi di apprendimento adattivi che allineano la difficoltà alle esigenze evolutive del discente.
Sistema di Generazione del Feedback Automatizzato:
Per trasformare i dati numerici di profilazione in intuizioni pedagogiche, il sistema impiega Modelli Linguistici di Grandi Dimensioni (LLM). Per affrontare i limiti della finestra di contesto e garantire l'accuratezza dei dati, gli autori utilizzano una pipeline di pre-elaborazione deterministica in Python. Questa pipeline filtra e aggrega i dati grezzi (punteggi dei compiti, tempo, tentativi, suggerimenti) in payload JSON strutturati prima che vengano passati all'LLM.
- Feedback per lo Studente: Generato tramite uno schema di prompt specifico per fornire riassunti personalizzati, identificare punti di forza e debolezza, spiegare gli errori nei test e raccomandare i passi successivi.
- Feedback per l'Istruttore: Generato tramite uno schema separato per fornire statistiche aggregate del gruppo, confrontare le prestazioni del gruppo rispetto ai benchmark globali e mettere in evidenza compiti difficili o facili in base ai dati collettivi.
- Opzioni LLM: Il sistema supporta sia LLM locali (es. Gemma-7b-it) per la privacy dei dati, sia API basate su cloud (es. Llama-3-70B, GPT-4.1-mini) per la scalabilità, con il passaggio di pre-elaborazione che garantisce che i dati grezzi dell'utente non siano esposti direttamente al modello in modo da violare i limiti di contesto.
Ambiente di Integrazione:
Il modello opera all'interno di un workflow basato su CTF in cui gli studenti interagiscono con ambienti sandbox isolati (macchine virtuali). La raccolta dati avviene al livello operativo, l'analisi al livello di gestione e la consegna del feedback al livello di apprendimento.

Principali Contributi
Il documento delinea tre contributi primari:

Un Modello di Profilazione Innovativo: Un metodo formalizzato per valutare la prestazione del discente durante l'addestramento pratico che va oltre il semplice punteggio, includendo tempo, tentativi e uso di suggerimenti, normalizzati e pesati per produrre un profilo olistico.
Sistema di Feedback Automatizzato: Un sistema a doppio output che genera feedback descrittivi e individualizzati per gli studenti (inclusa l'analisi di punti di forza/debolezza e la spiegazione degli errori) e riassunti delle prestazioni aggregati per gli istruttori, tutti guidati da LLM e una pipeline di dati deterministica.
Validazione Empirica: Un caso di studio che dimostra la fattibilità tecnica dell'approccio all'interno di un vero ambiente di cyber range, integrando il modello di profilazione con la generazione di feedback automatizzato.

Risultati
L'approccio proposto è stato validato attraverso un caso di studio che ha coinvolto 35 studenti al terzo anno di Information Security presso la Brno University of Technology. Gli studenti hanno completato un singolo scenario di addestramento focalizzato sul penetration testing e sulla resilienza contro attacchi di flooding/logici, composto da otto compiti di diversa difficoltà.

Fattibilità Tecnica: Lo studio ha confermato che il modello di profilazione può calcolare con successo i punteggi e determinare le transizioni di scenario.
Generazione del Feedback: Il sistema ha generato con successo feedback strutturati utilizzando sia LLM locali (Gemma-7b-it) che basati su cloud (Llama-3-70B, GPT-4.1-mini). La pipeline di pre-elaborazione deterministica ha gestito efficacemente l'elevato volume di dati (circa 97k token) riducendoli a payload conformi alla finestra di contesto.
Qualità dell'Output: Il feedback generato includeva riassunti personalizzati dello scenario, analisi della comprensione degli argomenti, identificazione di punti di forza/debolezza, spiegazioni dettagliate per le risposte errate nei test, nonché approfondimenti statistici aggregati per l'istruttore.

Significato e Rivendicazioni
Gli autori posizionano questo lavoro come un metodo basato sui dati per colmare il divario nella valutazione dell'istruzione in cybersecurity. Affermano che, integrando il profiling con il feedback automatizzato, il sistema:

Oggettivizza la Valutazione: Va oltre il semplice punteggio per fornire una visione sfumata della competenza del discente basata su molteplici indicatori di prestazione.
Abilita la Personalizzazione: Facilita lo sviluppo continuo raccomandando percorsi di apprendimento adattivi che corrispondono al livello di proficienza attuale del discente.
Supporta gli Istruttori: Riduce il carico cognitivo degli educatori fornendo insight aggregati ed eliminando la necessità di una calibrazione manuale e fine-grained dei pesi per ogni fase del compito, un limite identificato negli attuali framework adattivi.
Scalabilità: Dimostra che il profiling e il feedback automatizzati possono essere implementati in ambienti di cyber range controllati per supportare valutazioni strutturate e individualizzate per i discenti e riassunti aggregati per gli istruttori.

Il documento conclude con modestia, dichiarando che il caso di studio dimostra la fattibilità tecnica dell'approccio, contribuendo a un metodo per la valutazione oggettiva e l'addestramento personalizzato, pur riconoscendo che le direzioni della ricerca futura rimangono aperte.

Articoli simili