Learning Profiling with Automated Feedback for Supporting the Assessment of Cybersecurity Education

기술 요약: 사이버 보안 교육의 평가 지원을 위한 자동 피드백 기반 학습 프로파일링

문제 제기
사이버 보안 교육은 효과적인 평가와 개인화를 구현하는 데 있어 상당한 규모의 확장성 문제에 직면해 있습니다. 기존의 방법론은 수동적 학습부터 사이버 레인지 및 게임화된 Capture the Flag (CTF) 시나리오를 활용한 실습형 연습에 이르기까지 다양하지만, 기존 방식들은 객관적인 학습자 평가, 피드백의 확장성, 그리고 개인화 측면에서 어려움을 겪고 있습니다. 현재의 점수 산정 시스템은 단순한 점수 누적에 의존하는 경우가 많아, 소요 시간, 시도 횟수, 또는 힌트 의존도와 같은 기술 발전의 미묘한 차이를 포착하지 못합니다. 또한, 수동 감독은 대규모 인원을 수용하기에 불충분하며, 기존의 적응형 프레임워크는 모든 과제 단계마다 세밀한 성능 가중치를 수동으로 설정해야 하는 복잡하고 오류가 발생하기 쉬운 과정을 요구합니다. 따라서 강사에게 과도한 부담을 주지 않으면서도, 지속적이고 개별화된 학습자 프로파일링과 자동화된 서술형 피드백을 제공할 수 있는 체계 사이에는 결정적인 격차가 존재합니다.

방법론
저자들은 이러한 격차를 해결하기 위해 사이버 레인지 환경(구체적으로 Brno 공과대학교의 BUTCA) 내에 통합된 혁신적인 프로파일링 모델을 제안합니다. 이 방법론은 세 가지 주요 구성 요소로 이루어집니다.

1. 정량적 프로파일링 모델:
   시스템은 여러 과제($T_{ij}$)를 포함하는 일련의 시나리오($S_i$)에 걸쳐 학습자의 성과를 평가합니다. 모델은 다음 세 가지 핵심 차원을 정규화하고 집계하여 가중치가 적용된 프로파일링 점수($\tilde{P}_w(S_i)$)를 계산합니다.
   • 성과 점수 ($\tilde{p}$): 과제 복잡도($C_{ij}$)에 따라 조정된 기본 점수에서 힌트 사용($r_{ij}$) 및 잘못된 최종 테스트 답변($r_{ijq}$)에 대한 페널티를 적용하여 도출됩니다.
   • 시간 효율성 ($\tilde{\Delta t}$): 실제 해결 시간과 예상 시간의 차이로, 과도한 시간을 소요할 경우 페널티를 부여하되 지나치게 빠른 완료에 대한 보상은 제한하도록 정규화되었습니다.
   • 정확도 ($\tilde{E}$): 과제 복잡도에 의해 정규화된 오답 시도 횟수의 상대적 비율입니다.

이 차원들은 글로벌 가중치($w_1, w_2, w_3$)를 사용하여 스칼라 점수 $\pi(S_i) \in [0, 1]$를 생성합니다. 이 점수는 결정론적 함수를 통해 학습자가 다음 시나리오($S_y$)로 전환되는 것을 결정하며, 이를 통해 학습자의 진화하는 요구 사항에 맞춰 난이도를 조정하는 적응형 학습 경로를 효과적으로 구축합니다.

2. 자동 피드백 생성 시스템:
   수치적 프로파일링 데이터를 교육적 통찰력으로 변환하기 위해 시스템은 거대언어모델(LLM)을 활용합니다. 컨텍스트 윈도우(context window)의 제한을 해결하고 데이터 정확성을 보장하기 위해, 저자들은 Python을 이용한 결정론적 전처리 파이프라인을 사용합니다. 이 파이yle은 원시 데이터(과제 점수, 시간, 시도 횟수, 힌트)를 필터링하고 집계하여, LLM에 전달될 구조화된 JSON 페이로드를 생성합니다.

   • 학생 피드백: 개인화된 요약, 강점 및 약점 식별, 오류 설명, 그리고 다음 단계 추천을 제공하기 위해 특정 프롬프트 스키마를 통해 생성됩니다.
   • 강사 피드백: 그룹 통계, 글로벌 벤치마크 대비 그룹 성과 비교, 집단 데이터를 기반으로 한 난이도 높은 과제 또는 쉬운 과제 식별을 제공하기 위해 별도의 스키마를 통해 생성됩니다.
   • LLM 옵션: 시스템은 데이터 프라이버시를 위한 로컬 LLM(예: Gemma-7b-it)과 확장성을 위한 클라우드 기반 API(예: Llama-3-70B, GPT-4.1-mini)를 모두 지원하며, 전처리 단계는 원시 사용자 데이터가 컨텍스트 제한을 위반하는 방식으로 모델에 직접 노출되지 않도록 보장합니다.

3. 통합 환경:
   모델은 학생들이 격리된 샌드박스 환경(가상 머신)과 상호작용하는 CTF 기반 워크플로우 내에서 작동합니다. 데이터 수집은 운영 계층(operational layer)에서, 분석은 관리 계층(management layer)에서, 피드백 전달은 학습 계층(learning layer)에서 수행됩니다.

주요 기여
본 논문은 세 가지 주요 기여를 명시합니다.

• 혁신적인 프로파일링 모델: 단순한 점수 산정을 넘어 시간, 시도 횟수, 힌트 사용을 포함하여 정규화 및 가중치를 적용함으로써 학습자의 성과를 종합적으로 평가하는 공식화된 방법을 제시합니다.
• 자동 피드백 시스템: LLM과 결정론적 데이터 파이프라인을 구동 엔진으로 하여, 학생에게는 개별화된 서술형 피드백(강점/약점 분석 및 오류 설명 포함)을, 강사에게는 집계된 성과 요약을 제공하는 이중 출력 시스템을 구축합니다.
• 실증적 검증: 사이버 레인지 환경 내에서 이 접근 방식의 기술적 타당성을 입증하는 사례 연구를 통해 프로파일링 모델과 자동 피드백 생성의 통합을 보여줍니다.

결과
제안된 접근 방식은 Brno 공과대학교의 3학년 정보 보안 학생 35명을 대상으로 한 사례 연구를 통해 검증되었습니다. 학생들은 침투 테스트 및 플러딩/논리적 공격에 대한 복원력을 주제로 한 단일 훈련 시나리오를 완료하였으며, 이 시나리오는 다양한 난이도의 8개 과제로 구성되었습니다.

• 기술적 타당성: 연구를 통해 프로파일링 모델이 성공적으로 점수를 계산하고 시나리오 전환을 결정할 수 있음을 확인했습니다.
• 피드백 생성: 시스템은 로컬(Gemma-7b-it) 및 클라우드 기반(Llama-3-70B, GPT-4.1-mini) LLM을 모두 사용하여 구조화된 피드백을 성공적으로 생성했습니다. 결정론적 전처리 파이프라인은 방대한 양의 데이터(약 97k 토큰)를 컨텍스트 윈도우를 준수하는 페이로드로 효과적으로 축소했습니다.
• 출력 품질: 생성된 피드백에는 개인화된 시나리오 요약, 주제 이해도 분석, 강점/약점 식별, 오답에 대한 상세한 설명뿐만 아니라 강사를 위한 집계된 통계적 통찰력이 포함되었습니다.

의의 및 주장
저자들은 본 연구를 사이버 보안 교육 평가의 격차를 메우는 데이터 기반 방법론으로 규정합니다. 프로파일링과 자동 피드백을 통합함으로써 시스템은 다음과 같은 효과를 거둘 수 있다고 주장합니다.

• 평가의 객관화: 단순한 점수 산정을 넘어 다각적인 성능 지표를 바탕으로 학습자의 역량에 대한 미묘한 관점을 제공합니다.
• 개인화 구현: 학습자의 현재 숙련도 수준에 맞는 적응형 학습 경로를 추천함으로써 지속적인 발전을 촉진합니다.
• 강사 지원: 집계된 통찰력을 제공하고, 기존 적응형 프레임워크의 한계점으로 지적된 모든 과제 단계에 대한 수동의 세밀한 가중치 설정 필요성을 제거함으로써 교육자의 인지 부하를 줄여줍니다.
• 확장성: 자동화된 프로파일링과 피드백이 통제된 사이버 레인지 환경에서 학습자에게는 구조화되고 개별화된 평가를, 강사에게는 집계된 요약을 지원하기 위해 배포될 수 있음을 입증합니다.

본 논문은 사례 연구를 통해 이 접근 방식의 기술적 타당성을 입증하며, 객관적 평가와 개인화된 훈련을 위한 방법론을 기여하는 것으로 결론지으며, 향후 연구 방향이 여전히 열려 있음을 인정하며 마무리합니다.