Identifying Quality Indicators in Student Self-Reflections in Software Engineering

기술 요약: 소프트웨어 공학 학생의 자기 성찰 내 품질 지표 식별

문제 정의
성찰은 소프트웨어 공학 교육 및 실무에서 중요한 기술이지만, 작성된 성찰문을 평가하여 실행 가능한 피드백을 제공하는 것은 교수자에게 많은 자원을 소모하게 합니다. 수동 평가는 종종 구체적인 차원(학생이 다룬 부분이나 간과한 부분)을 식별하기보다는 포괄적이고 비특정적인 피드백(예: "성찰의 깊이가 더 필요합니다")을 제공하는 데 그칩니다. 또한, 성찰이 프로젝트 생애 주기 전반에 걸쳐 반복적으로 발생하는 프로젝트 기반 소프트웨어 공학 과정에서, 지연된 피드백은 효과가 떨어지는 경우가 많습니다. 협업적이고 반복적인 소프트웨어 공학 프로젝트 맥락 내에서 성찰적 글쓰기를 분류하기 위해 설계된 자동화된 접근 방식이 부족한 실정입니다.

방법론
본 연구는 성찰적 글쓰기 프레임워크와 자동 분류기를 개발하기 위해 다단계 접근 방식을 채택합니다:

1. 프레임워크 개발: 저자들은 기존의 성찰적 글쓰기 프레임워크(특히 Ullmann 등과 Alrashidi 등의 프레임워크)를 소프트웨어 공학 맥락에 맞게 조정했습니다. 반복적인 개선 과정을 통해 다음의 8가지 지표 체계를 확립했습니다:

   • 기술(Description): 사건에 대한 사실적 서술.
   • 이해(Understanding): 목표나 경험에 대한 주관적 해석.
   • 감정(Feelings): 감정의 식별(예: 자부심, 좌절감).
   • 추론(Reasoning): 구체적인 원인과 결과에 대한 심층적 분석.
   • 관점(Perspective): 대안적인 관점(동료, 팀원)에 대한 고려.
   • 새로운 학습(New Learning): 기술 또는 통찰력의 습득.
   • 회고(Hindsight): 상황이 어떻게 다르게 접근될 수 있었는지에 대한 사후 분석.
   • 미래 의도(Future Intention): 향후 행동에 대한 전향적 계획.
   • 참고: 이 프레임워크는 전통적인 "미래 행동" 지표를 본 연구에서 사용된 특정 3단계 프롬프트 구조에 맞추어 "회고"(사후적)와 "미래 의도"(전향적)로 분리했습니다.

2. 데이터 어노테이션: 캔터베리 대학교의 3학년 소프트웨어 공학 프로젝트 과정에서 수집된 1,518개의 학생 응답(6,704개 문장) 데이터셋을 구축했습니다. 학생들은 무엇이 잘 되었는지, 무엇이 그렇지 않았는지, 그리고 무엇을 다르게 할 것인지에 관한 세 가지 프롬프트에 대해 매주 응답했습니다. 세 명의 어노테이터가 데이터를 라벨링하였으며, 반복적인 가이드라인 개선을 통해 중등도 이상의 신뢰할 수 있는 평가자 간 일치도(Krippendorff's $\alpha$)를 달알성했습니다.

3. 모델 훈련 및 평가:

   • Encoder-only 모델: 다섯 가지 트랜스포머 모델(BERT, DistilBERT, ALBERT, DeBERTa, RoBERTa)을 이진 교차 엔트로피 손실(Binary Cross Entropy loss)과 클래스 불균형을 처리하기 위한 역빈도 가중치를 사용하는 멀티 레이블 분류 방식으로 어노테이션된 데이터셋에 미세 조정(fine-tuning)했습니다. 하이퍼파라미터 튜닝은 Optuna를 사용하여 수행되었습니다.
   • Decoder-only 모델: 두 개의 대규모 언어 모델(GPT-OSS:20b 및 Qwen3:14b)을 확장된 추론 능력을 갖춘 제로샷 프롬프팅을 사용하여 평가했습니다. 개인정보 보호를 위해 로컬 환경에서 실행되었습니다.
   • 비교: 성능은 해밍 손실(Hamming loss), 완전 일치 정확도(exact match accuracy), 지표별 F1-점수를 사용하여 측정되었습니다. 계산 효율성 또한 비교되었습니다.

주요 기여

1. 조정된 프레임워크: 소프트웨어 공학 프로젝트 과정에 맞게 조정되고, 인간 교수자들에 의해 중등도 이상의 평가자 간 일치도로 검증된 8가지 지표 성찰적 글쓰기 프레임워크를 제안했습니다.
2. 자동 분류기: 대부분의 차원에서 인간 수준의 일치도를 보이는 성찰 지표 식별이 가능한 미세 조정된 RoBERTa 모델을 개발했습니다.
3. 아키텍처 비교: 미세 조정된 encoder-only 모델이 특정 작업에서 zero-shot decoder-only LLM보다 정확도와 계산 속도 면에서 실질적으로 우수함을 입증하는 포괄적인 비교를 수행했습니다.
4. 배포 가이드라인: 서로 다른 교육적 우선순위에 따라 선택할 수 있도록 두 가지 모델 변체(정확도에 최적화된 F1 모델과 안전성을 위해 재현율(Recall)에 최적화된 모델)를 포함한 교육자를 위한 실질적인 지침을 제공합니다.

결과

• 모델 성능: 미세 조정된 RoBERTa 모델이 Macro F1-score 0.809와 완전 일치 정확도 0.380을 기록하며 가장 강력한 성능을 보였습니다. 이는 완전 일치 정확도가 각각 0.229(Qwen3:14b)와 0.189(GPT-OSS:20b)였던 decoder-only 모델들을 크게 상회하는 수치입니다.
• 지표 난이도: 분류 성능은 인간의 평가자 간 일치도를 밀접하게 반영했습니다. 높은 인간 일치도를 보인 지표(예: 미래 의도, 회고)는 모델에 의해 잘 분류되었습니다. 인간과 기계 모두에게 어려웠던 낮은 일치도의 지표(추론 및 관점)의 경우, RoBERTa 모델이 테스트된 모든 접근 방식 중 가장 좋은 결과를 보였으나 여전히 도전적인 과제로 남았습니다.
• 효율성: encoder-only RoBERTa 모델은 소비자급 하드웨어에서 단일 성찰문을 0.1초 미만으로 분류했습니다. 반면, decoder-only 모델은 분류당 20~45초가 소요되어 실시간 피드백에는 부적합했습니다.
• 인간 일치도: 네 번째 어노테이터로서 취급했을 때, F1 최적화 Ro-berta 모델은 8개 지표 중 6개에서 인간 간의 일치도 수준을 유지하거나 능가했습니다.

의의 및 주장
본 논문은 제안된 프레임워크와 자동 분류기가 소프트웨어 공학 교육에서 학생의 성찰에 대해 시의적절하고 구조화된 피드백을 제공할 수 있는 실행 가능한 수단임을 주장합니다. 성찰의 특정 차원을 식별함으로써 자동화된 방식은 포괄적이고 비특정적인 피드백의 한계를 해결하며, 교육자가 학생들이 간과한 성찰의 측면(예: 추론이나 관점을 요구함)에 주의를 기울이도록 유도할 수 있게 합니다.

저자들은 미세 조정된 encoder-only 모델이 교육자의 업무량을 줄이면서 형성적 평가를 지원하는 효율적이고 확장 가능한 평가를 가능하게 한다고 강조합니다. 저자들은 성찰의 본질적인 주관성과 학생들이 자동 분류에 따라 시스템을 "속이는(gaming)" 위험을 근거로, 본 시스템이 총괄 평가(성적 부여)가 아닌 형성적 피드백(학습 가이드)을 위해 설계되었음을 명시합니다. 본 연구는 프레임워크가 높은 일치도를 보이는 지표에 대해서는 견고하지만, 추론과 관점에 대한 중간 정도의 일치도는 이를 확정적인 평가보다는 추가적인 성찰을 위한 프롬프트로 사용해야 함을 시사한다고 결론짓습니다.