TRACE: AI-Assisted Assessment of Collaborative Projects in Computer Science Education

이 논문은 저장소 마이닝, 커뮤니케이션 분석 및 AI 기반 분석을 활용하여 협업 프로젝트의 품질과 개인 기여도를 공정하고 확장 가능하게 평가하는 'TRACE'라는 반자동 AI 지원 프레임워크를 제안하고, 소프트웨어 공학 수업 파일럿 배포를 통해 교수자 평가와의 높은 일치도 및 학생 만족도 향상을 입증했습니다.

핵심

🎬 비유: "조별 프로젝트는 마치 '영화 제작'과 같습니다"

상상해 보세요. 학생들이 5 명씩 조를 이루어 영화를 찍는다고 칩시다.

• 교수님 (감독): 전체적인 영화의 완성도를 보고 점수를 매겨야 합니다.
• 학생들 (배우 및 스태프): 대본을 쓰고, 카메라를 돌리고, 편집을 하고, 음악을 넣습니다.

기존의 문제점 (과거의 방식):

1. 모두 같은 점수: "우리는 팀이니까 다 같이 90 점!"이라고 하면, 열심히 일한 학생과 아무것도 안 한 학생이 똑같은 대우를 받습니다. (불공평!)
2. 서로 평가하기: "누가 더 잘했나요?"라고 서로에게 점수를 매기게 하면, 친구 관계나 감정 때문에 공정한 점수가 나오기 어렵습니다.
3. 교수님의 고충: 교수님은 200 명짜리 강의실에서 누가 무엇을 했는지 일일이 확인하기엔 시간이 부족합니다.

TRACE 가 해결하는 방법 (새로운 방식):
TRACE 는 현명한 '프로덕션 매니저'이자 '감시 카메라' 역할을 합니다. 이 도구는 학생들의 작업 흔적 (코드, 대화 기록, 문서 등) 을 AI 가 분석해서 **"누가 얼마나, 어떻게 기여했는지"**를 숫자로 보여줍니다.

---

🛠️ TRACE 의 3 단계 작동 원리

이 시스템은 크게 세 가지 단계로 나뉩니다.

1. 프로젝트 품질 평가 (PQAM) - "영화의 완성도는 어때?"

이 부분은 팀 전체가 만든 결과물을 봅니다.

• 코드 품질: 코드가 깔끔하게 쓰였는지, 버그는 없는지 (비유: 영화의 촬영 화질과 편집 상태).
• 테스트: 프로그램이 잘 작동하는지 확인하는 테스트가 충분히 들어갔는지.
• 문서: 사용 설명서가 잘 쓰였는지.
• 기능과 사용성: 실제로 쓸 수 있는 기능인지, 디자인이 좋은지.
  이 모든 것을 합쳐서 **팀 전체의 점수 (Project Quality Score)**를 매깁니다.

2. 개인 기여도 분석 (ICA) - "누가 얼마나 일했나?"

이 부분이 TRACE 의 핵심입니다. 개별 학생의 행동을 추적합니다.

• 코드 작성량: 누가 실제로 코드를 썼는지 (Git 기록 분석).
• 중요한 기여: 단순히 공백을 지운 것 같은 사소한 작업은 제외하고, 진짜 중요한 기능을 만든 사람을 찾아냅니다.
• 문제 해결: 버그를 고치거나 새로운 기능을 요청한 기록 (이슈 트래커) 을 분석합니다.
• 코드 리뷰: 동료의 코드를 검토하고 조언해 준 기록도 점수에 반영합니다.
  이렇게 해서 **개인의 기여도 점수 (Individual Contribution Score)**를 매깁니다.

3. 성적 산출 엔진 (GE) - "최종 점수 계산기"

이제 두 가지 점수를 합칩니다.

• 공식: 최종 점수 = (팀 전체 점수 × 60%) + (개인 기여도 점수 × 40%)
• 유연성: 교수님이 원하면 비율을 바꿀 수 있습니다. (예: 팀워크를 더 중요하게 여기면 팀 점수 비중을 높임)
• 이상 탐지: 만약 어떤 학생이 너무 적은 일만 했거나, 반대로 너무 많은 일을 했을 때 AI 가 "이건 좀 이상하네요"라고 교수님께 알려줍니다. 교수님은 이를 확인하고 최종 결정을 내립니다.

---

📊 실제 효과: "선생님의 수고로움 줄이고, 학생들의 불만 해소"

이 시스템을 실제 대학 수업 (20 명, 5 개 팀) 에서 시험해 본 결과:

1. 공정성: AI 가 매긴 점수와 교수님이 매긴 점수가 91% 이상 일치했습니다. (매우 정확함!)
2. 만족도: 학생들은 "누가 무엇을 했는지 투명하게 보여줘서 공정하다"고 느꼈습니다.
3. 시간 절약: 교수님의 채점 시간이 45% 줄었습니다.
4. 사기 방지: "나는 열심히 했어!"라고 말하며 빈번한 사소한 수정 (공백 추가 등) 으로 점수를 받으려던 학생들의 꼼수를 AI 가 잡아내어 점수를 깎아주었습니다.

---

⚖️ 윤리와 주의점 (중요한 점)

이 시스템은 교수님을 대체하는 것이 아니라 도와주는 도구입니다.

• 투명성: 학생들은 자신의 점수가 어떻게 나왔는지 상세한 리포트를 볼 수 있어 "블랙박스"라는 불만을 없앱니다.
• 편향 주의: 영어 실력이 부족해서 문서 점수가 낮아지는 등, 특정 학생에게 불리할 수 있는 부분을 교수님이 최종적으로 확인하고 조정합니다.
• 사생활 보호: 학생들의 데이터는 안전하게 보호됩니다.

🚀 미래 전망

앞으로는 이 시스템이 더 발전할 예정입니다.

• IDE 연동: 학생이 코딩하는 동안의 타이핑 속도나 작업 시간까지 분석.
• 멀티미디어 분석: 발표 자료나 디자인 시안도 AI 가 평가.
• 적응형 학습: 교수님의 피드백을 학습해서 더 똑똑한 채점 기준을 스스로 만들어감.

💡 결론

TRACE는 "조별 과제에서 누가 뭘 했는지 알 수 없어서 힘들었던" 교수님과 학생들의 고민을 해결해 줍니다. 데이터와 AI 를 이용해 공정하고 투명한 평가를 가능하게 하며, 교수님은 중요한 판단만 하면 되게 도와주는 똑똑한 조력자입니다.

기술 요약

논문 요약: TRACE (AI 기반 컴퓨터 과학 교육 협업 프로젝트 평가 프레임워크)

1. 문제 정의 (Problem)

컴퓨터 과학 교육에서 협업 그룹 프로젝트는 팀워크, 문제 해결 능력, 산업 현장 관련 기술을 함양하는 데 필수적입니다. 그러나 대규모 수업 환경에서 개별 학생의 기여도를 공정하고 객관적으로 평가하는 것은 여전히 난제입니다.

• 기존 방식의 한계:
  • 동점 부여 (Equal Grade Distribution): 팀 전체에 동일한 점수를 부여하여 실제 기여도 차이를 반영하지 못함.
  • 주관적 동료 평가 (Peer Evaluation): 편향 (Bias), 사회적 압력, 동조 현상 (Collusion) 의 위험이 있으며, 기술적 기여도를 정확히 반영하지 못할 수 있음.
  • 강사의 수동 관찰: 대규모 수업이나 원격 환경에서 팀 역학을 세밀하게 파악하기 어렵고, 평가에 많은 시간이 소요되며 일관성이 떨어짐.

2. 방법론 (Methodology)

저자들은 TRACE라는 반자동 AI 지원 평가 프레임워크를 제안합니다. 이 시스템은 리포지토리 마이닝 (Repository Mining), 커뮤니케이션 분석, AI 기반 분석을 활용하여 프로젝트의 전반적인 품질과 개별 기여도를 동시에 평가합니다.

시스템 아키텍처 (3 개 핵심 모듈):

1. 프로젝트 품질 평가 모듈 (PQAM - Project Quality Assessment Module):

   • 그룹 프로젝트의 기술적/정성적 무결성을 평가합니다.
   • 5 가지 하위 모듈:
     • 코드 품질: 정적 분석 (Static Analysis) 을 통해 복잡도 (Cyclomatic, Halstead), 스타일 준수 (PEP8, ESLint 등), 중복 코드 (SonarQube 등) 를 검사.
     • 테스트 커버리지: pytest-cov, JaCoCo 등을 활용하여 테스트의 범위와 엣지 케이스 처리 여부 분석.
     • 문서화: NLP (BERT, spaCy) 를 사용하여 README 및 기술 문서의 명확성, 구조, 완성도 평가.
     • 기능성: 샌드박스 환경 (Docker 등) 에서 자동화된 테스트 실행 및 CI/CD 빌드 결과 확인.
     • 사용성 (Usability): Selenium, Cypress 등을 통한 UI 테스트 및 WCAG 접근성 준수 여부 확인.
   • 산출물: 가중치를 적용하여 통합된 '프로젝트 품질 점수 (PQS)' 생성.

2. 개별 기여도 분석기 (ICA - Individual Contribution Analyzer):

   • 개발 생명주기에서 발생하는 다양한 신호를 분석하여 개별 학생의 기여도를 정량화합니다.
   • 4 개 하위 모듈:
     • 커밋 분석 (Commit Analysis): 단순한 공백 변경이나 주석 수정과 같은 사소한 커밋을 필터링하고, DBSCAN 과 같은 클러스터링 알고리즘으로 지속적 개발 활동과 마지막 순간의 급작스러운 기여를 구분.
     • 코드 소유권 (Code Ownership): git blame을 활용하여 코드 라인별 작성자 추적. 주요 로직 수정자에게 높은 가중치 부여.
     • 이슈 트래커 (Issue Tracker): GitHub Issues, Jira 등에서의 이슈 생성, 해결, 논의 참여도 분석 (비코드 기여도 반영).
     • 코드 리뷰 (Code Review): NLP 를 활용하여 리뷰의 깊이 (논리적 문제 지적, 개선 제안 등) 와 톤 (건설적 피드백 여부) 분석.
   • 산출물: 정규화된 '개별 기여도 점수 (NCS)' 생성.

3. 평가 엔진 (GE - Grading Engine):

   • PQS(팀 품질) 와 NCS(개별 기여) 를 결합하여 최종 점수를 산출합니다.
   • 기본 공식: Score = (PQS × 0.6) + (NCS × 0.4) (강사가 가중치 조정 가능).
   • 이상치 탐지: 통계적 방법 (IQR, 표준 편차) 을 통해 기여도 편차가 큰 경우나 비정상적인 패턴 (커밋은 많지만 작성 코드는 적은 경우 등) 을 탐지하여 강사의 수동 검토 (Human-in-the-loop) 를 유도합니다.
   • 투명성: 학생과 강사에게 상세한 대시보드 (라다 차트, 기여 타임라인 등) 를 제공하여 평가 근거를 명확히 함.

3. 주요 기여 (Key Contributions)

• 통합 평가 프레임워크: 단순한 커밋 수 계산을 넘어, 코드 품질, 테스트, 문서화, 커뮤니케이션, 코드 리뷰 등 다각도의 데이터를 통합하여 개별 기여도를 평가하는 체계적인 모델 제시.
• 편향 완화 및 공정성: NLP 와 정적 분석을 통해 주관적 동료 평가의 편향을 줄이고, 객관적인 데이터 기반의 증거를 제공하여 평가의 공정성과 투명성을 확보.
• 강사의 업무 부담 경감: 자동화된 분석을 통해 평가 시간을 단축하면서도, 강사의 최종 판단과 개입을 보장하는 하이브리드 방식 도입.
• 확장 가능한 아키텍처: Python(Flask), React, PostgreSQL 기반의 모듈식 설계로 다양한 교육 환경에 적용 가능.

4. 실험 결과 (Results)

2025 년 봄 학기 소프트웨어 공학 과정 (학생 20 명, 5 개 팀) 에서 파일럿 배포를 통해 검증되었습니다.

• 강사 평가와의 일치도: AI 가 생성한 점수와 강사가 부여한 점수 간의 피어슨 상관계수 (Pearson correlation coefficient) 가 0.91로 매우 높은 일치도를 보임.
• 학생 만족도: 평가의 공정성 (4.3/5) 과 투명성 (4.5/5) 에 대해 학생들의 높은 만족도 보고.
• 강사의 업무 효율성: 수동 평가 대비 평가 시간 45% 단축.
• 정확한 이상 탐지:
  • 한 학생이 58% 의 생산 코드를 작성한 경우, 시스템이 이를 정확히 반영하여 점수를 조정.
  • 공백/주석만으로 커밋 수를 인위적으로 늘리려는 시도를 ICA 모듈이 감지하고 점수를 하향 조정하여 부정 점수 인플레이션 방지.
• 확장성: 200 명 이상의 코호트를 대상으로 한 부하 테스트에서 성능 저하가 거의 없음.

5. 의의 및 향후 방향 (Significance & Future Work)

• 교육적 의의: 협업 프로젝트 평가의 투명성과 확장성을 혁신적으로 개선하며, 데이터 기반의 객관적 평가가 가능함을 입증.
• 윤리적 고려: 데이터 프라이버시 (FERPA, GDPR 준수), 알고리즘 편향 감시, 인간 감독의 중요성을 강조하며 책임 있는 AI 도입을 위한 가이드라인 제시.
• 향후 연구 방향:
  • IDE 통합: 커밋 전의 로컬 개발 활동 (키스트로크, 세션 시간 등) 포착.
  • 멀티미디어 아티팩트 분석: 프레젠테이션, 디자인 와이어프레임 등 비코드 산출물 평가.
  • 적응형 평가 모델: 강사의 피드백을 학습하여 가중치를 자동 최적화하는 강화 학습 도입.
  • LMS 연동: Canvas, Moodle 등 학습 관리 시스템과의 양방향 데이터 연동.

결론적으로, TRACE 는 협업 학습 환경에서 AI 가 강사의 판단을 대체하는 것이 아니라, 데이터 기반의 증거를 제공하여 강사의 판단을 보완하고 평가의 공정성과 효율성을 동시에 높이는 효과적인 도구임을 보여줍니다.