Adapting homework design principles in modern Computer Science education to enhance learning outcomes and reduce unintended consequences

기술 요약: 현대 컴퓨터 과학 교육에서의 과제 설계 원칙 적응

문제 제기
대규모 언어 모델(LLM)의 급격한 등장과 온라인 프리랜서 서비스의 확산은 전통적인 컴퓨터 과학(CS) 과제의 진정성과 효과를 저해해 왔다. 교육자들은 특히 코드와 알고리즘이 즉각적으로 생성될 수 있는 기술 분야에서 학생이 직접 작성한 작업물과 AI 보조 또는 외주 솔션을 구분하는 데 점점 더 큰 어려움을 겪고 있다. 이러한 도전은 원격 학습으로의 전환으로 인해 자발적인 대면 개념 토론의 기회가 줄어들면서 더욱 심화되었다. 기존의 평가 방식인 "테이크 홈 시험(take-home exams)"이나 정적인 코드 제출 방식은 이제 진정한 이해를 검증하거나 학업 부정행위를 방지하기에 더 이상 충분하지 않다. 핵심 문제는 AI 도구가 그럴듯한 기술적 솔루션을 생성할 수 있는 시대에 어떻게 학습자의 진정한 참여, 비판적 사고, 그리고 개념적 숙달을 촉진하도록 과제를 재설계할 것인가이다.

방법론
아제르바이잔 아다 대학교(ADA University)의 표준 정보 기술 및 공학 커리큘럼 내에서 수행된 본 연구는 과제 설계를 재구조화하기 위한 일련의 사례 기반 시나리오를 제안한다. 본 연구는 AI 도구를 금지하기보다 이를 학습 및 평가 과정에 통합하는 세 가지 주요 전략을 제시한다.

1. 구두 설명을 포함한 화면 녹화:

   • 구현: 학생들은 기술적 과제를 해결하는 동안 자신의 화면을 녹화하고, 사고 과정을 구두로 주석 처리하여 설명해야 한다. 진정성을 보장하기 위해 녹화에는 반드시 타임스탬프가 포함되어야 하며, 학생들은 녹화 중에 특정 동작(예: 공유 파일 수정)을 수행하도록 요구받을 수 있다.
   • 평가: 본 연구는 AI 기반 채점과 교수자 채점을 비교하기 위해 34개의 비디오 제출물을 샘플로 활용하였다. 정량적 분석 결과, 피어슨 상관계수($r=0.512, p=0.00199$)와 대응 표본 t-검정(t=-3.266, p=0.00255})을 실시하였다. 결과는 통계적으로 유의미한 중간 정도의 양의 상관관계를 나타냈으나, AI 시스템은 체계적으로 더 낮은 점수를 부여하였으며(평균 차이 0.88점), 만점에 대해 더 엄격한 경향을 보였다.
   • 학생 피드백: 설문 조사 결과, 학습 효과에 대한 높은 인지적 점수(7.72–8.17)를 기록하였으며, 초기 시간 소요에 대한 우려에도 불구하고 이 형식을 현대적 커뮤니케이션 스타일로의 전환으로서 긍정적으로 수용하였다.

2. LLM과의 비판적 비교 (자기 평가):

   • 구현: LLM을 금지하는 대신, 과제는 학생이 솔루션을 생성하고, LLM을 사용하여 대안적인 솔루션을 생성한 뒤, 두 솔루션을 비판적으로 비교하도록 요구한다. 학생들은 AI가 생성한 코드나 다이어그램의 결함, 불일치 또는 최적화되지 않은 접근 방식을 식별하고 자신의 설계 선택을 정당화해야 한다.
   • 적용: 이 접근 방식은 함수형 프로그래밍 과제(명령형 대 함수형 구현 비교)와 데이터베이스 정규화(AI 생성 E-R 다이어그램 비판)에 적용되었다.
   • 목표: 이는 초점을 출력물의 정확성에서 개념적 이해의 깊이와 기술적 솔루션을 비판하는 능력으로 전환한다.

3. 버전 관제를 통한 점진적 작업:

   • 구현: 미루기 습관과 "마지막 순간"의 외주를 방지하기 위해, 학생들은 GitHub 저장소에 작업물을 점진적으로 제출해야 한다. 요구 사항에는 최소 커밋 횟수(예: 주당 3회 또는 서로 다른 날짜에 5회)와 브랜치 및 풀 리퀘스트(Pull Request) 사용이 포함된다.
   • 목표: 이는 지속적인 참여를 유도하고, 교수자가 솔루션의 진화 과정을 추적할 수 있게 하며, 업계 표준인 버전 관리 기술을 개발하도록 돕는다.

주요 결과

• 성적 분포: 화면 녹화 과제 도입은 "생산 및 운영 관리"와 "데이터베이스 시스템" 과목 모두에서 저득점 학생의 감소와 평균 점수로의 이동과 상관관계가 있었다.
• AI vs. 인간 채점: AI 채점은 인간 교수자에 비해 체계적인 저점 부여 편향을 보였으나, 학생 성취도의 순위 구조는 유지하였으며, 이는 평가의 부분적 자동화 가능성을 시사한다.
• 학생 인식: 학생들은 구두 설명 요구 사항이 단순한 결과 생성이 아닌 솔루션 과정에 대한 더 깊은 이해를 강제한다고 보고하였다. 이 방법론은 책임감을 높이고 검증되지 않은 AI 솔루션에 대한 의존도를 낮추는 것으로 인식되었다.
• 기술 개발: 점진적 접근 방식은 일상적인 참여와 시간 관리 및 기술 문서화와 같은 소프트 스킬의 발전을 성공적으로 독려하였다.

의의 및 주장
본 논문은 AI 시대의 효과적인 과제 설계는 금지가 아닌 적응에 의존해야 한다고 주장한다. 반복적인 학습 사이클(읽기-이해하기, 질문-실행-확인하기)과 지속적인 진행 모니터링을 활용함으로써, 교육자는 학업적 진실성을 유지하는 동시에 더 깊은 개념적 학습을 촉진할 수 있다.

본 연구는 다음과 같이 상정한다:

1. 제품보다 과정: 평가의 초점을 최종 결과물에서 문제 해결 과정(비디오 또는 커밋 히스토리를 통해)으로 전환하는 것이 학생의 이해를 더 잘 반영한다.
2. 교육 도구로서의 AI: LLM을 자기 평가를 위한 비교 도구로 통합함으로써 비판적 사고를 강화하고 AI 출력물에 대한 수동적 의존을 방지한다.
3. 구조적 설계: 마감 기한의 타이밍과 구조, 그리고 버전 관리 요구 사항의 결합은 미루기 습관을 방지하고 진정한 학생의 노력을 보장하는 데 결정적이다.

저자들은 이러한 방법론이 학생들의 동기를 부여하고 이해도를 정확하게 반영하는 과제를 설계하는 데 실질적인 지침을 제공한다고 결론짓는다. 다만, 코딩이 필요하지 않은 학문이나 복잡한 기술 보고서가 필요한 과제에 이 전략을 적용하는 데에는 한계가 있음을 인정한다. 본 논문은 이론적 지식과 실무적 적용을 결적으로 결합하여, 학생들이 기술적 숙련도와 전문 엔지니어 역할에 필요한 비판적 사고력을 모두 갖출 수 있도록 하는 균형 잡힌 접근 방식을 옹호한다.