Ensuring Computer Science Learning in the AI Era: Open Generative AI Policies and Assignment-Driven Written Quizzes

기술 요약: AI 시대의 컴퓨터 과학 학습 보장

문제 제만큼 (Problem Statement)
생성형 AI(GenAI)의 광범위한 가용성은 컴퓨터 과학(CS) 교육에 중대한 도전 과제를 제시한다: 바로 "인지적 오프로딩(cognitive offloading)"의 위험이다. GenAI는 전통적인 과제 제출형 과제에 대해 고도로 정교한 코드를 생성할 수 있지만, 가이드가 없는 사용은 학생들이 알고리즘 설계 및 디버깅에 필요한 필수적인 인지적 고통을 우회하게 만들 수 있다. 이러한 인지 프로세스의 위임은 학생들이 근본적인 개념을 보유하거나 알고리즘을 독립적으로 구현하는 능력을 갖추지 못한 채 높은 과제 점수만을 획득하게 되는 "공허한(hollow)" 학습으로 이어질 수 있다. GenAI를 금지하는 기존의 접근 방식은 효과가 없으며 산업계의 추세와 맞지 않는 것으로 간주되는 반면, 무제한적인 사용은 심층 학습에 필요한 "이론-실습" 루프의 무결성을 위협한다.

방법론 (Methodology)
본 연구는 상급 컴퓨터 과학 과정(특히 진화 연산 및 딥러닝)을 위해 설계된 "개방 및 검증(open and verify)" 평가 모델을 제안하고 평가한다. 이 모델은 테이크홈 프로그래밍 과제에 대한 GenAI 사용을 허용하되, 즉각적이고 대면으로 진행되는 폐쇄형 필기 퀴즈를 통해 개별적 숙달을 강제한다.

• 평가 구조: 평가 비중을 구현보다 검증에 우선순위를 두도록 조정하였다. 테이크 홈 과제의 비중은 낮게(각 2%) 줄인 반면, 그에 대응하는 대면 퀴즈의 비중은 유의미하게 높였다(5% ~ 10%).
• 퀴즈 설계: 퀴즈는 과제 기반이며 폐쇄형(closed-book)으로 진행된다. 학생들은 제출한 코드의 특정 알고리즘, 구조 및 구현 세부 사항에 대한 이해를 입증해야 한다. 질문 유형에는 의사코드(pseudo-code)로 알고리즘 기술하기, 누락된 코드 라인 완성하기, 특정 코드 세그먼트 설명하기, 출력값 예측하기 등이 포함된다.
• 투명성 메커니즘: 학생들은 모든 과제 제출 시 자신의 소유권, AI 생성 코드의 비율을 선언하고, 코드를 수정 및 확장할 수 있다는 자신감을 확인하는 면책 조항을 제출해야 한다.
• 데이터 수집: 데이터는 2025년 가을 학기 Lawrence Technological University의 단일 강좌 섹션(N=14, 대학원생 13명 및 학부생 1명)에서 수집되었다. 데이터 소스는 자기 보고식 AI 사용 비율, 과제 점수, 퀴즈 점수, 최종 학점 및 학기 말 효능감 설문조사를 포함한다.

주요 결과 (Key Results)

• 상관관계 분석: 통계적 분석(Pearson 상관계수) 결과, GenAI 사용 비율과 학생 성과 사이에는 의미 있는 선형 관계가 없는 것으로 나타났다.
  • AI 사용량과 과제 점수 사이의 상관관계는 미미했다 ($r = 0.090$, $p = 0.761$).
  • AI 사용량과 퀴즈 점수 사이의 상관관계는 미미했다 ($r = 0.012$, $p = 0.967$).
  • 전체 AI 사용량과 총 학점 사이의 상관관계는 매우 약했다 ($r \approx 0.11$).
  • 분석된 9개의 모든 관계(과제 및 퀴즈 포함)에서 p-값이 일관되게 0.05보다 커서, 통계적으로 유의미한 연관성이 없음을 나타냈다.
• 학생 피드백: 설문 조사 결과, 본 모델에 대한 긍정적인 반응이 나타났다.
  • 93%의 학생들이 퀴즈가 제출 전 코드를 읽고 이해하도록 동기를 부여한다고 동의했다.
  • 100%가 AI 허용에도 불구하고 과제가 개념 이해에 도움이 되었다고 동의했다.
  • 93%가 이 정책이 스트레스를 줄이고 효과적인 학습을 도왔다고 보고했다.
  • 93%가 이 정책이 AI 도구를 책임감 있게 사용하는 법을 배우는 데 도움이 되었다고 느꼈다.
• 사용 패턴: 흥미로운 분포가 나타났는데, "중간 정도"의 AI 사용량(25–50%)을 보이는 학생들이 가장 낮은 평균 점수를 기록한 반면, 매우 낮은(<25%) 사용자와 매우 높은(50–75%) 사용자들이 더 높은 성과를 보였다. 저자들은 중간 수준의 사용자들이 수동 코드를 작성할 자신감은 부족하면서도, 동시에 AI를 효과적으로 활용하기 위한 프롬프트 엔지니어링 기술 또한 갖추지 못했을 가능성이 있다고 가설을 세웠다.

의의 및 주장 (Significance and Claims)
본 논문은 "개방 및 검증" 모델이 상급 컴퓨터 과학 과정에서 인지적 오프로딩의 위험을 성공적으로 완화한다고 주장한다. 코드 생성(AI가 허용되는 부분)과 이해의 검증(AI가 금지되는 부분)을 분리함으로써, 이 모델은 학생들이 교과 개념에 대한 개별적 숙달을 유지하도록 보장한다.

본 연구는 프로그래밍 연습을 위해 GenAI를 허용하는 것이 엄격하고 과제 중심적인 AI-프리(AI-free) 퀴즈와 결합될 때 학습 성과를 저하시키지 않는다는 결론을 내린다. 이러한 결과는 "실습" 단계가 AI에 의해 증강되더라도, "검증" 단계가 견고하다면 "이론-실무" 루프를 보존할 수 있음을 시사한다.

한계 및 향 향후 과제 (Limitations and Future Work)
저자들은 작은 표본 크기($n=14$)와 자기 보고식 데이터에 대한 의존성(응답 편향을 초래할 수 있음)으로 인해 이러한 결과가 제한적이라는 점을 명시적으로 언급하였다. 결과는 확정적인 증거라기보다 예비적인 증거로 제시되었다. 향-후 연구로는 표본 크기를 확대하고, 고성과 학생들의 AI 상호작용을 이해하기 위해 프롬프트 로그를 분석하며, 구술 시험이나 개인화된 AI 생성 퀴즈 질문과 같은 대안적인 검증 방법을 탐구하는 것이 제안되었다.