Is Solving Better Than Evaluating GenAI Solutions?

문제 정의
생성형 AI(GenAI)와 대규모 언어 모델(LLM)의 급격한 발전은 컴퓨팅 교육, 특히 알고리즘과 같은 상위 단계의 이론 중심 과목의 지형을 근본적으로 변화시켰습니다. LLM은 구문론적으로 올바른 코드를 생성하고 많은 기초적인 문제를 해결할 수 있지만, 커리큘럼을 어떻게 조정해야 하는지에 대한 교육학적 논쟁이 커지고 있습니다. 본 연구가 다루는 핵심 질문은 학생의 역할을 '솔루션 생성'에서 '솔루션 평가'로 전환하는 것—즉, 학생들이 흔히 결함이 있는 GenAI 생성 솔루션을 채점하고 비평하게 하는 것—이 전통적인 문제 풀이 방식에 비해 개념적 이해와 학습 성과를 개선할 수 있는지 여부입니다. 기존 문헌은 주로 LLM의 능력이나 학생들의 인식에 초점을 맞추고 있으며, 추상화와 증명 중심의 사고가 핵심인 포스트-입문(post-introductory) 과정에서의 학습 성과에 관한 통제된 실증적 증거는 부족한 실정입니다.

연구 방법론
저자들은 2025년 봄 학기 퍼듀 대학교(Purdue University)의 3학년 대상 "알고리즘 분석 입문" 과목에서 무작위 A/B 교차 설계(N=220)를 실시했습니다.

• 실험 설계: 학생들을 작업 그룹으로 나누고 "몬테카를로(Monte Carlo)"(그룹 B) 또는 "라스베이거스(Las Vegas)"(그룹 A) 조건 중 하나에 무작위로 배정했습니다. 연구는 그룹이 학기 중간에 조건을 교체하는 교차 설계(crossover design)를 활용했습니다.
  • 조건 A (GenAI 평가): 학생들에게 ChatGPT-4o를 사용하여 솔루션을 생성하기 위한 표준화된 프롬프트를 제공했습니다. 학생들의 과업은 생성된 솔루션을 평가하여 오류를 식별 및 설명하고(사소한 버그와 주요 논리적 결함을 구분), 채점 근거를 제시하는 것이었습니다. 이들은 수정된 솔루션을 직접 제공할 필요는 없었습니다.
  • 조건 B (전통적 문제 풀이): 학생들은 직접 알고리즘을 설계하고, 정당성을 증명하며, 실행 시간을 분석하는 과정을 포함하여 동일하게 도전적인 알고리즘 문제를 직접 해결했습니다.
• 개입 범위: 이 개입은 6개의 숙제 과제 중 네 번째이자 가장 어려운 연습 문제에 적용되었습니다. 각 과제의 처음 세 가지 연습 문제는 모든 학생에게 동일한 전통적인 문제였습니다.
• 데이터 수집: 연구에서는 다음 항목을 측정했습니다:
  1. 총괄적 성취도(Summative Performance): 중간고사 및 기말고사 점수, 전체 과목 성적, 그리고 숙제 개입과 구조적으로 일치하도록 설계된 특정 시험 문제의 성적.
  2. 숙제 성적: 특정 GenAI 평가 대 직접 솔루션 생성 연습 문제에 대한 점수.
  3. 자기 보고 데이터: 중간고사 전의 편안함/자신감에 대한 설문 조사 및 기말고사 후의 인지된 유용성 및 학습 습관 변화에 대한 설문 조사.
• 분석: 저자들은 정규성, 등분산성 검정을 포함한 가정 검토, 모수적(t-test) 및 비모수적(Mann-Whitney U, Wilcoxon signed-rank) 검정, 그리고 효과 크기 계산(Cohen's d, rank-biserial r)을 포함한 엄격한 통계 분석을 수행했습니다.

주요 결과
본 연구는 교육 도구로서 GenAI 평가의 효능에 대해 다음과 같은 몇 가지 결정적인 발견을 제시했습니다:

1. 총괄적 학습에서의 차이 없음: 중간고사 점수, 기말고사 점수, 전체 과목 성적 또는 시험 성적의 정규화된 변화량에서 두 그룹 간에 통계적으로 유의미한 차이가 없었습니다.
2. 전이(Transfer)에서의 차이 없음: GenAI 기반 과제에서 강조된 개념적 통찰력을 테스트하도록 특별히 설계된 시험 문제의 성적에서도, 이전에 AI 솔루션을 평가했던 학생들과 직접 문제를 풀었던 학생들 사이에 유의미한 차이가 나타나지 않았습니다.
3. 숙제 점수의 격차: 학생들은 직접 문제를 풀 때보다 GenAI 솔루션을 평가하는 기간 동안 숙제 항목에서 유의미하게 높은 점수를 받았습니다. 그러나 저자들은 이러한 국지적인 이점이 하위 단계의 총괄적 성과로 이어지지는 않았다는 점에 주목했습니다.
4. 학습 습관 및 인식:
   • 대부분의 학생(77%)은 수정된 과제가 자신의 학습 습관을 바꾸지 않았다고 보고했습니다.
   • 학습 전략을 변경했다고 보고한 소수의 학생들 사이에서, GenAI 평가 과제를 더 유용하다고 평가한 비율이 그렇지 않은 경우보다 유의미하게 높았습니다.
   • 중간고사 전 인지된 유용성이나 자기 보고된 자신감에 있어서 그룹 간 유의미한 차이는 없었습니다.

주요 기여

• 상위 단계 과정에서의 실증적 증거: 본 연구는 LLM의 능력 벤치마크나 기초 프로그래밍에 집중하는 것을 넘어, 이론 중심의 상위 단계 알고리즘 과정에서 GenAI가 미치는 영향에 대한 드문 통제된 실증적 증거를 제공합니다.
• 노력의 재배치: 연구 결과는 GenAI 평가 과제가 학생의 노력을 개방형 솔루션 구축에서 검증, 진단 및 판단으로 재배치한다는 것을 시사합니다.
• 손실 없는 실행 가능성: 본 연구는 GenAI 평가 활동을 알고리즘 과정에 통합하는 것이 기초 역량을 유지하는 측면에서 전통적인 문제 풀이의 실행 가능한 대안임을 입증하며, 광범위한 성과 저하를 초래하지 않음을 보여줍니다.
• 단순 평가의 한계: 본 연구는 단순히 AI 솔루션을 "채점"하도록 요청하는 것만으로는 자동으로 더 강력한 개념적 전이나 학습 효과를 만들어내기에 불충분하다는 점을 시사합니다.

의의 및 주장
저자들은 GenAI 평가 활동을 알고리즘 과정에 포함할 수는 있지만, 이것이 반드시 전통적인 문제 풀이보다 우월한 학습 성과를 보장하는 것은 아니라고 결론짓습니다. 본 논문은 이러한 활동의 교육적 가치가 단순한 오류 진단을 넘어설 수 있도록 하는 **의도적인 스캐폴딩(scaffolding, 단계적 학습 지원)**에 달려 있다고 주장합니다.

저자들은 향로의 과제가 의미 있는 학습 성과를 창출하기 위해서는 다음과 같은 사항을 요구해야 한다고 제언합니다:

• 논증의 첫 번째 무효한 단계를 식별할 것.
• 제안된 알고리즘이 실패하는 반례(counterexample)를 구성할 것.
• 수정된 알고리즘이나 불변량(invariant)을 제안할 것.
• 수정된 솔루션이 왜 작동하는지 설명할 것.

본 연구는 AI 생성 콘텐츠의 존재 자체가 학습의 동인이 아니라, 평가 과제의 구체적인 설계가 그 효과를 결정한다는 점을 강조합니다. 저자들은 어떤 형태의 스캐폴딩이 이러한 활동을 가장 효과적으로 만드는지 조사하고, 검증, 비평, 그리고 AI에 대한 교정된 신뢰(calibrated reliance)와 같은 역량을 위한 검증된 평가 도구를 개발할 것을 향후 연구 과제로 제시합니다.