From Partial Correctness to Completion: Predicting Learners’ Early Success in Programming Practice

당신이 친구가 까다로운 퍼즐을 풀려고 애쓰는 모습을 지켜보고 있다고 상상해 보세요. 옛날에는 선생님이 오직 최종 순간만을 신경 썼을지도 모릅니다. 퍼즐을 완성했는지, 아니면 포기했는지 말이죠. 그것은 단순한 "예" 또는 "아니오"의 답변입니다. 하지만 컴퓨터 프로그래밍의 세계에서 학습은 시행착오로 점철된 길고도 무질서한 여정과 같습니다. 학생들은 코드를 작성하고, 컴퓨터는 "틀렸다"라고 말하며, 학생은 아주 작은 실수를 수정하고, 컴퓨터는 "또 틀렸지만, 이전보다는 나아졌다"라고 말합니다. 그리고 그들은 마침내 정답을 맞힐 때까지 계속 시도합니다. 이 과정은 "온라인 저지(Online Judge)"라고 불리는 특별한 웹사이트에서 일어나는데, 이곳은 학생이 시도하는 모든 기록을 기록하는 거대한 자동 채점 기계 역할을 합니다.

연구자들이 던지는 핵심 질문은 이것입니다. 우리는 학생의 무질서한 중간 시도들을 보고, 그들이 곧 성공할 것인지, 아니면 실패의 굴레에 갇혀 있는 것인지를 예측할 수 있을까? 이것은 마치 농구 선수가 슛을 놓치는 것을 지켜보는 코치와 같습니다. 만약 선수가 아주 미세한 차이로 빗나가고 있고 자세가 개선되고 있다면, 코치는 곧 득점이 나올 것임을 압니다. 하지만 선수가 엉뚱한 곳으로 공을 날리며 좌절하고 있다면, 그에게는 도움이 필요할 것입니다. 이 논문은 바로 그 아이디어를 깊이 파고들어, 현재의 고군분투를 바탕으로 학생의 미래 성공을 예측하는 가장 좋은 방법을 찾고자 하며, 수학과 컴퓨터 모델을 사용하여 "거의 다 왔다"와 "막혔다" 사이의 차이를 식별해 냅니다.

---

논문: 눈 깜짝할 사이에 "틀림"에서 "맞음"으로

이 연구는 학생들이 수백 개의 문제를 풀며 코딩을 연습하는 거대한 디지털 놀이터인 **Aizu Online Judge (AOJ)**를 배경으로 한 탐정 소설과 같습니다. 연구진(아이즈 대학교와 노터데어 대학교 팀)은 특정한 미스터리를 해결하고자 했습니다: 학생이 현재 어떻게 실패하고 있는지를 살펴봄으로써, 다음 몇 번의 시도 안에 코딩 문제를 해결할 것인지 예측할 수 있을까?

이를 위해 그들은 단순히 최종 결과(해결함 vs 해결하지 못함)만을 보지 않았습니다. 대신, 그들은 학생의 진전 과정을 세 가지 다른 방식으로 기술하는 방법을 테스트했습니다. 이는 마치 러너의 경주를 세 가지 다른 방식으로 묘사하는 것과 같습니다:

1. "이진적(Binary)" 관점 (과거의 방식): 이것은 가장 단순한 관점입니다. 오직 두 가지만을 봅니다: 학생이 맞혔는가? 예 또는 아니오. 그 사이의 모든 과정은 무시합니다. 이는 당신이 달리고 있는지 기어가는지는 상관하지 않고, 오직 결승선을 통과했는지만 신경 쓰는 코치와 같습니다.
2. "서수적(Ordinal)" 관점 (순위 방식): 이것은 조금 더 낫습니다. 학생의 시도를 "완전히 틀림"에서부터 "거의 맞음"까지 순위를 매깁니다. 이는 "이번에는 빗나갔지만, 지난번보다는 가까웠다"라고 말하는 것과 같습니다. 약간의 디테일을 제공하지만, 여전히 단계들을 그저 사다리의 층계처럼 취급합니다.
3. "부분 정답 및 진전(Partial-Correctness & Progress)" 관점 (새롭고 매우 상세한 방식): 이것이 주인공입니다. 이 방식은 각 시도에서 학생이 문제의 얼마나 많은 부분을 해결했는지(예: 테스트 케이스의 40%를 맞힘)를 살펴보고, 결정적으로, 매 시도마다 나아지고 있는지를 확인합니다. 또한 "이득(gain)"을 추적합니다. 즉, 지난 시도에 비해 개선되었는가를 보는 것입니다. 이는 코치가 당신이 바스켓에 더 가까워졌다는 것뿐만 아니라, 점프 높이가 높아지고 조준이 안정되고 있다는 사실까지 알아차리는 것과 같습니다.

거대한 실험

연구진은 "알고리즘 및 자료 구조 I (ALDS1)"이라는 강의에서 얻은 295,000개 이상의 방대한 코딩 시도 데이터와 "계산 기하학 (CGL)" 강의에서 얻은 더 작은 데이터 세트를 가져왔습니다. 그들은 이 데이터를 Random Forest라는 유명한 모델을 포함한 6가지 서로 다른 컴퓨터 뇌 모델(머신러닝 알고리즘)에 입력하여, 학생의 진전을 설명하는 세 가지 방식 중 어떤 것이 미래를 예측하는 데 가장 효과적인지 테스트했습니다.

연구 결과

결과는 명확하고 일관되었습니다. 새롭고 상세한 **"부분 정답 및 진전" 관점 (M3)**이 승리했으며, 다른 두 가지 방식을 매번 제쳤습니다.

• 점수: 가장 좋은 모델(Random Forest)을 사용했을 때, 새로운 방식은 75.39%의 PR-AUC를 달성했습니다. 이는 모델이 "성공" 사례를 얼마나 잘 찾아내는지를 측정하는 멋진 점수입니다.
• 비교: 이는 상당한 도약이었습니다. 기존의 "이진적" 방식은 **70.99%**에 그쳤고, "서수적" 방식은 **71.21%**를 기록했습니다.
• 개선 정도: 새로운 방식은 이진적 방식보다 약 6.63%, 서수적 방식보다 약 6.78% 더 높은 정확도를 보였습니다.

더 쉽게 말하자면, 학생들이 어떻게 실패하고 있는지, 그리고 어떻게 개선되고 있는지를 주목함으로써, 컴퓨터는 단순히 결국에 맞혔는지 틀렸는지를 기다릴 때보다 훨씬 더 정확하게 성공을 예측할 수 있었습니다.

왜 중요한가: "위험 그룹"

연구진은 점수 측정에서 멈추지 않고, 자신들의 승리 모델을 사용하여 학생들을 세 가지 "위험 그룹"으로 분류하여 이것이 실제 세상에서 통하는지 확인했습니다:

• 저위험(Low-Risk): 이 학생들은 곧 문제를 해결할 것이 거의 확실합니다.
• 중위험(Moderate-Risk): 이들은 중간 단계에 있으며, 고군분투하고 있지만 진전을 보이고 있습니다.
• 고위험(High-Risk): 이들은 계속 실패할 가능성이 높습니다.

놀라운 점은, 새로운 방식이 이 그룹들 사이를 가장 명확하게 구분해 냈다는 것입니다. "저위험" 그룹(성공률 71.20%)과 "고위험" 그룹(성공률 24.06%) 사이의 성공률 차이는 매우 컸습니다. 기존 방식들은 이 그룹들을 그렇게 명확하게 분리해 내지 못했습니다.

이는 새로운 방식이 스마트한 조기 경보 시스템 역할을 할 수 있음을 시사합니다. 만약 교사가 학생이 "고위험" 영역에 있다는 것을 알게 된다면, 학생이 좌절하기 전에 힌트를 주거나 더 쉬운 문제를 제시해야 한다는 것을 알 수 있습니다. 만약 학생이 "저위험" 상태라면, 교사는 학생이 계속 진행하도록 두거나 혹은 더 어려운 과제를 줄 수 있습니다.

결론

이 논문은 프로그래밍 교육에서 어떻게 실패하느냐가 성공하느냐만큼이나 중요하다는 점을 시사합니다. 학생들의 미세한 개선 사항과 구체적인 오류 유형을 추적함으로써, 우리는 그들의 학습을 도울 수 있는 더 나은 도구를 만들 수 있습니다. 이 연구는 학생의 시도에서 "부분 정답"과 "진전"을 살펴보는 것이, 단순히 최종적인 "통과(Pass)" 또는 "실패(Fail)" 버튼을 보는 것보다 미래의 성공을 예측하는 데 훨씬 더 명확한 수정구슬을 제공한다는 것을 입증했습니다. 이것은 무질서한 디버깅 과정을 학습을 위한 로드맵으로 바꿔 놓습니다.