Patterns of Learner-AI Interaction and Academic Performance in an Object-Oriented Programming Course

기술 요약: 객체 지향 프로그래밍 과정에서의 학습자-AI 상호작용 패턴과 학업 성취도

문제 제기
생성형 인공지능(GenAI) 도구의 컴퓨터 과학 교육 내 급격한 통합은 그 교육적 영향에 관한 실증적 근거가 혼재된 복잡한 지형을 만들어냈다. 일부 연구는 AI 어시스턴트가 성과와 자기 효능감을 향상시킨다고 제안하는 반면, 다른 연구들은 학생들이 개념적 이해보다는 직접적인 해답을 얻기 위해 AI에 의존할 경우 문제 해결 능력 발달을 저해하거나 낮은 결과로 이어질 수 있음을 시사한다. 특히, 학생들이 자주 어려움을 겪는 컴퓨터 과학 교육의 임계 개념(threshold concept)인 객체 지향 프로그래밍(OOP) 분야에서는 관련 문헌의 공백이 존재한다. OOP 과정의 보편성에도 불구하고, 학생들이 이 맥脈락에서 GenAI 도구를 구체적으로 어떻게 통합하여 사용하는지, 또는 서로 다른 상호작용 패턴이 학습 결과와 어떻게 상관관계를 갖는지 조사한 연구는 드물다. 현재의 연구들은 미세한 행동 패턴을 분석하기보다는 이진적 비교(AI 사용 여부)에 의존하는 경향이 있다.

연구 방법론
본 연구는 타르투 대학교(University of Tartu)의 1학년 객체 지향 프로그래밍(Java) 과정을 대상으로 학습자 중심의 관찰적 접근 방식을 채택하였다. 해당 과정은 플립드 러닝(flipped-classroom) 모델을 활용하였으며, 과제 및 그룹 과제에는 GenAI 사용을 허용했으나 평가 중에는 엄격히 금지하였다.

• 표본: 2024/2025 학년도 봄 학기 동안 학부생 210명(전체 코호트의 66.5%)으로부터 데이터를 수집하였다.
• 데이터 수집: 11주 차에 실시된 설문조사를 통해 세 가지 차원(코드 생성, 디버깅(버그 식별), 설명 요청)에 걸친 GenAI 사용 빈도의 자기 보고 데이터를 수집하였다. 또한 리커트 척도 항목을 통해 인지된 난이도, 자기 평가 이해도, 시간 투자, 그리고 AI에 대한 태도(예: 신뢰도, 윤리적 규범)를 측정하였다. 성적 데이터(두 차례의 프로그래밍 테스트, 기말고사, 총점)를 설문 응답과 연계하였다.
• 분석:
  • 기술 및 상관 분석: 비모수 검정(Friedman, Wilcoxon)을 사용하여 사용 빈도를 분석하였다. 스피어먼 서열 상관 계수(Spearman's rank-order correlation)를 통해 사용 빈도와 학업 성취도 간의 관계를 평가하였다.
  • 군집 분석: 표준화된 사용 지표에 K-평균 군집화(K-means clustering)를 적용하여 구별되는 학습자-AI 상호작용 프로파일을 식별하였다. 최적의 군집 수는 실루엣 점수(silhouette scores)와 관성(inertia)을 사용하여 결정되었다.
  • 비교 분석: Kruskal–Wallis 및 Mann–Whitney U 검정을 통해 각 군집 간의 인구통계학적 변수, 인식, 태도 및 평가 점수를 비교하였다.

주요 기여

1. 상호작용 프로파일 식별: 본 연구는 총체적인 사용량 지표를 넘어 다섯 가지의 구별되는 학습자-AI 상호작용 프로파일(사용 없음, 낮은 사용, 중간 사용, "스마트" 높은 사용, 매우 높은 사용)을 정의함으로써 단순한 사용량 측정을 넘어선 분석을 수행하였다.
2. 사용 사례의 차별화: 본 연구는 OOP 맥락에서 학생들이 주로 코드 생성보다는 설명 요청과 디버깅을 위해 GenAI를 사용한다는 점을 강조하며, 학생들이 주로 솔루션 생성을 위해 AI에 의존할 것이라는 가설에 도전한다.
3. 성과와의 실증적 연결: 본 연구는 현재 문헌에 존재하는 OOP 특화 연구의 부족을 메우며, 특정 상호작용 패턴과 AI가 배제된 평가에서의 학업 성취도 사이의 관계에 대한 증거를 제공한다.

결과

• 사용 패턴: 응답자의 87.1%가 GenAI 도구를 최소 한 번 이상 사용하였다. 사용 양상은 코드 생성보다 설명 요청 및 디버깅에서 유의미하게 높게 나타났다.
• 군집 특성:
  • "스마트" 높은 사용 군집(n=32)은 코드 생성에 대한 의존도는 낮으나 디버깅 및 설명에 대한 사용은 높은 특징을 보였다.
  • 매우 높은 사용 군집(n=37)은 세 가지 차원 모두에서 일관되게 높은 참여도를 보였다.
  • 성별 차이는 Zero usage(사용 없음) 군집에서만 관찰되었으며, 이 군집은 남성 참가자의 비율이 유의미하게 높았다.
• 인식 및 태도:
  • 매우 높은 사용 군집의 학생들은 Zero usage 군집에 비해 과제의 인지된 난이도가 높고 자기 평가 이해도가 낮았다.
  • "스마트" 높은 사용 군집은 AI 생성 코드에 대한 가장 높은 신뢰도를 보고하였다.
  • 규범 관련 태도(금지된 상황에서의 AI 사용 의지)는 군집별로 달랐으며, 고빈도 사용자들은 동료들이 하고 있다면 제한 사항을 우회하려는 의지가 더 높았다.
• 학업 성취도: 결정적으로, 다섯 개 군집 간의 학업 성취도(테스트 1, 테스트 2, 기말고사, 총점)에서 유의미한 차이가 발견되지 않았다. 사용 패턴은 인지된 난이도 및 신뢰도와 상관관계가 있었으나, AI가 배제된 평가에서 측정 가능한 학습 이득이나 손실을 예측하지는 못했다.
• 상관관계: AI 사용 빈도와 평가 점수 사이에 약한 부적 상관관계가 발견되었으나, 이는 결정적인 인과 관계를 시사할 만큼 강력하거나 일관적이지 않았다.

의의 및 주장
본 논문은 자기 주도적인 GenAI 사용 그 자체만으로는 OOP 과정에서 측정 가능한 학습 이득을 가져오거나 평가 결과를 저해하지 않는다고 주장한다. 연구 결과는 AI 사용과 학습 결과 사이의 관계가 복잡하며 맥락 의존적임을 시사한다.

• 교육적 시사점: 본 연구는 단순히 AI 접근을 허용하는 것만으로는 학습 개선에 충분하지 않다는 점을 강조한다. 구성적 참여(설명 요청 및 디버깅)와 일치하는 "스마트" 높은 사용 패턴조차 더 높은 성적을 가져오지는 못했다. 이는 교육적으로 가이드된, 프로세스 인지적 지원이 없다면 전략적인 AI 사용조차 독립적인 문제 해결 능력의 향상으로 이어지지 않을 수 있음을 시사한다.
• 향후 방향: 저자들은 이진적 비교에서 패턴 수준의 분석으로 전환할 것을 주장한다. 이들은 단순한 과업 중심적 상호작용에 의존하기보다, AI 출력물에 대한 비판적 평가, 문제 해결 과정에 대한 성찰, 그리고 인지 부하를 관리하기 위한 스캐폴딩(scaffolding)을 촉진하는 교수법적 프레임워크가 필요함을 강조한다.
• 한론: 저자들은 자기 보고 데이터에 의존함에 따라 참여의 깊이를 평가하는 데 한계가 있으며, 관찰적 연구의 특성상 인과 관계를 주장할 수 없음을 겸허히 밝히고 있다. 본 연구의 결과는 특정 교과 과정 맥락에 국속되어 있으므로, 추가 연구 없이는 모든 교육 환경으로 일반화하기 어려울 수 있다.