Not All Students Engage Alike: Multi-Institution Patterns in GenAI Tutor Use

기술 요약: 모든 학생이 동일하게 참여하는 것은 아니다: GenAI 튜터 사용의 다기관 패턴

문제 제기
생성형 인공지능(GenAI) 튜터의 고등 교육 내 급격한 통합은 확장 가능하고 개별화된 학습 지원을 제공한다. 그러나 비판적인 우려가 지속되고 있다: 학생들이 진정한 학습을 우회하여 인지적 지름길을 찾거나 답을 복사하여 붙여넣는 등의 방식으로 이러한 도구에 참여할 수 있다는 점이다. 더욱이, 기존 문헌은 학습 참여 패턴이 교수 맥락(예: 기관의 선발도 및 교과목 분야)에 따라 크게 다를 수 있음을 시사하며, 이는 교육적 불평등을 심화시킬 잠재력이 있다. 이전 연구들이 높은 채택률을 기록하고 질적인 사용 차이를 식별해 왔으나, 대개 단일 기관이나 특정 STEM(과학·기술·공학·수학) 과목에 국한되어 있다. 학생들이 시간이 경과함에 따라 GenAI 튜터와 어떻게 상호작용하는지, 이러한 상호작용이 어떻게 진화하는지, 그리고 다양한 교육 환경 간에 어떻게 다른지에 대한 대규모의 다기관 증거가 부족한 실정이다.

연구 방법론
본 연구는 GenAI 튜터가 통합된 상용 학습 관리 시스템(LMS)의 익명화된 상호작용 로그를 조사하기 위해 2단계 분석 파이프라인을 활용한다. 데이터셋은 2025년 봄 학기 동안 10개 대학(3개의 고선발 대학 포함)의 200개 수업에서 11,406명의 학생으로부터 수집된 기록으로 구성된다.

1. 데이터 전처리 및 세션 분할:

   • 원시 상호작용 로그는 하이브리드 접근 방식(15분간의 비활성 임계값 기반 시간 알고리즘 및 LLM을 사용하여 의미론적 콘텐츠를 분석하는 주제 기반 알고리즘)을 사용하여 이산적인 "대화 세션"으로 분할되었다. 이 과정을 통해 113,255개의 대화 세션이 생성되었다.
   • 세그멘테이션은 특정 학습 활동(예: 퀴즈 문제)의 로그 서브셋에 대해 검증되었으며, F1-점수 0.9를 달려 성취하였다.

2. 특징 공학(Feature Engineering):

   • 세 가지 차원에 걸쳐 세션을 특징짓기 위해 10개의 특징이 설계되었다:
     • 행동적(Behavioral): 대화 턴 수, 턴당 평균 소요 시간, 턴당 평균 단어 수.
     • 인지적(Cognitive): 복사-붙여넣기 이벤트 수(이미지 업로드, 특정 키워드 및 구조화된 텍스트 패턴을 통해 추론), 직접적인 답변 요청 수, 이해 중심 질의 수.
     • 시간적(Temporal): 주차 진행도, 시험 기간 지표, 시간대, 수업 중 여부.

3. 분석 파이프라인:

   • 1단계 (세션 수준 클러스터링): 세션 수준 특징에 대해 K-평균 클러스터링(PCA 차원 축소 적용)을 적용하여 뚜렷한 참여 유형을 식별하였다. 강건성 검사를 통해 결과 클러스터의 안정성을 확인하였다.
   • 2단계 (학생 수준 프로세스 마이닝): 개인별로 시간에 따른 참여 유형 간의 전이 확률을 분석하기 위해 1차 마르코프 모델(First-Order Markov Model, FOMM)을 채택하였다. 이를 통해 종단적 참여 패턴을 특징지을 수 있었다.
   • 맥락 분석: 선형 회귀 모델과 비교 프로세스 마이닝을 사용하여 기관의 선발도 및 교과 영역(STEM vs. 비-STEM)에 따른 변동을 평가하였다.

주요 결과

• 채택 및 사용 강도: 60.8%의 학생이 GenAI 튜터를 적어도 한 번 이상 사용하였다. 사용 강도(세션 수)는 전체 활성 사용자 수가 감소함에도 불구하고 학기 동안 꾸준히 증가하였으며, 이는 일부 학생들에 의한 집중적인 사용으로의 전환을 나타낸다. STEM 학생들은 비-STEM 학생들에 비해 도구 채택률이 유의미하게 낮았고 세션 수도 적었다. 기관의 선발도는 채택률이나 전반적인 사용 강도를 유의미하게 예측하지 않았다.

• 네 가지 뚜렷한 세션 수준 참여 유형:

  1. 심층 참여 (14.0%): 높은 행동적 및 인지적 참여(많은 턴, 긴 지속 시간, 높은 단어 수, 이해 중심 질의)가 특징이다. 학기 전반에 걸쳐 고르게 분포되어 있다.
  2. 얕은 참여 (10.4%): 적은 턴 수, 짧은 지속 시간, 낮은 단어 수, 그리고 복사-붙여넣기 및 직접 답변 요청의 높은 빈도가 특징이다. 학기 전반에 걸쳐 고르게 분포되어 있다.
  3. 루틴 학습 참여 (44.5%): 주로 주간 시간대와 학기 전반부에 발생하였다. 중간 정도의 단어 수와 이해 중심 질의를 포함하며, 이는 정규 수업 활동과의 연결을 시사한다.
  4. 시험 주도 참여 (31.2%): 학기 마지막 몇 주에 집중되었다. 최소한의 복사-붙여넣기를 동반한 짧은 세션이 특징이며, 이는 숙제용 지름길보다는 진정한 시험 준비를 위한 사용을 시사한다.

• 학생 수준 전이 패턴:

  • 심층 참여 사이클: 이 사이클의 학생들은 심층, 루틴, 시험 주도 참여 사이를 빈번하게 전이하지만, 얕은 참여로 전환되는 경우는 드물다.
  • 얕은 참여 사이클: 이들은 다른 유형으로의 매우 제한적인 전이와 함께 얕은 참여 상태에 머무는 경향이 있다.
  • 루틴 및 시험 사이클: 루틴 학습자는 심층 참여로 전이하는 경우가 많으며, 시험 주도 사용자는 가끔 심층 참여로 전이한다.

• 맥락적 변이:

  • 기관 선발도: 고선발 기관의 학생들은 저선발 기관에 비해 심층 및 루틴 학습 참여의 비율이 유의미하게 높고, 시험 주도 참여의 비율은 낮았다. 또한, 고선발 기관 학생들은 참여 유형 간에 더 유연하게 전이하는 경향이 있는 반면, 저선발 기관 학생들은 얕은 참여 또는 시험 주도 사이클에 머무는 경향이 더 높았다.
  • 교과 영역: STEM 과정은 얕은 참여와 루틴 학습 참여의 비율이 높았고, 비-STEM 과정은 시험 주도 참여가 더 높았다. STEM에서는 얕은 참여가 주로 루틴 학습과 연관되어 빠르게 종료되었으나, 비-STEM에서는 시험 준비와 더 많이 연관되어 지속되는 양상을 보였다.

주요 기여

1. 대규모 실증적 증거: 본 연구는 단일 과정이나 단일 기관 사례 연구를 넘어 기관 및 학문적 맥락에 따른 체계적인 변이를 밝혀냄으로써, GenAI 튜터 참여에 대한 최초의 대규모 다기관 분석을 제공한다.
2. 분석 프레임워크: 저자들은 세션 수준의 클러스터링과 학생 수준의 프로세스 마이닝을 결합한 2단계 학습 분석 프레임워크를 제안한다. 이 접근법은 개별 상호작용의 질적인 성격과 학생 행동의 역동적인 진화를 효과적으로 포착한다.
3. 참여에 대한 미묘한 이해: 본 연구는 GenAI 사용을 '학습 대 부정행위'라는 이분법적 관점으로 보는 것에 도전한다. 연구는 "얕은" 행동(복사-붙여넣기와 같은)이 지배적인 사용 모드가 아니며, 고위험 시험 준비 기간에는 덜 빈번하다는 것을 입증한다. 대신, 참여는 심층, 루틴, 시험 주도 행동의 이질적인 혼합체임을 보여준다.

의의 및 주장
본 논문은 GenAI 채택의 주요 형평성 과제가 접근성이나 사용 강도가 아니라, 학생들이 도구를 어떻게 사용하는가에 있을 수 있다고 주장한다. 연구 결과는 고선발 기관의 학생들이 GenAI를 심층적이고 루틴한 학습 과정에 통합할 가능성이 높은 반면, 저선발 기관의 학생들은 얕은 참여나 시험 벼락치기 사이클에 갇히기 쉬울 수 있음을 시사한다. 이러한 격차는 자기 조절 학습 능력의 차이와 관련이 있을 수 있다.

저자들은 GenAI 튜터가 "원 사이즈 핏 올(one-size-fits-all)" 솔루션이 아니라고 주장한다. STEM과 비-STEM 교과 간의 유의미한 참여 패턴 차이는 이러한 도구의 효과성이 학문적 교수 설계 및 평가 구조에 크게 의존함을 나타낸다. 따라서 저자들은 단순히 접근성에 집중하기보다 생산적인 참여를 지원하는 학문별 민감한 설계와 제도적 규제를 옹호한다. 본 연구는 참여의 질과 궤적을 이해하는 것이 교육 분야에서 GenAI를 책임감 있게 확장하는 데 필수적이라고 결론짓는다.