The StudyChat Dataset: Analyzing Student Dialogues With ChatGPT in an Artificial Intelligence Course

이 논문은 AI 수업에서 ChatGPT 와 같은 대형 언어 모델 (LLM) 을 활용한 학생들의 실제 대화 데이터를 수집·분석한 'StudyChat' 데이터셋을 소개하며, 개념 이해와 코딩 지원을 위해 LLM 을 사용한 학생이 좋은 성적을 거둔 반면 과제를 우회하는 용도로 사용한 학생은 성적이 낮았음을 규명했습니다.

핵심

🎓 "스터디챗" 연구: 학생들이 ChatGPT 와 어떻게 대화하는지, 그리고 그 결과가 성적에 미치는 영향

이 논문은 미국 매사추세츠 대학교 (UMass) 의 연구팀이 인공지능 (AI) 강의를 듣는 대학생 200 여 명을 대상으로 한 흥미로운 실험 결과를 담고 있습니다. 마치 실제 교실 안에서 학생들과 AI 튜터가 나눈 1 만 6 천 건 이상의 대화를 녹음하고 분석한 거대한 데이터베이스를 공개한 셈이죠.

이 연구의 핵심 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 실험실은 어디였나요? (배경)

상상해 보세요. 거대한 도서관이 있습니다. 이 도서관에는 학생들에게 숙제를 도와주는 **초지능 AI 비서 (ChatGPT)**가 상주하고 있어요. 교수님은 "이 비서는 네가 원할 때 언제든, 어떤 방식으로든 사용해도 돼. 성적에는 전혀 영향이 없어. 그냥 네가 편한 대로 써!"라고 말했습니다.

연구팀은 이 도서관에서 학생들과 AI 비서가 나눈 모든 대화 내용을 기록했습니다. 총 1 만 6,851 개의 대화가 기록되었는데, 이는 마치 수천 권의 일기장을 읽는 것과 같습니다.

2. 무엇을 발견했나요? (핵심 분석)

연구팀은 이 일기장들을 분석하기 위해 대화 내용을 5 가지 주요 카테고리로 나누어 분류했습니다. 마치 요리 재료를 분류하듯 말이에요.

• 🍳 요리 레시피 요청 (코드 작성): "이 프로그램 코드를 써줘."
• 📚 개념 설명 요청 (이해): "이게 무슨 뜻이야? 원리를 알려줘."
• 🔍 오류 수정 요청 (디버깅): "왜 이 오류가 뜨는 거야?"
• 📝 보고서 작성 요청 (작성): "이걸 바탕으로 보고서 초안 써줘."
• 💬 잡담 (오프 토픽): "안녕, 오늘 날씨 어때?"

이제 이 재료들을 어떻게 사용하느냐에 따라 **요리 결과 (성적)**가 어떻게 달라지는지 살펴봤습니다.

✅ 좋은 결과: "이해하는 요리사"

"왜?"와 "어떻게?"를 묻는 학생들은 성적이 좋았습니다.

• 비유: 이 학생들은 AI 를 마스터 셰프처럼 사용했습니다. "이 재료를 왜 이렇게 섞어야 하지?"라고 물어보며 **요리 원리 (개념)**를 배우고, "이 코드가 왜 안 돌아가지?"라고 물어보며 문제 해결 능력을 키웠습니다.
• 결과: 시험을 볼 때 스스로 요리를 할 수 있어 성적이 높았습니다.

❌ 나쁜 결과: "대리 요리사"

"다 만들어줘"라고 요청하는 학생들은 성적이 낮았습니다.

• 비유: 이 학생들은 AI 를 배달 서비스처럼 사용했습니다. "이 숙제 다 해줘, 보고서도 써줘"라고 시켰습니다. AI 가 요리를 다 해주니 학생은 맛을 보지도, 요리법도 배우지 못했습니다.
• 결과: 시험 시간에는 배달이 오지 않으니, 스스로 요리를 할 수 없어 성적이 떨어졌습니다. 특히 수학 공식이나 복잡한 원리를 AI 에게 의존한 학생들은 오히려 잘못된 정보를 믿고 틀린 답을 내기도 했습니다.

3. 흥미로운 통계 (데이터가 말해주는 이야기)

• 사용량과 성적의 관계:

  • AI 를 아예 안 쓰거나 아주 적게 쓰는 학생들과, 너무 많이 쓰는 학생들의 평균 성적은 비슷했습니다.
  • 하지만 너무 많이 쓰는 학생들은 성적의 편차 (격차) 가 매우 작았습니다. 즉, 성적이 매우 낮아지는 경우가 거의 없었고, 일정 수준 이상은 유지했습니다. 마치 AI 라는 안전장치를 붙인 자전거를 탄 것처럼 넘어지지 않는 거죠.
  • 반면, 적게 쓰는 학생들은 성적이 매우 높거나 매우 낮은 양극화가 심했습니다.

• 클러스터링 (학생 유형 분류):
  연구팀은 학생들을 4 가지 유형으로 묶어봤습니다.

  1. 코드 작성자: 코드를 직접 짜달라고 많이 요청 (성적 좋음).
  2. 질문왕: 개념과 원리를 많이 물어봄 (성적 가장 좋음).
  3. 일반 질문자: 다양한 주제를 물어봄.
  4. 보고서 작성자: AI 에게 보고서와 글을 다 써달라고 요청 (성적 상대적으로 낮음).

4. 이 연구가 우리에게 주는 교훈

이 연구는 **"AI 는 도구일 뿐, 그 도구를 어떻게 쓰느냐가 중요하다"**는 것을 보여줍니다.

• 스스로 배우는 도구: AI 를 **스승 (Tutor)**처럼 쓰면 (질문하고 이해하기), 성적은 오릅니다.
• 대리수단: AI 를 **대리 (Proxy)**처럼 쓰면 (다 해달라고 시키기), 성적은 떨어집니다.

결론적으로:
미래의 교육에서는 AI 를 아예 금지하는 것이 아니라, **"어떻게 질문하고, 어떻게 학습에 활용할지"**를 가르치는 것이 더 중요해졌습니다. 학생들에게는 "AI 에게 답을 구하지 말고, AI 에게 질문하는 법을 배우라"는 메시지가 담겨 있습니다.

이 연구는 앞으로 AI 시대에 우리가 어떻게 공부하고, 어떻게 가르쳐야 할지에 대한 나침반이 되어줄 것입니다.

기술 요약

논문 요약: StudyChat 데이터셋 - 인공지능 강의에서의 학생과 ChatGPT 대화 분석

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 급속한 발전은 교육 분야에 혁신적인 기회와 동시에 심각한 도전을 가져왔습니다. 학생들은 ChatGPT 와 같은 도구를 통해 즉각적인 피드백과 맞춤형 학습을 얻을 수 있지만, 과제 수행을 위한 부정행위 (학습 목표 회피) 나 모델에 대한 과도한 의존 (Over-reliance) 과 같은 악용 사례도 우려되고 있습니다.

기존 연구들은 LLM 의 교육적 활용 가능성에 초점을 맞추거나, 학생들의 인식에 대한 설문 조사를 주로 수행했습니다. 그러나 실제 교육 환경에서 학생들이 LLM 과 어떻게 상호작용하는지에 대한 대규모의 정량적 데이터와 행동 패턴 분석이 부족했습니다. 특히, 어떤 유형의 대화 (Dialogue Acts) 가 학업 성취도와 긍정적 또는 부정적으로 연관되는지에 대한 데이터 기반의 통찰이 필요했습니다.

2. 방법론 (Methodology)

2.1 데이터 수집 및 환경 구축

• 대상: 매사추세츠 대학교 앰허스트 (UMass Amherst) 의 고급 인공지능 (AI) 강의 (Fall 2024, Spring 2025) 에 수강한 203 명의 학생 (총 295 명 중 동의한 학생).
• 플랫폼: ChatGPT 의 핵심 기능과 UI 를 모방한 웹 애플리케이션을 개발하여 배포했습니다. 백엔드 LLM 으로 당시 ChatGPT 무료 버전인 gpt-4o-mini 를 사용했습니다.
• 절차: 학생들은 7 개의 프로그래밍 과제 (Python 기반) 와 3 개의 시험을 치르는 동안, 제한 없이 이 도구를 사용할 수 있었습니다. 모든 대화 기록과 158 명의 학생이 동의한 924 개의 과제 제출물이 수집되었습니다.
• 데이터 규모: 총 16,851 개의 학생 발화 (utterances) 와 이에 대한 LLM 응답을 포함합니다.

2.2 데이터 전처리 및 개인정보 보호 (PII Filtering)

• 대화 내용과 과제 제출물에서 개인 식별 정보 (PII) 를 제거하기 위해 정규식 (Regex) 기반 스크립트를 개발했습니다. 터미널 출력이나 에러 메시지에 포함된 사용자 디렉토리, GitHub 계정명 등을 자동으로 식별 및 제거하여 총 6,413 건의 잠재적 PII 노출을 차단했습니다.

2.3 대화 행위 (Dialogue Act, DA) 주석 태깅

• 스키마 개발: 기존 연구 (Wizard of Oz 실험 등) 와 대화 분석을 바탕으로 8 가지 광범위한 카테고리 (Writing, Editing, Contextual Questions, Conceptual Questions 등) 와 31 가지 세부 카테고리로 구성된 DA 라벨링 스키마를 설계했습니다.
• 자동화 및 검증: 대규모 데이터에 대한 수동 라벨링의 비효율성을 해결하기 위해 LLM 프롬프팅 기반 자동 라벨링을 적용했습니다.
  • 인간 어노테이터 4 명을 대상으로 초기 스키마 검증 (Cohen's kappa: 광범위 0.910, 세부 0.788) 을 수행했습니다.
  • 이후 LLM 이 생성한 라벨의 정확성을 검증하기 위해 인간 어노테이터와 LLM 간의 일치를 비교했습니다 (광범위 일치도 0.58, 세부 일치도 0.49). 이는 인간 간 일치도와 유사한 수준으로, 대규모 데이터 라벨링에 LLM 을 사용하는 것이 타당함을 입증했습니다.

2.4 분석 기법

• 회귀 분석 (Regression Analysis): 학생의 LLM 사용량 (전체 발화 수, DA별 발화 수) 이 과제 및 시험 점수 (종속 변수) 에 미치는 영향을 분석했습니다. 기존 성적을 통제 변수로 사용했습니다.
• 클러스터링 (Clustering): K-means 알고리즘을 사용하여 학생들의 행동 패턴 (DA 분포) 을 기반으로 4 개의 군집으로 분류했습니다. 주성분 분석 (PCA) 을 통해 군집의 특성을 시각화했습니다.

3. 주요 기여 (Key Contributions)

1. StudyChat 데이터셋 공개: 대학 수준의 CS/AI 강의에서 수집된 16,000 개 이상의 실제 학생-LMM 대화와 대화 행위 (DA) 라벨이 포함된 대규모 공개 데이터셋을 제공합니다.
2. 대규모 LLM 기반 라벨링 파이프라인: 인간 어노테이터의 검증 하에 LLM 을 사용하여 교육 대화 데이터를 대규모로 주석 태깅하는 방법론을 제시하고 그 유효성을 입증했습니다.
3. 행동 패턴과 학업 성취도의 상관관계 규명: 단순한 사용량이 아닌, 어떤 목적으로 (Conceptual vs. Contextual, Writing vs. Coding) LLM 을 사용하는지에 따라 학업 성취도가 어떻게 달라지는지를 데이터로 증명했습니다.

4. 주요 결과 (Results)

4.1 대화 행위 (DA) 와 학업 성취도의 관계

• 긍정적 상관관계: **개념적 질문 (Conceptual Questions)**과 **코드 작성 지원 요청 (Writing Code)**을 하는 학생들은 과제 및 시험 점수가 더 높은 경향이 있었습니다. 이는 학습 목표에 부합하는 도구 사용이 효과적임을 시사합니다.
• 부정적 상관관계: 맥락적 질문 (Contextual Questions) (특정 과제에 대한 구체적인 해답 요청, 에러 메시지 해석 등) 은 과제 점수와 부정적으로 상관관계가 있었습니다. 이는 학생이 LLM 의 환각 (Hallucination) 에 의존하거나 개념을 제대로 이해하지 못하고 있어 혼란을 겪고 있음을 나타낼 수 있습니다.
• 보고서 작성 회피: LLM 을 사용하여 보고서 작성 (Write English) 이나 과제 학습 목표를 우회하려는 행위는 시험 점수 하락과 연관이 있었습니다.

4.2 사용량 수준별 분석 (Low vs. High Usage)

• 사용량과 평균 점수: LLM 사용량이 매우 적거나 매우 많은 그룹의 평균 성적이 크게 다르지는 않았습니다.
• 변동성 (Variance): 고빈도 사용 그룹은 성적이 낮은 outliers 가 적고 점수 분산이 작아 성적의 안정성이 높았습니다. 이는 LLM 을 지속적으로 활용한 학생들이 하위 성적을 탈출하는 데 도움을 받았음을 시사합니다.

4.3 행동 클러스터링 결과

• 코드 질문 군집 (Coding Question): 특정 프로그래밍 개념에 대한 질문을 주로 한 군집은 시험 점수가 가장 높았습니다 (평균 89 점).
• 보고서 작성 군집 (Report Writers): 코드 작성뿐만 아니라 보고서/영어 작성을 LLM 에 의존한 군집은 시험 점수가 상대적으로 낮았습니다 (평균 83.8 점). 이는 과제 수행 과정에서의 학습을 생략했을 가능성을 시사합니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 이 교육에 미치는 영향을 단순한 '사용 여부'가 아닌 **'사용 방식 (How)'**의 관점에서 분석했습니다.

• 교육적 시사점: 교수진은 학생들에게 LLM 을 '개념 이해'와 '코드 구현 학습'을 위한 도구로 활용하도록 장려해야 하지만, '과제 답안 직접 생성'이나 '보고서 작성'을 위한 도구로 사용하는 것은 학습 효과를 떨어뜨릴 수 있음을 경고해야 합니다.
• ITS(지능형 튜터링 시스템) 개발: 학생의 대화 패턴을 실시간으로 분석하여, 학습 목표에 부합하지 않는 행동 (예: 과도한 코드 복사, 개념 없이 답만 요구) 을 감지하고 개입할 수 있는 AI 기반 튜터 시스템 개발의 기초를 제공합니다.
• 향후 연구: 수집된 데이터셋은 LLM 의 교육적 영향력 연구, 학생 행동 모델링, 그리고 새로운 평가 방법론 개발을 위한 공유 자원으로 활용될 수 있습니다.

한계점: 단일 대학의 단일 강의에서 수집된 데이터이므로 일반화에는 주의가 필요하며, 연구 참여자가 녹음 사실을 알았기 때문에 행동이 왜곡되었을 가능성 (호손 효과) 이 존재합니다.