Analyzing Students' Statistics Writing Before and After the Emergence of Large Language Models

기술 요약: 대규모 언어 모델의 등장 전후 학생들의 통계학 글쓰기 분석

문제 제기
학부 통계학 및 데이터 과학 커리큘럼은 "학습을 위한 글쓰기"(개념적 이해 심화)와 "학문 분야 내에서의 글쓰기"(이해관계자에게 결과 전달)를 촉진하기 위해 프로젝트 기반 학습과 글쓰기 과제에 크게 의존한다. 광범위한 대규모 언어 모델(LLM) 도입에 따른 주요 우려 사항은 학생들이 계수 해석, 한계점 명시, 논증 구조화와 같은 핵심적인 인지적 과업을 생성형 AI에 의존할 수 있다는 점이다. 이러한 외주화(offloading)는 학생들의 글쓰기 발달을 "지식 기술(knowledge-telling)" 단계에 머물게 하여, 전문가에게 필요한 "지식 구성(knowledge-crafting)" 단계로 나아가는 것을 방해하고, 비판적 소비자 양성이라는 GAISE 2016의 목표를 저해할 위험이 있다. 본 논문은 LLM의 등장이 학부 통계 보고서의 글쓰기 스타일과 동사 사용을 어떻게 변화시켰는지 실증적으로 규명하고자 한다.

연구 방법론
저자들은 세 가지 구별되는 데이터셋을 포함하는 비교 코퍼스 분석을 구성하였다:

1. 학생 코퍼스: 카네기 멜런 대학교의 기초 통계학 과정(36-202)에서 2021년 봄부터 2025년 가을 사이에 수집된 1,619개의 데이터 분석 보고서. 보고서는 "LLM 이전"(2021–2022), "전환기"(2023), "LLM 이후"(2024–2025)로 분류되었다.
2. LLM 코퍼스: Human-AI Parallel English (HAP-E) 학술 코퍼스를 기반으로 네 가지 LLM(GPT-4o, GPT-5 Mini, Gemini 2.5 Flash, Claude Haiku 4.5)이 생성한 학술 텍스트. 이 모델들은 연구 기간 중 학생들의 접근성을 고려하여 선정되었다.
3. 전문가 코퍼스: CHANCE, The American Statistician, Journal of the American Statistical Association에 게재된 278개의 피어 리뷰된 응용 통계 논문(2018–2022년 발행). 수학적 밀도를 제거하고 학생 보고서와 스타일적 비교 가능성을 확보하기 위해 전처리를 거쳤다.

분석 접근 방식
본 연구는 두 가지 주요 분석 기법을 사용하였다:

• 선형 판별 분석 (LDA): 저자들은 67개의 B-Biber 어휘-문법 특징(예: 명사화, 수동태, 대명사 사용, 단어 길이)을 활용하여 LDA 모델을 훈련시켰다.
  • 전체 LDA 모델은 세 출처(LLM 이전 학생, LLM, 전문가) 간의 전체 보고서를 비교하였다.
  • 5분위(Quintile) LDA 모델은 학생 보고서를 다섯 개의 길이 기반 세그먼트(대략 서론, EDA, 모델링, 예측, 토론 단계에 대응)로 나누어 섹션별 스타일 변화를 탐지하였다.
• 핵심어(Keyness) 분석: 저자들은 각 LLM이 사용한 상위 5록의 동사 어근(총 97개의 고유 동사)을 식별하였고, 이 동사들의 사용률이 "LLM 이후" 학생 보고서에서 "LLM 이전" 보고서에 비해 유의미하게 증가했는지 확인하기 위해 이항 우도비 검정(binomial likelihood-ratio tests)을 실시하였다.

주요 결과

1. 스타일적 괴리: LDA 모델은 LLM 이전 학생의 글쓰기, LLM 생성 텍스트, 전문가의 글쓰기를 99.46%의 정확도로 성공적으로 구분해 냈다. LLM 이전의 학생 글쓰기는 상호작용적 특징(1인칭 대명사, 축약형, 존재사 "there")과 낮은 정보 밀도가 특징이었다. LLM 텍스트는 높은 정보 밀도, 긴 단어, 명사화, 현재 분사가 특징이었다. 전문가의 글쓰기는 행위자 없는 수동태와 동사 "be"에 더 의존했다.
2. 학생 글쓰기의 변화: LLM 등장 이후, 학생의 글쓰기는 LLM과 전문가 스타일이 혼합된 형태로 변화하였으며, 이러한 변화는 **첫 번째 분위(서론)**와 **다섯 번째 분위(토론/결론)**에서 가장 두드러졌다.
   • "LLM 이전 학생" 클래스에 속할 학생 보고서의 사후 확률이 이 섹션들에서 유의미하게 감소하였다(예: 첫 번째 분위의 확률이 32.6%에서 26.9%로 하락).
   • 학생들은 전문가 고유의 스타일보다는 LLM과 연관된 스타일적 특징(예: 명사화, 속성 형용사, 현재 분사의 증가)을 채택하였다.
3. 동사 사용의 변화: 2023년 이후 학생 보고서에서 "LLM 선호" 동사의 사용이 통계적으로 유의미하게 증가하였다. 주목할 만한 증가는 enhance(8.71배 증가), suggest, underscore였다. underscore의 용례 분석(concordance analysis) 결과, LLM 출력물에서는 흔히 나타나지만 LLM 이전 보고서에는 없었던 사용 패턴(예: "underscores the complexity of")이 발견되었다.
4. 전문가스러운 외양: 학생의 글쓰기가 특정 스타일 지표 측면에서 전문가의 글쓰기와 유사해졌으나, 저자들은 이것이 전문가의 수사적 전략을 진정으로 습득한 것이 아니라 LLM을 모방함으로써 발생한 부수적인 결과일 수 있다고 언급하였다.

의의 및 주장
본 논문은 생성형 AI의 광범위한 도입 이후 학부 통계학 글쓰기가 스타일과 동사 사용 모두에서 더욱 "LLM스러워졌다"는 강력한 증거를 제공한다고 주장한다. 저자들은 이러한 변화가 보고서의 프레이밍(서론)과 결론 부분에서 특히 두드러진다는 점을 지적하며, 이는 학생들이 기술적이지 않은 구성 요소들을 구조화할 때 불확실성을 느낄 때 LLM을 가장 많이 참고함을 시사한다고 주장한다.

저자들은 학생 보고서가 "전문가처럼" 보일 수 있지만, 이것이 반드시 통계적 사고나 추론 능력의 향상을 의미하는 것은 아니라고 조심스럽게 주장한다. 그들은 만약 "전문가다운" 품질이 AI에 인지적 작업을 외주화한 데서 기인한 것이라면, "학습을 위한 글쓰기" 과제의 교육적 가치가 훼손된다는 점을 강조한다. 결과적으로, 본 논문은 교육자들이 평가 방법을 재평가해야 한다고 제안한다. 프로젝트 기반 학습을 포기하기보다는, 특정 수사적 연습(예: 서론을 위한 특정 연습)과 구술 시험 등을 통해 학생들이 통계적 문제를 비판적으로 생각하고 AI 생성 출력을 평가할 수 있는 능력을 유지하도록 하는 타겟팅된 평가를 제안하며, 이는 "통계적 사고를 가르치라"는 GAISE 2016 가이드라인과 일치한다.

한계점
저자들은 본 연구의 결과가 단일 기관의 단일 강좌를 바탕으로 하고 있으며, LLM 코퍼스가 학생들이 사용하는 구체적인 프롬프트나 대화적 상호작용을 완벽하게 재현하지 못할 수 있음을 인정한다. 또한, 본 연구는 글쓰기 스타일을 분석할 뿐, 학생 보고서에 담긴 기초적인 데이터 분석의 통계적 품질이나 정확성을 측정하지는 않는다.