Measuring Changes in Instructor Class Design and Student Learning After the Release of Large Language Models (LLMs)

기술적 요약: 대규모 언어 모델 (LLM) 출시 이후 교수자의 수업 설계 및 학생 학습 변화 측정

문제 제기
2022 년 말 대규모 언어 모델 (LLM) 의 광범위한 공개는 고등교육에 변화를 촉발시켰으나, 학생 학습 행동, 교수자의 과정 설계, 그리고 전통적인 성적 평가 지표의 타당성에 미치는 영향에 관한 경험적 증거는 여전히 부족합니다. 저자들은 전통적인 지표인 성적이 학습의 대리 지표로서 점점 더 신뢰할 수 없게 되었다는 중요한 방법론적 격차를 확인했습니다. 이러한 왜곡은 세 가지 요인에서 비롯됩니다: (1) 교수자가 LLM 에 저항하는 과제를 재설계하는 '고양이와 쥐'의 역동성으로 인해 종단적 비교가 불가능해진 점; (2) 탐지되지 않은 LLM 사용이 실제 학습 향상 없이 성적을 인위적으로 부풀릴 수 있는 가능성; 그리고 (3) LLM 사용이 적발된 학생이 실제 개념적 이해가 있음에도 불구하고 낙제점을 받을 수 있다는 점입니다. 결과적으로, '포스트-LLM 시대'의 학습 추세를 평가하기 위해 과거 성적 기록과 교수자 및 학생의 질적 인식을 결합한 삼각화된 데이터가 부족합니다.

방법론
본 연구는 보스턴 매사추세츠 대학교 (UMass Boston) 에서 수행된 혼합 방법론 및 다과정 설계를 사용합니다. 연구는 세 가지 서로 다른 데이터 소스를 삼각화합니다:

1. 후향적 정량 분석: 대학 등록처로부터 약 15 개 과정에 걸쳐 최대 10 년간의 역사적 성적 데이터를 확보했습니다. 이 데이터를 통해 포스트-LLM 시대 (2023 년 봄 이전) 와 포스트-LLM 시대 간의 평균 학점 (GPA), 중퇴율, 그리고 낙제율을 비교할 수 있습니다.
2. 교수자 설문: 과정 구조, 과제 설계, 그리고 성적 평가 기준의 변화를 문서화하기 위해 교수진을 대상으로 설문을 배포했습니다. 18 명의 교수자가 연구 설문을 완료했습니다. 설문은 리커트 척도와 자유 응답 질문을 활용하여 교수법 적응의 범위와 성격을 포착했습니다.
3. 학생 설문: (주로 컴퓨팅 관련 전공 학생들) 을 대상으로 익명 설문을 실시하여 자가 보고된 LLM 사용 빈도, 학습 행동, 개념적 이해, 그리고 성적 타당성에 대한 인식을 평가했습니다. 사회적 바람직성 편향을 해결하기 위해 연구는 두 가지 접근법을 사용했습니다: 개인 사용에 대한 직접 질문과 동료 사용에 대한 간접 질문을 통해 '과소 보고 지수'를 산출했습니다.

본 연구는 질적 데이터에 대해 주제 분석 (Braun & Clarke) 을, 정량 데이터에 대해 통계 분석 (스피어만 상관관계, 웰치 t-검정) 을 활용했습니다. 설문 도구의 내용 타당성은 5 명의 대학 교수진으로 구성된 전문가 검토를 통해 확립되었으며, 항목 수정 후 전체 일치도 평가는 94.00% 를 기록했습니다.

주요 기여

• 삼각화된 증거: 고등교육에서 LLM 현상을 분석하기 위해 성적 데이터, 교수자 인식, 그리고 학생 자가 보고를 동시에 검토한 최초의 연구입니다.
• 교수법 변화의 정량화: 본 연구는 과정 재설계의 구체적인 타임라인과 규모를 문서화하여, LLM 가용성과 중요한 교수자 적응 사이의 시차를 식별했습니다.
• 과소 보고 지수: 연구는 개인 사용과 동료 사용 추정치를 비교함으로써 자가 보고된 LLM 사용과 실제 사용 간의 격차를 추정하는 방법론적 접근을 제공합니다.
• 성과 - 학습 불일치: 본 연구는 과정 재설계의 부재가 인위적으로 부풀려진 성적과 연결된다는 경험적 증거를 제시하며, 수정되지 않은 과정에서는 LLM 접근성이 더 높은 성적과 연관되지만 실제 학습은 낮을 수 있음을 시사합니다.

결과

• 교수자 적응: 응답 교수자의 86.7% 가 생성형 AI 에 대응하여 과정을 수정했습니다. 가장 흔한 변화는 수업 내 작업, 수업 내 평가, 그리고 개념적 추론 과제로의 전환이었습니다 (그림 3). 2023 년 봄 이후 재설계의 심각성이 크게 증가하여 많은 교수자가 과제의 20~40% 이상을 변경했습니다.
• 성적 추세: 포스트-LLM 시대에서 평균 학생 GPA 는 2.96 에서 3.00 으로 약간 증가했습니다 (통계적으로 유의미하지만 효과 크기는 미미함, Cohen's d = 0.04). 중퇴율과 낙제율도 약간 감소했습니다.
• '변화 없음' 과정의 이상 현상: 과정 설계에 아무런 변화가 없다고 보고한 두 명의 교수자에 관한 중요한 발견이 도출되었습니다. 그들의 과정은 과제를 재설계한 교수자가 가르친 과정 (+0.01 점) 에 비해 평균 GPA 가 훨씬 더 크게 증가 (+0.25 점) 했습니다. 중퇴율 또한 이러한 수정되지 않은 과정에서 더 급격히 감소했습니다.
• 학생 행동 및 인식: 학생들은 성적 평가 과제에 대한 개인 LLM 사용을 동료 사용 추정치에 비해 과소 보고했습니다. 자가 보고된 LLM 사용이 높을수록 성적이 학습을 정확하게 반영한다는 믿음이 낮아지는 경향이 있었습니다. 그러나 본 표본에서는 자가 보고된 LLM 사용이 GPA, 학습 시간, 또는 개념 이해 (ConCal) 점수와 통계적으로 유의미한 상관관계를 보이지 않았습니다.
• 학생 우려: 학생들은 AI 를 사용하지 않았음에도 불구하고 AI 사용으로 인해 처벌받을 것에 대한 심각한 불안과, 동료들이 AI 를 사용하여 더 높은 성적을 얻을 수 있는 시스템의 공정성에 대해 우려를 표명했습니다. AI 사용에 대한 기관 차원의 가이드라인과 워크숍에 대한 강력한 자발적 요구가 있었습니다.

의의 및 주장
저자들은 이 작업을 광범위한 기관 연구 및 정책을 informing 하기 위한 파일럿 연구로 위치시킵니다. 본 논문은 주요 의의가 삼각화된 데이터를 사용하여 학습 추세의 증거 기반 평가를 제공한다는 점에 있으며, 이는 대학들이 생성형 AI 정책을 navigate 하는 데 필수적이라고 주장합니다.

본 연구는 대부분의 교수진이 AI 의존도를 완화하기 위해 적극적으로 과정을 재설계하고 있지만, 적응하지 않은 교수들은 자신의 수업에서 상당한 성적 인플레이션을 경험하고 있다는 결론을 내립니다. 이는 교수법적 적응 없이는 LLM 접근성이 AI 를 사용하지 않는 학생들에게 경쟁적 불이익을 초래할 뿐만 아니라, 동시에 학생 학습의 실제 상태를 흐리게 할 수 있음을 시사합니다. 저자들은 현재 데이터가 대학 차원의 정책과 학생 대상 가이드라인의 필요성을 뒷받침한다고 주장하며, 기존 기관 자원이 거의 전적으로 교수진에 초점을 맞추고 있음을 지적합니다. 본 논문은 단일 사이트, 편의 표본의 성격으로 인해 광범위한 일반화를 명시적으로 피하며, 이러한 발견이 더 크고 다기관 연구의 기초가 되어야 한다고 촉구합니다.