Generative AI Availability, Grades, and Student Satisfaction at a Large University

기술 요약: 대규모 대학교의 생성형 AI 가용성, 성적 및 학생 만족도

문제 제기
고등 교육에서 생성형 AI(GenAI)의 급격한 도입은 "GenAI 대체 가설(GenAI substitution hypothesis)"에 대한 우려를 불러일으켰다. 이 가설은 학생들이 학습에 필요한 인지적 노력을 AI 도구에 전가함으로써, 기저의 내용을 숙달하지 못한 채 평가에서 높은 성적을 거둘 수 있다고 가정한다. 만약 이것이 사실이라면, 이러한 대체 현상은 (과제물, 에세이, 오픈 시험 등에 의존하는) "GenAI 취약성"이 높은 과목이 (대면, 감독 또는 실시간 수행 평가에 의존하는) "비취약성" 과목에 비해 성적을 불균형적으로 부풀릴 것이다. 나아가, 이러한 대체는 평가에 대한 참여를 줄이고 사회적 학습 공동체를 약화시킴으로써 학생 만족도를 저해할 수 있다. 기존 문헌들은 GenAI가 직장에서 생산성을 높일 수 있다고 시사하지만, 대학 차원의 규모에서 학생의 학습 결과와 만족도에 미치는 영향에 대해서는 논쟁 중이며, 일부 연구는 성적 인플레이션을 시사하는 반면 다른 연구들은 결론이 나지 않은 상태이다.

연구 방법론
본 연구는 2016년 가을부터 2025년 가을까지의 기간을 다루는 미국 내 한 주요 공립 대학교의 대규모 행정 데이터셋을 활용한다. 이 데이터셋은 6,357개의 고유 과목에 걸친 72,730개의 강의 제공 건수와 138,386명의 고유 학생을 포함한다.

• 처치 정의 (GenAI 취약성): 저자들은 강사의 관찰 없이 독립적으로 완료할 수 있는 평가(예: 테이크홈 시험, 숙제, 논문, 프로젝트)에 할당된 최종 성적의 비율로 과목의 취약성을 정의한다. 반면, 비취약성 평가는 대면 폐쇄형 시험, 발표, 실시간 기술 시연 등을 포함한다.
• 측정 파이프라인: 취약성을 정량화하기 위해 저자들은 인간에 의해 검증된 대규모 언어 모델(LLM) 파이프라인을 개발했다. 연구진은 44,876개의 강의 계획서를 스크래핑하고 GPT-5.1을 사용하여 평가 유형과 그 가중치를 재구성했다. 이 파이프라인은 525개의 인간 합의 라벨을 대상으로 한 층화 표본을 통해 검증되었으며, 0~1 사이의 취약성 척도에서 평균 절대 오차(MAE) 0.063을 달이트했다.
• 실증 전략: 본 연구는 ChatGPT가 출시된 2022년 11월 전후로 고취약성 과목과 저취약성 과목의 결과를 비교하는 이중차분법(Difference-in-Differences, DiD) 설계를 채택한다.
  • 앵커링(Anchoring): 결정적으로, 처치 변수가 팬데믹에 대한 강사의 대응이나 GenAI 효과를 흡수하는 것을 방지하기 위해 과목 취약성을 2019년(코로나 전, GenAI 전) 제공 건수에 기준으로 고정(anchored)했다.
  • COVID-19 조정: 팬데믹이 고등 교육을 중단시켰고 처치 전 기간과 겹친다는 점을 인식하여, 저자들은 COVID 효과를 명시적으로 모델링한다. 저자들은 (1) COVID 효과가 완전히 일시적이었던 경우(2023년까지 팬데믹 전 기준으로 복귀), (2) COVID 효과가 완전히 지속적이었던 경우(영구적인 수준 변화 발생)라는 두 가지 가정 하에 GenAI 효과에 대한 경계값을 추정한다. "GenAI 순 COVID(GenAI net COVID)" 추정치는 COVID 효과로부터 post-AI 효과를 차감하여 도출되는 보수적인 경계값이다.
  • 고정 효과(Fixed Effects): 모델은 시간 불변 이질성과 공통 충격을 통제하기 위해 학생, 과목, 학기 고정 효과를 포함한다.
• 결과 변수:
  • 성과: 최종 성적 값(GPA), 중도 탈락률, 낙제율.
  • 만족도: 주제 이해도, 주제에 대한 흥미, 상대적 학습량에 관한 자기 보고식 강의 평가의 중앙값 점수.
  • 이질성: 학생들의 이전 학업 준비도(코스 잔차를 이용한 코호트 내 첫 학기 GPA 순위 사용)에 따라 학생들을 층화하여, 효과가 균등화되는지 혹은 격차를 벌리는지를 테스트한다.

주요 결과

• 평균 성적 효과: 본 연구는 GenAI 가용성이 저취약성 과목에 비해 고취약성 과목의 최종 성적에 통계적으로 유의미한 차별적 영향을 미치지 않는다는 것을 발견했다. 추정된 효과는 4.0 척도 기준으로 0.030에서 0.045 성적 포인트 사이이며, 이는 경제적으로 작고 5% 유의 수준에서 통계적으로 유의하지 않다. 이 영(null) 결과는 COVID 모델링의 일시적 또는 지속적 가정 모두에서 유효하다.
• 성적 분포: 취약성 높은 과목에서 A 학점의 비중이 묘사적으로 증가하기는 했으나, 이는 평행 추세 테스트(parallel trends tests)를 통과하지 못했으며 인과적으로 식별되지 않았다. "하한선 상승(floor-raising)" 효과의 증거는 없다; 낙제 및 중도 탈락률은 변하지 않았다.
• 이전 성과에 따른 이질성: AI가 저성취자에게 가장 도움이 된다는 일부 직장 연구 결과와 달리, 본 연구는 이전 학업 성취도의 하위, 중위, 상위 분포에 있는 학생들에게 유의미한 성적 효과가 없음을 발견했다. 영(null) 평균 효과는 학업 능력 3분위 간의 상쇄되는 이득과 손실에 의한 결과가 아니다.
• 학생 만족도: COVID 효과를 반영한 후, GenAI 가용성은 자기 보고된 이해도나 흥미에 유의미한 영향을 미치지 않았다. COVID 효과가 일시적이라는 가정 하에서는 흥미의 완만한 증가와 상대적 학습량의 감소가 시사되지만, 이러한 결과는 모든 명세(specification)에서 견고하게 나타나지는 않았다.

기여도

1. 방법론적 엄밀성: 본 논문은 강의 계획서에서 평가 가중치를 추출하기 위한 체계적이고 인간에 의해 검증된 LLM 파이프라인을 도입하여, 기존의 과업 구성 대리 지표보다 더 엄격한 GenAI 취약성 척도를 제공한다. 또한, 취약성을 (코로나 전인) 처치 전 기간에 고정하지 않을 경우 선택 편향과 허구적인 양(+)의 성적 효과를 초래할 수 있음을 입증한다.
2. 대학 규모의 만족도 증거: 본 연구는 대학 전체 수준에서 강의 평가를 통해 GenAI 가용성이 학생 만족도(주제 이해도나 흥미의 저하 여부)에 미치는 영향을 조사한 최초의 연구이며, 참여나 흥미의 침식에 대한 견고한 증거를 찾지 못했다.
3. 이질성 분석: 본 연구는 학생의 이전 학업 준비도에 따라 GenAI 성적 효과가 어떻게 달라지는지에 대한 최초의 준실험적 증거를 제공하며, 능력 분포 전반에 걸쳐 차별적인 영향이 없음을 밝혔다.

의의 및 주장
저자들은 본 연구의 결과가 GenAI의 가용성이 이미 성적의 신호 가치를 저하시키거나 학생 만족도를 떨어뜨렸다는 우려를 완화한다고 결론짓는다. 본 연구는 성적 인플레이션의 증거를 발견했던 두 편의 기존 대규모 연구(Hausman et al., 2025; Chirikov, 2026a)의 합의에 도전한다. 저자들은 이전 연구에서 발견된 양(+)의 효과가 GenAI 효과와 잔류하는 COVID-19의 혼란을 분리하지 못한 모델링 선택의 결과물, 즉 아티팩트(artifact)일 수 있다고 주장한다.

저자들은 GenAI 대체가 이론적으로 평가를 저하시킬 수 있지만, 이 대규모 대학 환경의 데이터는 아직 성적이 부풀려지거나 만족도가 저하된다는 가설을 뒷받침하지 않는다고 조심스럽게 주장한다. 저자들은 팬데믹의 잔류 효과가 여전히 GenAI의 효과를 압도할 수 있음을 경고하며, '증거의 부재가 부재의 증거는 아님'을 시사하여 서두른 교육적 대응보다는 지속적인 모니터링이 필요하다고 제언한다.