기술 요약: AI 생성 슬라이드: 좋은가? 학생들은 알아차릴 수 있는가?

문제 제기

생성형 AI(GenAI) 와 대규모 언어 모델 (LLM) 이 점점 더 접근 가능해짐에 따라, 컴퓨팅 강사들은 이를 교육 워크플로우에 통합함에 있어 기회와 불확실성 모두에 직면해 있습니다. GenAI 도구가 프로그래밍 및 작성 작업의 생산성을 높이는 데 유망함을 보이지만, 종종 오류가 있거나 환각된 (hallucinated) 출력을 생성합니다. 특히 강사가 작성한 강의 노트 (구체적으로 온라인 교과서 장) 를 고품질 강의 슬라이드로 변환하는 GenAI 의 능력을 평가하는 데에는 특정 격차가 존재합니다. 이 변환은 텍스트, 코드, 다이어그램을 조율하면서 교육적 타당성을 유지해야 하므로 도전적입니다. furthermore, 학생들이 인간이 만든 자료와 비교하여 AI 가 생성한 교육 자료를 어떻게 인식하는지, 그리고 학생들이 두 출처를 신뢰할 수 있게 구별할 수 있는지 이해하는 데에는 제한이 있습니다.

방법론

본 연구는 알토 대학교 (Aalto University) 의 상급 학부 웹 소프트웨어 개발 과정에서 혼합 방법 사례 연구 접근법을 사용했습니다. 연구는 두 가지 주요 단계로 나뉘었습니다:

1 단계: 강사에 의한 도구 품질 평가

연구자들은 접근성과 워크플로우 통합의 스펙트럼 전반에 걸쳐 다섯 가지 다른 GenAI 도구를 평가했습니다:

• 종단 간 (End-to-end) 교육 도구: NotebookLM.
• 범용 LLM: M365 Copilot 과 Claude (Sonnet 4.5).
• 코딩 어시스턴트: Cursor 와 Claude Code.

프로세스:

• 입력: 기본 HTML/Svelte, 상태 공유, CRUD 작업, Fetch API 를 다루는 네 개의 교과서 장을 소스 자료로 사용했습니다.
• 프롬프팅: 연구자들은 고급 프롬프트 엔지니어링 없이 반복적이고 직관적인 프롬프트를 사용하여, 동료 교수 연습 (peer-instruction exercises) 을 포함한 10~15 분 강의 세그먼트용 슬라이드를 생성하도록 도구에 요청했습니다.
• 평가 기준: 두 명의 연구자 (모두 컴퓨팅 교육자) 와 해당 과정 강사는 세 가지 요소를 기반으로 정성적 서술 평가를 수행했습니다:
  1. 사실적 정확성: 소스 자료에 대한 검증 및 환각 현상 식별.
  2. 완결성: 핵심 개념과 예시가 누락되었는지 평가.
  3. 교육적 타당성: 인지 부하 관리, 이중 부호화 (시각/텍스트 균형), 개념의 비계 설정 (scaffolding) 평가.

2 단계: 학생 인식 연구

1 단계에 기반하여 연구자들은 가장 성능이 뛰어난 도구 (Cursor 와 Claude Code) 를 선정하여 교실 실험을 수행했습니다.

• 실험 설계: 5 주에 걸쳐 해당 과정은 인간이 생성한 슬라이드와 AI 가 생성한 슬라이드 (강사의 시각적 스타일 및 포맷에 맞게 수정됨) 를 혼용하여 사용했습니다.
• 맹검 (Blinding): 학생들에게 강의에 GenAI 콘텐츠가 포함될 수 있다고 알렸으나, 어떤 특정 세그먼트가 AI 생성인지에 대해서는 알리지 않았습니다.
• 데이터 수집: 각 강의 세그먼트 후, 학생들은 7 점 리커트 척도 (1=매우 나쁨, 7=매우 우수) 로 슬라이드 품질을 평가하고 출처를 추측하는 설문 (1=확실히 인간, 7=확실히 AI) 을 작성했습니다.
• 분석: 본 연구는 평균 평가, 중앙값, 그리고 품질 평가와 출처 추측 간의 상관관계를 Mann-Whitney U 검정과 스피어만 상관 계수를 사용하여 분석했습니다.

주요 기여

1. 비교 도구 평가: 본 논문은 이론적 시스템 개발을 넘어 실제 강사의 경험으로 이동하여, 교육용 슬라이드 생성을 위한 다섯 가지 다른 GenAI 도구 카테고리에 대한 실용적이고 서술적인 평가를 제공합니다.
2. 최적 도구 유형의 식별: 본 연구는 코딩 어시스턴트(구체적으로 Cursor 와 Claude Code) 가 범용 LLM 과 교육 중심 도구보다 이 특정 작업에서 더 뛰어난 성과를 내며, 더 정확하고 완전하며 교육적으로 타당한 슬라이드를 생성함을 확인했습니다.
3. 학생 인식 데이터: 본 연구는 학생들이 고품질 AI 생성 슬라이드와 인간이 만든 슬라이드를 신뢰할 수 있게 구별할 수 없다는 것을 보여주는 학생 인식에 대한 실증 데이터를 제공합니다.
4. 워크플로우 통찰: 본 논문은 "강사 루프 내 (instructor-in-the-loop)" 워크플로우를 문서화하여, AI 초안 (특히 스타일링 및 포맷팅 측면에서) 은 반복 작업이 필요하지만 기존 교수 관행에 효과적으로 통합될 수 있음을 강조합니다.

결과

강사 평가 (1 단계)

• 코딩 어시스턴트 (Cursor, Claude Code): 가장 설득력 있는 결과를 생성했습니다. 정확성, 완결성, 그리고 교육적 타당성 측면에서 높은 평가를 받았습니다. 코드 예제를 성공적으로 생성하고, 논리적 진행을 유지하며, 콘텐츠 제시에서 병렬성을 활용했습니다. 약간의 문제점으로는 때때로 렌더링 오류가 발생하거나 콘텐츠가 "너무 완전"하여 강사의 선별이 필요하다는 점이 있었습니다.
• 범용 LLM (Claude, M365 Copilot): 일반적으로 정확한 슬라이드를 생성했지만 종종 불완전하고 교육적으로 문제적이었습니다. 문제점으로는 코드 예제 누락, 피상적인 콘텐츠, 관련 없는 대형 이미지, 그리고 나쁜 텍스트 - 이미지 균형이 있었습니다.
• 교육 도구 (NotebookLM): 시각적으로 매력적이었지만, 출력물은 매우 불완전하고 교육적으로 매우 문제적으로 판단되었습니다. 콘텐츠는 종종 피상적이었고 필요한 코드 예제가 부족했으며, "동영상 개요" 형식은 강의 세그먼트에는 너무 장황했습니다.

학생 인식 (2 단계)

• 품질 평가: AI 생성 슬라이드 (중앙값 = 5.0) 와 인간 생성 슬라이드 (중앙값 = 5.0) 간의 품질 평가에 통계적으로 유의미한 차이가 없었습니다. Mann-Whitney U 검정은 학생들이 두 출처의 품질을 동등하게 인식했음을 확인했습니다 ($p = 0.84$).
• 출처 식별: 학생들은 슬라이드의 출처를 신뢰할 수 있게 식별하지 못했습니다. AI 슬라이드와 인간 슬라이드에 대한 추측의 중앙값은 모두 4.0 (중립) 이었으며, Mann-Whitney U 검정은 추측 정확도에 유의미한 차이가 없음을 보여주었습니다 ($p = 0.1$).
• 상관관계: 품질 평가와 슬라이드가 AI 생성이라고 추측하는 것 사이에 유의미한 부정적 상관관계 ($\rho = -0.28, p < 0.01$) 가 발견되었습니다. 이는 학생들이 슬라이드를 저품질로 인식할 때 이를 AI 에 기인할 가능성이 더 높음을 시사하며, 저품질과 AI 생성을 연관시키는 편향을 나타냅니다.

중요성과 주장

본 논문은 생성형 AI 를 교수 설계 워크플로우에 통합하는 것이 유망하다고 주장하며, 특히 범용 챗봇이나 전용 교육 도구보다는 코딩 어시스턴트를 사용할 때 그렇다고 강조합니다. 저자들은 다음과 같은 점을 강조합니다:

• 시간 절약: 강사가 스타일 반복과 콘텐츠 검증을 위해 루프 안에 머무르는 한, 이러한 도구를 사용하면 강사의 시간을 상당 부분 절약할 수 있습니다.
• 학생 경험: AI 가 생성한 자료가 고품질이고 인간이 만든 자료와 스타일적으로 일관될 경우, 학생의 인식이나 경험에 부정적인 영향을 미치지 않습니다.
• 교육적 접근: 강사들은 완벽한 초안을 기대하기보다는 반복적인 프롬프팅, 정제, 기존 문서 활용을 통해 프로그래머가 코딩 어시스턴트를 사용하는 것과 유사하게 GenAI 사용을 접근해야 합니다.

저자들은 이 작업을 2025 년 말 capabilities 의 "스냅샷"이자 사례 연구로 겸손하게 framing 하며, 결정적이고 일반화 가능한 연구 결론으로 보지 않습니다. 단일 기관 컨텍스트, 과정의 특정 성격 (웹 프로그래밍), 실제 학습 결과에 대한 측정 부재 등 한계를 인정합니다. 그리고 교육자들이 이러한 진화하는 도구를 책임감 있고 효과적으로 활용할 수 있는 방법에 대한 추가 연구를 촉구하고 있습니다.