A Semi-Automated System for Generating Dialogue-Based TTS Lessons Using Large Language Models: An Exploratory Study of Educational Potential

기술 요약: LLM을 이용한 대화형 TTS 수업의 반자동 생성

문제 정의
고품질 교육 콘텐츠, 특히 플립러닝(flipped classroom) 모델을 위한 콘텐츠 제작은 교육자에게 상당한 시간과 전문 기술을 요구하며, 이는 진입 장벽을 높이는 원인이 된다. 생성형 AI와 텍스트 음성 변환(TTS)을 활용한 완전 자동화된 콘텐츠 생성 솔루션이 등장했으나, 이러한 솔루션들은 종종 교육적 미묘함(pedagogical nuance), 사실적 정확성, 그리고 '듣기 적합성(listenability)' 최적화 측면에서 부족함을 보인다. 또한, LLM이 생성한 콘텐츠는 환각(hallucination)의 위험을 내포하고 있어 인간의 감독이 필수적이다. 기존의 자동화 시스템은 주로 기술적 평가나 단순한 낭독에 집중되어 있어, 실제 교실 환경에서의 교육적 효과를 검증하거나 대화 기반 교수 학습을 위한 TTS의 고유한 역량을 활용하는 데 한계가 있다.

연구 방법론
본 연구는 교육자를 대체하기보다는 보조하기 위해 설계된 반자동, 인간 참여형(human-in-the-loop) 시스템을 제안하고 검증한다. 이 시스템은 다음과 같은 3단계 워크플로우로 작동한다:

1. 구조화된 슬라이드 생성: 비구조화된 텍스트(예: 교과서)를 LLM(Claude 3.5 Sonnet)이 처리하여 Marp 형식의 슬라이드를 생성한다. 교육자는 이를 통해 사실 확인, 교육적 흐름, 시각적 정교화 작업을 수행한다.
2. TTS 최적화 내레이션 생성: LLM은 TTS '듣기 적합성'에 최적화된 내레이션 스크립트를 생성한다. 본 연구는 인지적 도제 이론(cognitive apprenticeship theory)에서 영감을 얻은 새로운 전문가-초보자(Expert-×-Novice) 대화 형식을 도입한다. 이 모드에서 LLM은 '전문가'가 지식을 제공하고 '초보자'가 질문, 개념 재진술, 이해 확인을 수행하는 스크립트를 작성한다. 이 구조는 학습을 스캐폴딩(scaffolding)하고 자기 설명 효과(self-explanation effects)를 유도하도록 설계되었다. 교육자는 정확성과 명확성을 위해 이 스크립트를 검토한다.
3. 음성 합성 및 통합: Gemini TTS API를 사용하여 스크립트에 대한 오디오를 합성한다. 두 가지 모드가 지원된다: 단일 화자(교사 스타일) 및 대화형(전문가와 초보자 목소리). 생성된 오디오는 Selenium을 통해 렌더링된 슬라이드 이미지와 동기화되며, MoviePy를 사용하여 최종 비디오 파일로 통합된다.

실증적 검증
시스템의 교육적 잠재력은 일본의 고등학교 1학년 학생 245명을 대상으로 한 유사 실험(quasi-experiment)을 통해 평가되었다. 참가자들은 다음 세 가지 수업 형식을 순차적으로 경험하였다:

1. 강사 음성 비디오 (대조군).
2. 단일 화자 TTS 수업.
3. 대화형 TTS 수업 (전문가-초보자).

참고: 고정된 순서와 세션별로 상이한 콘텐츠로 인해, 본 연구는 형식의 효과와 콘텐츠 및 순서 효과를 분리하는 데 따르는 제약 사항을 인정한다.

데이터 수집은 사후적 내집단 비교(세 가지 형식 전체 비교)와 반복적 횡단적 집단 간 비교(단일 TTS vs. 대화형 TTS)를 포함하였다. 평가 지표는 ARCS 모델(동기 부여), 인지 부하 이론(외재적 부하 vs. 본질적 부하), 그리고 학습 참여 이론에 근거하였다.

주요 결과

• RQ1: TTS가 학습 경험을 저해하는가?
  핵심 지표(이해력, 집중력, 종합 평가)에 대한 내집단 분석 결과, 강사 음성, 단일 TTS, 대화형 TTS 간에 유의미한 차이가 없었다. TOST 등가성 검정(경계 $\Delta = \pm 0.5$) 결과, 모든 지표가 등가 범위 내에 있는 것으로 확인되었다. 이는 TTS 오디오가 인간의 목소리에 비해 근본적인 학습 경험을 저해하지 않음을 시사한다.

• RQ2: 대화 형식이 교육적으로 더 우월한가?
  단일 TTS와 대화형 TTS를 비교한 결과 다음과 같은 트레이드오프(trade-off)가 발견되었다:

  • 대화형 TTS의 장점: 이해력($p=.006$)과 인지적 참여(cognitive engagement, $p=.019$) 점수가 유의미하게 높았다. 학습자들은 콘텐츠를 타인에게 설명할 수 있다는 자신감이 더 높아졌다고 느꼈다. 사전 지식을 통제한 비례 오즈 모델(proportional odds model)을 통한 추가 분석 결과, 이러한 이점이 단순히 사전 지식의 불균형 때문이 아님이 확인되었다.
  • 단일 TTS의 장점: 오디오 자연스러움($p < .001$) 점수가 유의미하게 높았다. 대화형 형식은 화자 간 또는 페이지 간의 오디오 품질 차이로 인해 더 높은 외재적 인지 부하를 유발하는 것으로 보인다.
  • 선호도: 참가자의 **66.9%**가 대화형 TTS를 "학습하기에 가장 즐거운 형식"으로 선택하였으며, 이는 다른 형식들을 유의미하게 앞선 결과이다.

주요 기여

1. 시스템 아키텍처: TTS 최적화 스크립트 생성을 위해 설계되었으며, LLM의 자동화와 교육자의 품질 관리를 균형 있게 결합한 실용적인 3단계 인간 참여형(human-in-the-loop) 워크플로우를 제시하였다.
2. 새로운 방법론: TTS 듣기 적합성에 맞추어 설계된, 인지적 도제 이론에서 영감을 받은 자동화된 전문가-초보자 대화 생성 방식을 확립하였다.
3. 실증적 근거: 실제 학습자를 대상으로 한 유사 실험 환경에서 LLM 자동화, TTS 오디오 수용성, 그리고 대화 형식 설계를 통합하여 연구한 첫 사례이다. 이는 대화 기반 TTS가 잠재적인 오디오 품질의 트레이드오프에도 불구하고 이해도와 참여도를 높일 수 있다는 증거를 제공한다.

의의 및 주장
본 논문은 TTS 오디오의 교육적 수용성과 특정 TTS 수업 형식의 설계 원칙에 대한 이론적 및 실증적 근거를 제공한다고 주장한다.

• TTS 오디오가 인간의 목소리에 비해 학습을 본질적으로 저해하지 않음을 입증하여, 콘텐츠 제작의 진입 장벽을 낮춘다.
• TTS의 유연성을 활용하여 대화 기반 수업을 제작하는 것이, 오디오 품질의 트레이드오프를 관리할 수 있다면 자기 보고식 이해도와 인지적 참여를 향상시킬 수 있음을 시사한다.
• 저자들은 본 연구가 고정된 순서와 가변적 콘텐츠 제약이 있는 유사 실험에 기반하고 있음을 명시적으로 밝힌다. 따라서 이들이 단일 수업 형식에 의한 결정적인 인과 효과를 주장하는 것이 아니라, 관찰된 설계 함의와 패턴을 제시하는 것임을 강조한다. 또한, 인과 관계를 확정하기 위해서는 향후 무작위 교차 설계(randomized crossover design)와 객관적인 학습 테스트가 필요함을 언급한다.