AI-based Verbal and Visual Scaffolding in a Serious Game: Effects on Learning and Cognitive Load

이 논문은 양자 기술 교육용 시리어스 게임에서 AI 기반의 언어적·시각적 스캐폴딩(scaffolding)이 학습 효과와 인지 부하에 미치는 영향을 연구하였으며, 학습 성취도에는 차이가 없었으나 언어와 시각적 지원을 결합했을 때 인지 부하가 낮아짐을 확인했습니다.

핵심

🎮 배경: "양자 역학"이라는 아주 어려운 미로 게임

여러분 앞에 **'양자 기술'**이라는 아주 복잡하고 어두운 미로가 있다고 상상해 보세요. 이 미로는 너무 어려워서 그냥 들어가면 길을 잃기 십상입니다. 그래서 연구진은 이 미로를 탈출하는 **'쿠키 게임(Qookies)'**을 만들었습니다.

이 게임에는 여러분을 도와줄 **'AI 가이드(NPC 캐릭터)'**가 등장하는데, 연구진은 이 가이드에게 세 가지 스타일의 도움 방식을 주었습니다.

---

🤖 세 가지 AI 가이드 스타일 (실험 조건)

1. "혼자 가봐!" (도움 없음): 가이드가 아예 없습니다. 여러분은 스스로 미로를 헤매며 길을 찾아야 합니다.
2. "말로만 설명해주는 가이드" (말하기 도움): 가이드가 옆에서 채팅으로 "저기 왼쪽으로 가면 빛이 날 거야"라고 말로만 힌트를 줍니다.
3. "말로 하고, 직접 보여주기도 하는 가이드" (말하기 + 행동 도움): 가이드가 말로 설명해줄 뿐만 아니라, 직접 미로 속의 레버를 당기거나 물건을 옮겨서 "이렇게 하는 거야!"라고 몸소 보여줍니다.

---

🧪 실험 결과: 무엇을 발견했을까?

연구진은 152명의 학생과 일반인을 대상으로 이 게임을 플레이하게 한 뒤, 두 가지를 확인했습니다. "공부를 잘했는가?" 그리고 "머리가 너무 아프지는 않았는가?"

1. 공부 효과: "결국 모두 다 잘 배웠다!" 🎓

놀랍게도 AI 가이드가 있든 없든, 게임을 한 사람들은 모두 양자 기술에 대해 이전보다 훨씬 더 많이 알게 되었습니다. 즉, 게임 자체가 아주 잘 만들어져서 가이드가 없어도 스스로 배우는 힘이 있었다는 뜻이죠.

2. 뇌의 피로도: "백 마디 말보다 한 번의 시범이 낫다!" 🧠⚡

여기서 아주 중요한 차이가 발견되었습니다!

• 말만 해주는 가이드와 함께할 때는, 머릿속으로 "가이드가 말한 '저기 있는 파란색 레버'가 어디였지?"라고 계속 번역하고 생각해야 해서 **뇌에 과부하(인지 부하)**가 걸렸습니다. 마치 외국인이 말로만 길을 설명해줄 때, 머릿속으로 계속 번역하느라 진이 빠지는 것과 비슷하죠.
• 반면, 직접 행동으로 보여주는 가이드와 함께할 때는 뇌가 훨씬 편안했습니다. 가이드가 직접 보여주니 머릿속으로 번역할 필요 없이 바로 이해할 수 있었기 때문입니다.

---

💡 이 연구의 핵심 메시지 (결론)

이 논문이 우리에게 주는 교훈은 명확합니다.

"AI가 교육용 게임에서 도와줄 때는, 단순히 말로 떠드는 '설명충'이 되어서는 안 된다. 직접 행동으로 보여주는 '시범 조교'가 되어야 학습자의 머리를 덜 아프게 하면서 효과적으로 도와줄 수 있다!"

즉, 미래의 AI 선생님은 우리에게 "이건 이렇게 하는 거야"라고 채팅만 치는 게 아니라, 게임 속에서 직접 움직이며 **"자, 봐봐! 이렇게 하는 거야!"**라고 보여주는 방식으로 발전해야 한다는 것입니다.

기술 요약

[기술 요약] AI 기반 언어적 및 시각적 스캐폴딩이 시리어스 게임의 학습 및 인지 부하에 미치는 영향

1. 문제 정의 (Problem Statement)

• 교육용 시리어스 게임의 과제: 게임 기반 학습은 몰입도가 높지만, 학습자에게 적절한 교육적 지원(Scaffolding)을 제공하면서 동시에 능동적인 문제 해결 능력을 저해하지 않는 균형을 맞추는 것이 어렵습니다.
• LLM(대규모 언어 모델)의 양날의 검: 최근 LLM을 활용한 개인화된 스캐폴딩이 가능해졌으나, AI의 환각(Hallucination) 현상, 학습자의 무비판적 수용(Cognitive Offloading), 그리고 인지적 활동 저하라는 위험 요소가 존재합니다.
• 연구 질문: AI 캐릭터(NPC)가 제공하는 다양한 형태의 스캐폴딩(언어적 vs 시각적)이 양자 기술과 같은 추상적인 개념 학습에 어떻게 기여하며, 학습자의 인지 부하(Cognitive Load)에 어떤 영향을 미치는가?

2. 연구 방법론 (Methodology)

• 실험 도구 (Qookies): 양자 기술의 기초 개념을 다루는 이론 기반 시리어스 게임. 수학/물리 지식 없이도 직관적, 시각적, 경험적으로 학습할 수 있도록 설계되었습니다.
• 실험 설계: 152명의 참가자(학생 및 일반인)를 세 그룹으로 무작위 배정하여 비교 분석하였습니다.
  1. 대조군 (No Scaffolding): AI 지원 없음.
  2. 언어적 스캐폴딩 (Verbal Scaffolding): 생성형 AI(Llama 3.1 70B) 기반의 NPC와 채팅을 통해 개념 설명 및 힌트 제공.
  3. 결합형 스캐폴딩 (Verbal + Visual Scaffolding): 채팅(언어) + AI NPC가 게임 내에서 직접 동작을 수행하여 시연하는 방식(Visual)을 결합.
• 핵심 기술적 특징:
  • Co-learning 구조: AI가 처음부터 정답을 알고 있는 것이 아니라, 강화 학습(Reinforcement Learning)을 통해 플레이어와 함께 학습하며 정답을 찾아가는 구조를 채택하여 학습자의 인지적 태만을 방지했습니다.
  • 측정 지표: 개념 이해도(Pre/Post-test), 인지 부하(ICL, ECL, GCL의 세 가지 유형), AI와의 상호작용 유형(ICAP 프레임워크 기반 분류).

3. 주요 결과 (Key Results)

• 학습 효과 (Learning Gains): 세 그룹 모두 사전 테스트 대비 사후 테스트에서 유의미한 개념 이해도 향상을 보였습니다. 즉, 게임 자체의 교육적 효과는 검증되었으나, AI 스캐폴딩의 종류에 따른 학습 성취도의 유의미한 차이는 나타나지 않았습니다.
• 인지 부하 (Cognitive Load):
  • 내재적 인지 부하(ICL) 감소: 결합형(Verbal+Visual) 그룹은 언어적(Verbal) 그룹에 비해 내재적 인지 부하가 유의미하게 낮았습니다. 이는 시각적 시연이 텍스트를 행동으로 변환하는 인지적 과정을 줄여주었음을 시사합니다.
  • 기타 부하: 외재적(ECL) 및 본질적(GCL) 인지 부하에서는 그룹 간 유의미한 차이가 없었습니다.
• AI 상호작용 패턴: 플레이어들은 주로 레벨 해결을 위한 구체적인 질문이나 행동 권장 사항을 묻는 데 AI를 활용했습니다. 깊이 있는 이론적 토론보다는 "다음 단계에 무엇을 해야 하는가?"와 같은 실무적 가이드 요청이 주를 이루었습니다.

4. 핵심 기여 및 의의 (Key Contributions & Significance)

• 멀티모달 스캐폴딩의 효용성 입증: 단순히 텍스트로 설명하는 것보다 AI가 직접 게임 내 동작을 보여주는 시각적 스캐폴딩이 학습자의 내재적 인지 부하를 줄이는 데 효과적임을 실험적으로 증명했습니다.
• AI Co-learner 모델 제시: AI가 정답을 알려주는 '튜터'가 아니라 학습자와 함께 문제를 해결하는 '동료(Companion)' 역할을 수행하도록 설계함으로써, AI 사용으로 인한 학습자의 인지적 태만(Offloading) 문제를 완화할 수 있는 설계 방향을 제시했습니다.
• 교육적 설계 가이드라인: 시리어스 게임 설계 시 AI를 통합할 때, 캐릭터 디자인과 상호작용 방식이 학습자의 인지 자원 배분에 결정적인 영향을 미친다는 점을 강조하며, 향후 AI 기반 교육용 게임의 정교한 통합 모델 구축을 위한 기초 자료를 제공했습니다.