Designing a motion-controlled game framework to develop bodily–kinesthetic intelligence in deaf and hard-of-hearing children

수십 년 동안 교육자와 심리학자들은 학습이 단순히 조용한 마음속에서 일어나는 정신적 훈련이 아니라는 점을 인식해 왔습니다. 학습은 우리가 공간 속에서 몸을 움직이는 방식에 깊이 뿌리를 둔 신체적 행위입니다. '신체-운동 지능(bodily-kinesthetic intelligence)'이라고 알려진 이 개념은 문제를 해결하고 세상을 이해하는 우리의 능력이 근육, 균형, 그리고 협응력을 사용하는 능력과 연결되어 있음을 시사합니다. 청각 장애가 있는 아동들에게 이러한 연결은 특히 중요합니다. 소리에 의존하여 움직임을 조절하거나 타인과 박자를 맞추는 데 어려움을 겪을 수 있기 때문에, 이 아이들은 운동 기술과 공간 인지 능력을 발달시키는 데 있어 독특한 과제에 직면하곤 합니다. 구두 지시와 청각적 신호에 자주 의존하는 전통적인 교실 환경은 의도치 않게 이 아이들을 뒤처지게 만들어, 그들의 진정한 잠재력을 가릴 수 있습니다. 연구자들의 오랜 과제는 청각에 의존하지 않고도 아이의 완전한 신체적, 인지적 능력을 끌어낼 수 있도록, 신체에 직접적으로 말을 거는 학습 도구를 어떻게 만들 것인가 하는 것이었습니다.

중국과 홍콩의 연구팀은 청각 장애 및 난청 아동의 신체를 위해 특별히 설계된 비디오 게임을 제작함으로써 이 질문에 답하기로 했습니다. 그들은 단순히 기존 게임에 효과음을 추가하거나 일반적인 게임의 소리를 키우는 방식을 택하지 않았습니다. 대신, 그들은 '마이 슈퍼 파워(My Super Power)'라고 불리는 새로운 종류의 디지털 경험을 창조했습니다. 이것은 플레이어의 전신이 컨트롤러가 되는 모션 제어 역할 수행 게임(RPG)입니다. 움직임을 추적하는 카메라 시스템을 사용하여, 게임은 아이의 점프, 팔 흔들기, 손 동작을 화면상의 동작으로 변환합니다. 소리가 보통 제공하는 리듬과 타이밍 신호를 대체하기 위해, 연구진은 플레이어의 팔뚝에 진동 센서를 장착했습니다. 이 장치들은 움직임을 알리는 신호를 맥동하듯 전달하여, 아이들이 소리를 듣는 대신 진동을 통해 박자를 느낄 수 있게 합니다. 이 연구의 목표는 이러한 특정 유형의 놀이가 아이들의 신체-운동 지능을 강화하여, 움직임을 조절하고, 동작의 순서를 계획하며, 공간 속 자신의 위치를 이해하도록 도울 수 있는지 확인하는 것이었습니다.

연구는 베이징에 있는 한 농학교에 다니는 8세에서 10세 사이의 아동 35명을 대상으로 진행되었습니다. 약 90분 동안 진행된 단 한 번의 세션 동안, 아이들은 게임의 네 가지 챕터를 플레이했습니다. 이야기 속에서 아이들은 다양한 캐릭터들이 자신의 '슈퍼 파워'를 되찾도록 신체적 과제를 완수하며 돕습니다. 한 챕터에서는 팔을 흔들어 커다란 캔버스에 색칠을 해야 했고, 다른 챕터에서는 정교한 손 동작으로 부품을 집어 올려 배치하며 로켓을 조립해야 했습니다. 세 번째 챕터는 진동 센서를 통해 느껴지는 리듬에 맞춰 춤을 추는 것이었고, 마지막 챕터는 장애물 코스를 통과하며 케이크 재료를 섞는 도전 과제를 포함했습니다. 연구진은 게임을 시작하기 전과 종료 직후에 아이들의 능력을 측정했습니다. 그들은 아이들이 특정 신체 과제를 얼마나 잘 수행하는지, 자신의 기술을 어떻게 설명하는지, 그리고 인터뷰를 통해 경험에 대해 무엇이라고 말하는지를 조사했습니다.

결과는 아이들의 능력에서 명확하고 유의미한 변화를 보여주었습니다. 게임을 마친 후, 아이들은 이전에 어려움을 겪었던 신체적 과제들을 눈에 띄게 더 잘 수행하게 되었습니다. 그들은 더 정확하게 움직였고, 과제를 더 빠르게 완료했으며, 복잡한 움직임 패턴을 기억하고 반복하는 능력이 강해졌습니다. 아마도 더 시사하는 바가 큰 것은 아이들이 스스로를 바라보는 관점의 변화였습니다. 게임 전에는 많은 아이가 자신의 신체적 능력에 대해 주저하거나 확신이 없었습니다. 하지만 게임 후, 그들은 훨씬 더 자신감 있고 유능해졌다고 보고했습니다. 인터뷰에서 아이들은 게임에 열정적으로 참여하며, 전신을 이용해 캐릭터를 조절할 수 있었던 점과 진동 센서가 박자를 맞추는 데 어떻게 도움이 되었는지 설명했습니다. 한 아이는 모바일 게임은 손가락만 사용하지만, 이 게임은 온몸을 움직이게 하여 색다르고 흥미로웠다고 언급했습니다. 평소 수업 시간에 조용했던 한 아이는 여전히 게임을 하고 있는 동료들에게 전략을 설명하며 매우 활기차고 열정적인 모습을 보였습니다.

연구진은 이 게임이 복잡한 움직임을 작고 관리 가능한 단계로 나누고, 실패에 대한 두려움 없이 반복해서 연습할 수 있게 함으로써 효과를 거두었다는 것을 발견했습니다. 만약 아이가 점프를 놓치거나 물건을 떨어뜨리더라도, 게임은 벌을 주는 대신 즉시 다시 시도하도록 격려했습니다. 이러한 '실패를 통한 전진(fail-forward)' 설계는 아이들이 어려운 도전 과제를 지속하게 하여, 매 시도마다 성취감을 쌓아갈 수 있도록 도왔습니다. 또한 플레이어가 영웅이 되어 타인을 돕는 게임의 서사 역시 중요한 역할을 했습니다. 이는 아이들에게 과제를 수행해야 할 이유를 제공하여, 신체 운동을 의미 있는 미션으로 바꾸어 놓았습니다. 진동 센서는 음악을 들을 수 없는 아이들에게 리듬과 타이밍을 가르치는 신뢰할 수 있는 방법을 제공함으로써 핵심적인 혁신임이 입증되었습니다. 피부로 박자를 느낌으로써, 아이들은 소리를 듣는 아이들만큼 효과적으로 동작을 동기화할 수 있었습니다.

이 연구는 모션 제어 게임이 세심한 주의와 포용성을 염두에 두고 설계될 때, 청각 장애 및 난청 아동의 신체적, 정신적 기술을 발달시키는 강력한 도구가 될 수 있음을 시사합니다. 연구진은 향에 대한 미래의 게임 제작을 안내하기 위해 'MBD 프레임워크'라고 부르는 틀을 개발했습니다. 이 프레임워크는 공간 인지나 운동 계획과 같은 특정 학습 목표를 모든 이에게 접근 가능한 게임 메커니즘으로 어떻게 변환할 것인지에 대한 가이드를 제시합니다. 이는 세계와 상호작용하는 주요 방법으로서 신체의 중요성을 강조하며, 청각에 의존하지 않는 학습의 길을 제시합니다. 비록 이 연구가 단기적이었고 즉각적인 개선에 초점을 맞추었지만, 결과는 이 아이들이 적절한 종류의 디지털 상호작용을 통해 끌어낼 수 있는 강력한 신체적 학습 능력을 갖추고 있음을 보여줍니다. 이 작업은 기술이 단순히 바라보는 화면이 아니라, 움직여 나가는 공간이 되어 모든 능력을 가진 아이들이 행동을 통해 자신의 지능을 표현할 수 있는 미래를 향하고 있습니다.