Designing a motion-controlled game framework to develop bodily–kinesthetic intelligence in deaf and hard-of-hearing children

几十年来，教育工作者和心理学家一直认识到，学习不仅仅是发生在安静大脑内部的脑力活动。它是一种身体行为，深深植根于我们如何通过空间移动身体的方式。这一概念被称为肢体运动智能（bodily-kinesthetic intelligence），它表明我们解决问题和理解世界的能力与我们使用肌肉、平衡感和协调性的能力密切相关。对于聋哑或听障儿童而言，这种联系尤为重要。因为他们无法依靠声音来引导动作或与他人保持同步，因此在发展运动技能和空间意识方面往往面临着独特的挑战。传统的课堂通常依赖口头指令和听觉线索，这可能会在无意中使这些孩子掉队，掩盖了他们的真实潜力。长期以来，研究人员一直在思考如何创造出直接面向身体的学习工具，绕过对听觉的需求，从而释放孩子完整的身体与认知潜能。

来自中国和香港的研究团队决定通过开发一款专门针对聋哑及听障儿童身体设计的电子游戏来回答这个问题。他们并没有简单地在现有游戏中添加音效，或者试图把标准游戏调大音量。相反，他们创造了一种全新的数字体验，名为《我的超能力》（My Super Power）。这是一款动作控制的角色扮演游戏，玩家的整个身体就是控制器。通过一个追踪动作的摄像系统，游戏将孩子的跳跃、挥臂和手势转化为屏幕上的动作。为了取代通常由声音提供的节奏和时机线索，研究人员为玩家配备了佩戴在手臂上的振动传感器。这些设备会通过脉动来发出移动信号，让孩子们能够通过“感觉”节拍而非“听到”节拍来进行活动。其目标是观察这种特定类型的游戏是否可以增强孩子的肢体运动智能，帮助他们学习协调动作、规划行动序列并理解自己在空间中的位置。

这项研究涉及三十五名就读于北京一所聋哑学校、年龄在八至十岁之间的儿童。在一次持续约九十分钟的单次环节中，孩子们通关了游戏的四个章节。在故事中，他们通过完成身体挑战来帮助各种角色找回他们的“超能力”。其中一个章节要求他们通过挥动手臂来为一张大画布涂色；另一个章节要求他们通过精准的手部动作捡起并放置零件来组装火箭；第三个章节涉及随着通过振动传感器感受到的节奏进行舞蹈；最后一个章节则挑战他们穿越障碍赛道并混合蛋糕的原料。研究人员在孩子们开始游戏前和结束游戏后立即测量了他们的能力。他们观察了孩子们执行特定身体任务的表现，以及他们如何描述自己的技能，并通过访谈了解了他们在体验过程中的感受。

结果显示，孩子们的各项能力发生了显著且明显的转变。在玩过游戏后，孩子们在之前感到困难的身体任务上表现得明显更好。他们的动作更加精准，完成任务的速度更快，并且展现出更强的记忆和重复复杂运动模式的能力。或许更具说服力的是孩子们自我认知的变化。在玩游戏之前，许多人对自己的身体能力感到犹豫或不确定；而在之后，他们报告说感觉自己更有信心且更有能力。在访谈中，他们热烈地讨论了这款游戏，描述了如何用全身控制角色，以及振动传感器如何帮助他们把握时机。一名孩子提到，虽然移动端游戏只使用手指，但这款游戏让他们移动全身，感觉非常不同且令人兴奋。另一名平时在课堂上很安静的孩子，在看到同伴还在玩游戏时，变得异常活跃并渴望解释策略。

研究人员发现，这款游戏之所以奏效，是因为它将复杂的动作分解成更小、更易于管理的步骤，并允许孩子们在没有失败恐惧的情况下反复练习。如果一个孩子跳跃失误或掉落了物品，游戏并不会惩罚他们，而是鼓励他们立即重试。这种“向前失败”（fail-forward）的设计帮助孩子们坚持完成困难挑战，并在每一次尝试中建立成就感。游戏的叙事——即玩家作为帮助他人的英雄——也起到了至关重要的作用。它给了孩子们一个去关心这些任务的理由，将身体练习转化为了有意义的任务。振动传感器被证明是一项关键创新，为那些听不到音乐的孩子提供了一种可靠的方式来学习节奏和时机。通过皮肤感受节拍，他们能够像听力正常的孩子通过声音同步动作一样有效地进行同步。

这项研究表明，如果设计得当且具有包容性，动作控制类游戏可以成为开发聋哑及听障儿童身体与精神技能的强大工具。研究人员开发了一个名为 MBD 的框架，以指导未来游戏的创作。该框架概述了如何将特定的学习目标（如空间意识或运动规划）转化为全民皆可参与的游戏机制。它强调了将身体作为与世界互动的主要方式的重要性，提供了一条不依赖于听觉的学习路径。尽管这项研究是短期性的且侧重于即时性的提升，但研究结果表明，这些孩子拥有可以通过正确的数字交互来解锁的强大身体学习能力。这项工作指向了一个未来：技术不仅仅是一个用来观看的屏幕，而是一个可以移动其中的空间，让所有能力的儿童都能通过行动来表达他们的智慧。