于是,由研究团队研发出的新发明 GCDance 登场了,它就像一位功能强大的舞蹈导演。你可以把它想象成一个神奇的盒子,你输入一首歌和一条简单的文本指令,比如“爵士”或“优雅的旋转舞蹈”,然后就会跳出一个全身舞者的 3D 视频,精准地表演那种风格。在此之前,大多数 AI 舞蹈生成器就像是一个只能混合三种颜色的画家;他们能做出舞蹈,但无法在“地板舞(Breaking)”或“韩国流行舞(K-Pop)”等截然不同的风格之间轻松切换而不产生混乱。GCDance 通过使用“扩散(diffusion)”过程改变了游戏规则。你可以将此想象成一位雕塑家从一块充满噪声、布满静电感的粘土块开始,通过不断剔除噪声,直到一座完美的雕像显现出来。在这种情况下,“噪声”是随机的动作,而“雕塑家”则是 AI,它利用音乐和你的文本提示词来雕刻出流畅、真实的舞蹈。
论文发现,通过结合一个聪明的音乐聆听者和一个文本翻译器,GCDance 生成的舞蹈不仅在物理上是真实的(脚部能正确着地,关节不会发生不可能的扭转),而且在风格上也十分准确。研究人员在两个大型舞蹈数据集上测试了他们的模型,其中一个包含 16 种不同的流派,另一个包含 10 种。他们发现 GCDance 生成的舞蹈看起来比以往的方法更加自然且多样化。例如,当他们要求 AI 对同一首歌进行舞蹈表演,但使用不同的风格标签时,它成功地为“震感舞(Popping)”创作了一套利落的动作,并为“傣族(Dai)”民间舞创作了一套流畅的波动动作。该系统还使用了一种特殊的“多任务”训练方法,这就像一个学生同时在准备五场不同的考试;它不仅仅是试图在某一方面做到完美,而是学习如何平衡节奏感、物理可行性和风格准确性。
最酷的功能之一是,你甚至不需要知道某种舞蹈风格的技术名称。你可以输入描述性的文字,如“一段关于和平与和谐的舞蹈”,系统就能理解这种风格并创造出相应的动作。研究人员还展示了该 AI 如何通过无缝拼接短小的舞蹈片段来处理长篇歌曲,因此舞者不会在几秒钟后就冻结或出现故障。在测试中,人们更青睐 GCDance 制作的舞蹈而非其他顶尖方法,通常是因为觉得它们更有生命力,且与音乐配合得更好。虽然论文指出,该系统目前专注于宏观风格,尚无法编辑微小的细节,例如“把左手小指移到这里”,但它代表了在使 AI 编舞既可控又充满生命力方面迈出的重要一步。