TaoLive Digital Avatar Agent Technical Report: Training Agents to Evolve with Their Harness
本文介绍了具身感知训练（Harness-Aware Training, HAT），这是一个三阶段框架，使紧凑型数字人智能体能够动态适应不断演进的电商场景约束（e-commerce harnesses）而无需重新训练，从而与基础模型及规模更大的通用大语言模型相比，实现了更卓越的实时性能和鲁棒性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在繁忙的网络购物世界中，一种新型的主播正在兴起：数字虚拟人。这些是计算机生成的虚拟人物，他们站在摄像机前，同时向成千上万的观众说话，回答有关产品的问题，并试图促成销售。为了实现这一点，虚拟人背后的计算机必须极其快速。如果思考和说话的时间过长，直播就会显得断断续续，观众就会离开。但速度只是成功的一半。虚拟人还需要足够聪明，以应对突发变化。商家可能会决定更改折扣规则，新产品可能会到货，或者安全法规可能会改变主持人被允许说话的方式。在过去，修复这些问题需要停止节目，重写计算机的“大脑”，然后重新开始。这种缓慢的过程意味着虚拟人往往受困于过时的规则，无法适应快速变化的业务需求。
TaoLive 的研究人员通过创建一个将虚拟人的“大脑”与其“规则手册”分离的系统，解决了这一问题。把虚拟人想象成一名熟练的演员。规则手册包含了剧本、处理销售的具体指令，以及它可以使用工具的列表（例如检查库存或查询价格）。大脑则是阅读剧本并进行表演的演员。在他们的新方法中，团队构建了一个灵活的规则手册，可以即时编辑而无需触动演员的大脑。他们称之为“Harness”（束架）。当商家更改价格或规则时，团队只需更新“Hverse”。随后，演员会立即阅读新的指令。然而，这带来了一个棘手的挑战：如果演员仅针对某一个特定版本的剧本进行了训练，那么当剧本发生变化时，它会感到困惑。它会记住旧的词句，而不是学习如何阅读新的内容。为了解决这个问题，研究人员开发了一种名为“Harness-Aware Training”（感知束架训练）的新型训练方法。他们不再教演员去背诵单一的剧本，而是在训练过程中，同时让它学习数百个不同版本的剧本。他们在训练过程中打乱了指令顺序、重新命名了工具并改变了规则的顺序。这迫使演员学会理解指令的“含义”，而不仅仅是死记硬背特定的词汇。
研究结果令人瞩目。团队在涉及直播电商的真实场景中测试了他们的虚拟人。他们发现，使用这种新方法训练的虚拟人在回答产品问题和处理复杂交互方面的平均准确率达到了 94.8%。这一得分甚至高于当时最强大的通用型 AI 模型，后者在相同任务上的得分约为 93.0%。至关重要的是，在学习这些特定销售技能时，新虚拟人并没有丧失遵循一般性指令的能力。旧的训练方法通常会导致通用智能的下降，但这种新方法保持了虚拟人的敏锐度和适应性。当研究人员使用一个虚拟人从未见过的规则手册版本对其进行测试时，它仍然表现出了 94.6% 的准确率，证明它确实学会了如何适应，而非仅仅是记忆。
速度是另一个主要障碍。因为虚拟人是在向现场观众讲话，它必须实时做出响应。研究人员将他们的系统部署在单块高性能显卡上。即使面临阅读不断变化的规则、检查事实和生成语音等复杂任务，虚拟人的响应依然迅速。有一半的时间，它仅用 3.4 秒就能给出一个完整的回答。即使在较慢的情况下，95% 的响应也在 8.1 秒内准备就绪。这满足了直播的严格要求，因为等待时间过长会破坏节目的流畅感。该系统还表现出了极强的鲁棒性。当研究人员故意在规则手册或工具中引入错误时，虚拟人能够恢复并正确地继续对话，而旧系统则往往会完全失效。
团队还在一个真实的购物环境中进行了实测，将其新系统与行业标准方法进行了对比。在为期七天的时间里，新系统帮助每位用户创造了比旧系统高出 5.54% 的销售收入。它还带来了订单完成数量的小幅但可衡量的增长。这些改进是在不改变底层硬件或不需要每次规则变更都重新训练模型的情况下实现的。系统只需根据发布的指令即可自动适应。
这项工作证明了构建一个既快速又灵活的 AI 智能体是可能的。通过将变化的规则与学习过程分离，并通过训练模型去预见这些变化，研究人员创造了一个可以随业务共同进化的数字主持人。虚拟人不再是一个需要不断进行软件更新才能保持相关性的静态程序。相反，它是一个动态的伙伴，能够阅读新的剧本并正确执行，无论剧本是关于夏季促销、新产品发布，还是政策的突然调整。研究结果表明，对于 AI 而言，若要在节奏极快的现实环境中真正发挥作用，它不仅要学会给出答案，还要学会如何在不断变化的世界中找到答案。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。