VolleyBots: A Testbed for Multi-Drone Volleyball Game Combining Motion Control and Strategic Play

本文提出了名为 VolleyBots 的新型多无人机排球测试平台，通过结合运动控制与策略博弈，展示了分层策略在复杂多智能体任务中的有效性，并成功实现了从零样本仿真训练到真实世界部署的跨越。

要点

这篇论文介绍了一个名为 VolleyBots（排球机器人） 的新项目。简单来说，研究人员创造了一个由无人机组成的“排球联赛”，让多架无人机在虚拟世界里像真人一样打排球。

为了让你更容易理解，我们可以把这项技术想象成**“教一群调皮的无人机打排球”**的过程。

1. 这是一个什么样的“球场”？

想象一下，你有一个巨大的、由物理引擎构建的3D 虚拟体育馆。

• 球员：不是人，而是装了“球拍”（像羽毛球拍一样的虚拟装置）的无人机。
• 规则：完全照搬人类排球的规则。球不能落地，每队最多击球三次，要过网，不能撞网。
• 难点：无人机不像人那样有肌肉和大脑，它们只有螺旋桨。它们不仅要飞得稳（低层控制），还要懂得战术（高层策略）。比如，什么时候该飞过去救球？什么时候该把球传给队友？什么时候该大力扣杀？

2. 他们是怎么“教”无人机打球的？

研究人员没有直接给无人机看人类打球视频（因为很难找到完美的专家数据），而是设计了一套**“循序渐进的训练营”**：

• 第一阶段：单人特训（练基本功）
  就像人类运动员先练体能一样。

  • 折返跑：让无人机在两点之间快速冲刺，练速度和急停。
  • 发球：让无人机把球打远，练精准度。
  • 原地垫球：让无人机在原地把球垫起来，练悬停和微调能力。
  • 结果：在这个阶段，一种叫 PPO 的算法（可以理解为一种“聪明的教练”）表现最好，它能让无人机迅速学会控制飞行。

• 第二阶段：双人配合（练默契）
  就像两个人练传球。

  • 你传我垫：两架无人机互相垫球，不能掉。
  • 一传一扣：一架无人机负责把球“托”高（二传），另一架负责“扣杀”过网。
  • 挑战：这里需要多智能体强化学习（MARL）。无人机不仅要自己飞得好，还要“猜”队友想干什么。研究发现，如果只给简单的奖励（比如球进了才给分），无人机学得很慢；如果给“中间奖励”（比如你飞得靠近球了，先给点糖吃），它们学得飞快。

• 第三阶段：正式比赛（练战术）
  这是最难的，比如 3 对 3 或 6 对 6 的大战。

  • 这里不仅有合作（队友间传球），还有对抗（要防住对手的扣杀）。
  • 现状：目前的通用算法（像 SP、PSRO 等）在简单的 1 对 1 比赛中还能打，但到了 3 对 3 这种复杂局面，它们就“懵”了，要么传不出球，要么守不住。

3. 他们找到了什么“作弊”技巧？（分层策略）

面对复杂的 3 对 3 比赛，研究人员发现让无人机“从头学起”太难了。于是他们设计了一个**“分层指挥官”**系统：

• 底层（执行者）：无人机只负责具体的动作，比如“怎么飞过去垫球”、“怎么跳起来扣杀”。这些动作是训练好的“肌肉记忆”。
• 高层（指挥官）：这是一个简单的规则大脑。它不看细节，只看大局。
  • 场景：球飞过来了 -> 指挥官下令：“后方的无人机去垫球！” -> 垫球成功后 -> 指挥官下令：“左边的无人机去二传！” -> 传好后 -> 指挥官下令：“右边的无人机去扣杀！”
• 效果：这种“大脑指挥手脚”的方法非常有效。在 3 对 3 比赛中，这套系统击败了最强的传统算法，胜率高达 69.5%。这证明了把“战术”和“操作”分开处理是解决复杂问题的关键。

4. 从“虚拟”到“现实”的飞跃

最酷的是，研究人员把在电脑里训练好的“垫球”策略，直接零样本（Zero-shot） 部署到了真实的无人机上。

• 比喻：就像你在模拟器里练了 1000 次骑自行车，然后直接骑上一辆真实的自行车，不需要重新练习就能保持平衡。
• 结果：真实的无人机成功地在空中把球垫了起来。这证明了这套系统未来真的可以应用到现实世界中。

总结

这篇论文的核心贡献在于：

1. 造了一个新玩具：VolleyBots，一个结合了飞行控制（低层）和战术博弈（高层）的复杂测试场。
2. 发现了规律：在简单任务中，某些算法（如 PPO）很强；但在复杂任务中，必须把“怎么飞”和“怎么打”分开来教（分层策略）。
3. 证明了潜力：在虚拟世界练好的技能，可以直接用到现实世界的无人机上。

这就好比我们不仅教会了无人机打排球，还找到了一套**“教机器人如何像人类一样思考并行动”**的通用方法论，未来这些技术可以用在救援、物流、甚至更复杂的机器人协作场景中。

技术摘要

VolleyBots 技术总结

1. 研究背景与问题定义

VolleyBots 是一个新颖的多无人机排球运动测试平台（Testbed），旨在解决具身智能（Embodied Intelligence）在复杂物理动态环境中的挑战。该研究针对现有机器人体育场景（如足球、乒乓球）的局限性，提出了一种结合了混合竞争与合作动态、回合制交互结构以及敏捷的 3D 机动能力的全新场景。

核心挑战：

• 控制与策略的耦合：无人机不仅需要执行底层的运动控制（如快速加速、急转弯、抗干扰），还需要进行高层的战略决策（如传球配合、进攻防守策略）。
• 缺乏专家演示：由于该任务极其复杂，目前不存在现成的人类专家演示数据，无法直接采用模仿学习，必须依赖强化学习（RL）进行试错探索。
• 物理动态复杂性：涉及非完整驱动的四旋翼动力学、球体碰撞后的姿态恢复以及多智能体间的物理交互。

2. 方法论与系统设计

2.1 环境构建 (VolleyBots Environment)

• 仿真平台：基于 NVIDIA Isaac Sim 构建，利用 OmniDrones 模拟器实现高效的 GPU 并行数据采集。
• 实体建模：
  • 无人机：采用 Iris 四旋翼模型，配备虚拟球拍（半径 0.2m，恢复系数 0.8）。
  • 球：半径 0.1m，质量 5g，具备真实的反弹物理特性。
  • 场地：标准排球场尺寸（18m x 9m），网高 2.43m。
• 动作空间：提供两种控制层级：
  • CTBR (Collective Thrust and Body Rates)：高层抽象，控制总推力和身体角速度，利于训练稳定性。
  • PRT (Per-Rotor Thrust)：细粒度控制，直接控制每个旋翼的推力，能最大化无人机敏捷性但增加仿真到现实（Sim-to-Real）的难度。
• 奖励函数设计：包含三部分：
  • 行为惩罚 (Misbehave Penalty)：防止碰撞、坠机等不合理行为。
  • 任务奖励 (Task Reward)：稀疏奖励，仅在完成特定任务（如击球、得分）时给予。
  • 塑形奖励 (Shaping Reward)：提供中间反馈（如向球移动、击球方向），加速复杂任务的收敛。

2.2 任务课程 (Curriculum of Tasks)

受人类排球学习过程启发，设计了从单智能体到多智能体、从合作到竞争的渐进式任务：

1. 单智能体任务：往返跑 (Back and Forth)、击球 (Hit the Ball)、单人垫球 (Solo Bump)。主要评估底层运动控制能力。
2. 多智能体合作任务：双人垫传 (Bump and Pass)、一传二扣 (Set and Spike - Easy/Hard)。引入回合制配合，评估协同能力。
3. 多智能体竞争任务：1v1、3v3、6v6 对抗赛。完全模拟排球比赛规则，要求同时具备低层控制和高层战略。

2.3 算法基准与层级策略

• 基准算法：对多种强化学习（RL）、多智能体强化学习（MARL）及博弈论算法进行了基准测试，包括 DQN, DDPG, PPO, MADDPG, MAPPO, PSRO 等。
• 层级策略 (Hierarchical Policy)：针对 3v3 任务中现有算法难以兼顾控制与策略的问题，提出了一种分层策略：
  • 底层 (Low-level)：使用 PPO 训练具体的“技能”（如悬停、发球、垫球、二传、扣球）。
  • 高层 (High-level)：基于规则的决策器，根据比赛状态（如球的位置、回合数）动态分配底层技能给不同的无人机。

3. 关键实验结果

3.1 单智能体任务表现

• 算法对比：PPO (On-policy) 在所有任务和动作空间配置下均表现最佳，展现出比 Off-policy 方法（如 DDPG, SAC）更强的鲁棒性和跨任务泛化能力。DQN 因无法处理连续动作空间而完全失败。
• 动作空间：PRT（细粒度控制）在最终性能上略优于 CTBR，但 CTBR 在某些任务中收敛更快。

3.2 多智能体合作任务表现

• 算法表现：On-policy 方法（MAPPO, HAPPO, MAT）成功完成了所有合作任务，而 Off-policy 方法（QMIX, MADDPG）表现不佳甚至失败。
• 奖励塑形：引入塑形奖励显著提升了复杂任务（如 Set and Spike Hard）的学习效率和成功率。

3.3 多智能体竞争任务表现

• 现有算法局限：在 1v1 和 3v3 任务中，博弈论算法（SP, FSP, PSRO）能学会基本的发球和接球，但在 6v6 大规模对抗中未能收敛到有效策略。
• 层级策略突破：提出的分层策略在 3v3 任务中，面对最强的基准策略（SP），取得了 69.5% 的胜率。这证明了将高层战略与底层控制解耦是解决此类复杂问题的有效途径。

3.4 仿真到现实 (Sim-to-Real)

• 研究展示了在仿真中完全训练的策略（Solo Bump 任务），在零样本 (Zero-shot) 情况下直接部署到搭载球拍的物理四旋翼无人机上，并成功完成了多次垫球任务，验证了平台的现实部署潜力。

4. 主要贡献

1. VolleyBots 平台发布：首个集成了混合竞争/合作动态、回合制交互和敏捷 3D 机动的无人机排球测试平台，填补了高机动平台与复杂策略决策结合的研究空白。
2. 任务课程与基准：发布了一套从单智能体到多智能体、从合作到竞争的完整任务课程，并提供了涵盖 RL、MARL 和博弈论算法的广泛基准评估结果，促进了可复现研究。
3. 分层策略验证：设计并验证了一种分层策略，在 3v3 任务中显著优于传统基线，为解决“底层控制 + 高层策略”的复杂耦合问题提供了新思路。
4. Sim-to-Real 能力展示：成功实现了从纯仿真训练到真实物理无人机的零样本部署，证明了该平台的实用价值。

5. 研究意义与展望

VolleyBots 不仅是一个机器人体育测试平台，更是推动具身智能和多智能体系统发展的关键基础设施。

• 理论价值：揭示了当前强化学习算法在处理“控制 - 策略”双重挑战时的局限性，特别是 Off-policy 方法在复杂多智能体场景中的不足，以及层级化方法在解决长视距依赖和复杂决策中的优势。
• 应用前景：该平台的成果可迁移至其他需要高机动性与复杂协作的领域，如无人机编队、灾难救援协作、以及更广泛的物理交互任务。
• 未来方向：未来的工作可进一步探索视觉输入（目前主要依赖状态观测）、更复杂的混合博弈算法（如 Team-PSRO）以及更大规模（如 6v6）的实机部署。

总结：VolleyBots 通过构建一个高难度、高动态的排球对抗环境，成功验证了分层强化学习在解决复杂机器人控制与策略问题上的潜力，为未来具身智能在真实物理世界中的广泛应用奠定了坚实基础。