🤖 machine learning

KOALA: Koopman Operator Learning for WiFi-Based Anticipatory Hum

KOALA 是一个新颖的框架，它能够通过将姿态序列提升到非线性动力学被线性化的学习型 Koopman 潜在空间中，从而实现从噪声 WiFi CSI 直接进行鲁棒的多时界人体运动预测，以此避免自回归方法中典型的误差累积问题，并引入了特定的架构组件来解决常见的动力学陷阱。

原作者： Quang-Anh N. D., Duc Pham Minh, Thao Phuong Pham, Minh Anh Nguyen, Huan X. Nguyen, Tuan Dang

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Quang-Anh N. D., Duc Pham Minh, Thao Phuong Pham, Minh Anh Nguyen, Huan X. Nguyen, Tuan Dang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你试图在灯光熄灭、墙壁厚实且摄像头损坏的房间里看电影。这就是许多依赖摄像头来理解人类运动的智能系统所面临的日常现实。摄像头需要清晰的视线，它们在黑暗中表现不佳，而且当被放置在家庭或医院时，还会引发严重的隐私担忧。多年来，科学家们一直在寻找一种无需实际“看见”就能实现“视觉”效果的更好方法。他们在充斥着我们家庭的不可见 Wi-Fi 信号波中发现了一个极具前景的候选方案。这些信号会从各种物体上反弹，包括人，而随着人的移动，信号发生变化的方式携带了运动的隐藏特征。虽然研究人员已经掌握了如何利用这些信号来推测一个人当前站在哪里，但一个更难的问题仍然存在：计算机能否在一个人到达某个位置之前，预测他将去向何处？

发表在《机器学习研究汇刊》（Transactions on Machine Learning Research）上的一项新研究介绍了一个名为 KOALA 的系统，旨在回答这个问题。研究人员利用来自两个主要 Wi-Fi 感知数据集的数据，开发出一种方法，能够将来自 Wi-Fi 路由器的嘈杂、跳跃的信号转化为可靠的人类运动预测。与以往尝试基于上一时刻来猜测下一时刻（这一过程往往会导致错误级联）的方法不同，KOALA 使用了一种数学方法，将整个未来视为一条单一的线性路径。该系统成功地将人类姿态预测到了未来两秒钟，其准确度远超现有方法，证明了 Wi-Fi 不仅可以连接设备，还可以预判人类的行为。

通过 Wi-Fi 预测运动所面临的挑战与使用视频摄像头进行预测有着本质的区别。当摄像头记录一个人时，它捕捉到的是清晰、详细的骨骼图像。然而，Wi-Fi 看到的却是充满干扰的迷雾。当一个人移动时，他们的身体部位会反射并散射无线电波，产生复杂的信号变化模式，这些模式通常是不完整的且充满了静态噪声。以前的系统将此视为一个简单的基于信号猜测当前位置的问题，但它们未能对位置随时间的变化进行建模。当研究人员尝试将标准的视频预测技术应用于这些混乱的 Wi-Fi 信号时，误差会迅速堆积。如果系统错误地猜测了下一步，这个错误就会成为下一次猜测的起点，导致预测迅速变成乱码。

KOALA 通过改变计算机思考问题的方式解决了这一难题。它不再尝试一步步预测下一个姿态，而是将整个运动序列提升到一个特殊的数学空间中，在这个空间里，运动的规则变得简单且笔直。在这个空间中，人体复杂的扭曲路径可以用一个适用于未来每一个时刻的单一、不变的规则来描述。研究人员构建了一个神经网络，学习将杂乱的 Wij-Fi 信号转化为这种清晰的空间，应用该规则进行时间跳转，然后将结果转化回人类姿态。由于该系统不需要一步步进行猜测，因此避免了困扰其他方法的误差累积问题。它可以观察当前的信号，并瞬间计算出一个人在一秒、两秒甚至更长时间后的位置，而预测不会发生退化。

为了实现这一点，团队必须克服一个特定的问题，即系统会简单地复制当前姿态并假装一切都不会改变——这种方案对于极短的时间有效，但对于较长时间则会失效。他们通过设计让系统仅预测当前姿态与未来姿态之间的差异，而非预测姿态本身，从而解决了这个问题。他们还加入了一种特殊的训练方法，迫使系统在不同时间尺度上保持一致性，确保它学到的数学规则确实反映了人类的运动方式。其结果是一个即使在 Wi-Fi 信号嘈杂或环境变化时也能保持稳定的模型。

研究人员在两个包含数千个不同房间内人们移动和执行各种动作的大型数据集上测试了 KOALA。在一项涉及二维运动的测试中，系统在预测未来十分之一秒的姿态时，平均误差仅为 26.14 毫米；在预测一秒后的姿态时，误差为 27.28 毫米。这相比于次优方法有了显著的改进，后者的准确度低了约 19%。在更困难的三维运动测试中，该系统的表现大幅超越了所有其他方法，在最短时间尺度上，其误差比表现最好的竞争方法降低了六倍以上。至关重要的是，随着预测时间的增加，误差增长缓慢且平稳，而其他方法的误差则会出现爆炸式增长或趋于平缓，这表明它们只是在猜测平均位置，而不是在追踪真实的运动。

研究结果表明，Wi-Fi 信号包含足够的信息，不仅可以定位一个人，还可以高精度地预测其未来的运动。这种能力可以改变智能环境与人的交互方式，实现家庭中的主动协助、工厂中更安全的人机协作以及医疗监控中的早期干预。该系统无需人员佩戴任何传感器，也无需被摄像头观测，提供了一种始终开启且始终“倾听”的隐私保护替代方案。虽然目前的版本是为单人设计的，并假设环境相对稳定，但该方法的成功为更复杂的应用打开了大门。研究人员指出，未来的工作可以扩展到同时预测多个人的运动，或者处理更突然的行为变化，但核心成就依然明确：机器已经学会了从 Wi-Fi 信号的静态噪声中预见未来。

技术摘要：KOALA —— 基于 Koopman 算子学习的 WiFi 预测性人体动作建模

1. 问题陈述

本文解决了利用 WiFi 信道状态信息 (CSI) 进行预测性人体动作预测的挑战。虽然 WiFi CSI 为基于相机的人体姿态估计提供了一种保护隐私且无需基础设施的替代方案，但现有方法将姿态推理视为瞬时回归问题。这些方法未能对时间动力学进行建模，导致无法实现对未来动作的预测。

直接将基于视觉的预测方法应用于由 CSI 推导出的姿态是无效的，原因如下：

噪声放大： 由于多径衰落和环境干扰，由 CSI 推导出的姿态本质上是多噪且不完整的。自回归展开会在每一步中放大这些误差。
时间不稳定性： 与干净的动作捕捉序列不同，从 CSI 中提取的时间动力学较不稳定，且更难建模。
误差累积： 多步预测（Multi-horizon prediction）需要保持长序列的一致性，而标准的自回归策略在这一任务中会受到曝光偏差和误差累积的影响。

核心问题在于：如何在不依赖自回归迭代或随时间累积误差的情况下，从嘈杂的 WiFi 信号中预测未来的骨骼状态。

2. 方法论：KOALA 框架

作者提出了 KOALA（具有注意力提升架构的 Koopman 算子），这是一个统一的框架，旨在将嘈杂的 CSI 衍生姿态序列提升（lift）到一个学习到的 Koopman 潜在空间中。在该空间内，非线性动力学被转化为线性动力学，从而通过简单的矩阵-向量乘法实现多步预测。

2.1 架构概览

该框架分为四个连续阶段运行：

CSI 编码：
- 一个基于 Mamba 的编码器处理原始 CSI 张量 ( $X \in \mathbb{R}^{T \times S \times A}$ )，以提取逐帧特征和全局上下文向量 ( $c$ )。
- 选择 Mamba 架构是因为其线性时间处理能力，适用于人体移动经过菲涅耳区（Fresnel zones）时产生的长程相关性。
- 全局上下文 $c$ 仅对 Koopman 算子进行条件化，这实现了这样一种归纳偏置：即 CSI 调节的是动作演化的“方式”，而非动作本身的“内容”。
集成姿态估计与编码：
- HPE 模块： 一个基于 Mamba 的人体姿态估计模块，从 CSI 特征中恢复估计的 3D 关节坐标。它利用了关节条件的时序精细化、解剖学嵌入以及骨骼偏置自注意力机制。
- 梯度脱离（Gradient Detachment）： 至关重要的是，估计的姿态在进入动力学模块之前从计算图中脱离。这隔离了姿态定位目标与预测目标，防止预测损失降低几何姿态的准确性。
- 骨骼编码器： 通过具有共享解剖类型嵌入的骨骼感知编码器，将估计的姿态转换为紧凑且具有运动学结构的特征。
双流融合与 Koopman 动力学：
- 融合： 姿态衍生特征与 CSI 特征通过加性残差融合进行结合。这确保了动力学模块能接收到直接的 CSI 信息，防止不准确的姿态估计主导表示。
- 提升（Lifting）： 一个神经网络 ( $\phi$ ) 将融合后的特征映射到更高维度的 Koopman 潜在空间 ( $z_t \in \mathbb{R}^{D_z}$ )，其中 $D_z > d$ 。
- 残差 CSI 条件化算子： 核心创新是一个残差 Koopman 算子 ( $K_{eff}$ $K_{e f f}$ )，定义为：
  $K_{eff} = I + B + \gamma U(c)V(c)^\top$
  - $I + B$ ：捕捉共享的基础动力学。
  - $\gamma U(c)V(c)^\top$ ：一个低秩项，根据全局 CSI 上下文 ( $c$ ) 调整动力学，以应对特定环境的多径效应。
  - 这种公式化方法通过将恒等矩阵内置于架构中而非通过初始化强制执行，解决了恒等吸引子问题（即算子坍缩为恒等矩阵 $I$ 的问题）。
基于锚点的解码：
- 模型不是预测绝对姿态，而是预测相对于锚点姿态（观测到的最后一个姿态）的姿态增量（deltas）。
- 未来状态通过 $z_{T+k} = K_{eff} z_{T+k-1}$ 进行传播（每步仅需一次矩阵-向量乘法）。
- 最终预测为 $\hat{p}_{T+h} = \bar{p} + \Delta_\theta(z_{T+h})$ 。这种“锚点-增量”公式消除了在所有预测步中简单复制当前姿态的退化捷径。

2.2 损失函数

训练目标 ( $L$ ) 结合了三个项，无需单独的对比、谱分析或辅助损失：

预测损失 ( $L_{pred}$ )： 对所有预测步的姿态空间误差进行惩罚，并对长步长进行加权。
Koopman 锚定潜在空间 (KAL) 损失 ( $L_{KAL}$ )： 一种在时序编码器特征空间中运行的新颖损失。它要求算子展开的结果必须与模型在观察到未来帧时所产生的特征相匹配。
- 它包含一个重建项 ( $k=0$ ) 和步长加权的预测项 ( $k>0$ )。
- 短步长在 KAL 梯度中占主导地位以确保稳定性，而长步长的监督则由 $L_{pred}$ 处理。
- 该损失强制执行动力学一致性，并防止提升网络和重建网络坍缩为算子范数无限增长的退化解。
姿态估计损失 ( $L_{est}$ )： 使用地面真值观测姿态来监督 HPE 模块。

3. 核心贡献

新颖框架： KOALA 是第一个直接从 WiFi CSI 进行多步人体姿态预测的统一框架，架起了射频感测与预测性动作理解之间的桥梁。
残差 CSI 条件化算子： 引入了一种残差参数化方法，解决了先前 Koopman 方法中存在的恒等吸引子问题，并配合锚点-增量预测公式以防止均值姿态坍缩。
Koopman 锚定潜在空间 (KAL) 损失： 将重建、线性化和稳定性目标整合进单一的特征空间预测项中，消除了对复杂对比损失或谱损失的需求。
鲁棒性能： 在标准数据集上证明了在短时和长时预测跨度下均优于基准模型的持续领先表现。

4. 实验结果

作者在两个数据集上评估了 KOALA：WiPose（2D 姿态）和 MM-Fi（3D 姿态，大规模、多受试者、多环境）。

WiPose (2D)： KOALA 在所有预测步长下均实现了最低的 MPJPE 和 PA-MPJPE（例如，100ms 时为 26.14 mm，1000ms 时为 27.28 mm）。它比最强的基准模型 (VMRNN) 提升了约 19%。至关重要的是，误差随步长增加的退化非常小（仅 1.14 mm），表明不存在显著的误差累积。
MM-Fi (3D)： KOALA 在所有基准模型（包括针对 WiFi 设计的 MetaFi++ 以及时空模型 VMRNN）面前都展现出了大幅度的领先优势。
- 在 100ms 时，KOALA 的 MPJPE 为 52.1 mm，大约是竞争对手中最强模型 (SwinLSTM, 332.6 mm) 的 6.4 倍低。
- PCK@10 达到了 73.9%，而没有任何基准模型能超过 18.1%。
- 该模型在跨受试者和跨环境设置下保持了高性能，误差增长是适度的而非指数级的。

5. 重要性与主张

本文声称 KOALA 为无线信号中的人体动作预测建立了新的范式。其重要性在于：

克服噪声： 成功地从本质上多噪的 CSI 数据中建模时间动力学，避免了自回归方法典型的误差累积问题。
非线性线性化： 利用 Koopman 理论将复杂的非线性人体运动转化为线性潜在空间，从而实现高效、非迭代的多步预测。
隐私与普及性： 为智能家居、医疗保健和人机协作等应用提供了一种高精度、保护隐私的替代方案。

局限性与未来工作：
作者坦诚地承认了当前的局限性：

目前的公式处理单人场景，尚未解决多占用者情况下的信号叠加问题。
CSI 条件化算子尚未在零样本跨站点迁移下得到验证。
模型生成的是单一确定性预测，缺乏捕捉可能未来动作完整分布的能力。
“时间不变动力学”的假设在发生剧烈动作转换时可能会失效。

建议未来的工作包括将 KOALA 扩展到概率预测，并通过混合算子（mixture-of-operators）或模式切换扩展来处理突发性的动作转换。