Affinity Contrastive Learning for Skeleton-based Human Activity Understanding

本文提出了 ACLNet 网络,通过引入亲和度度量构建活动超类、动态温度调度及基于边界的对比策略,有效解决了现有骨架动作识别方法中类间结构相似性利用不足及异常正样本干扰的问题,并在多个基准数据集上实现了优越的性能。

Hongda Liu, Yunfan Liu, Min Ren, Lin Sui, Yunlong Wang, Zhenan Sun

发布于 2026-02-25
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇论文介绍了一种名为 ACLNet 的新方法,旨在让计算机更聪明地“看懂”人的动作。

想象一下,你正在教一个刚学走路的孩子(也就是人工智能模型)识别不同的动作,比如“写字”、“打字”和“阅读”。

1. 以前的困难:孩子容易“张冠李戴”

在传统的教学方法中,计算机主要靠死记硬背来区分动作。但骨骼数据(就像只有骨架没有肉的人)有个大问题:很多动作长得太像了

  • 比如,“写字”和“打字”,手都在动,手腕都在转。
  • 比如,“挥手”和“比 OK 手势”,手指都在动。

以前的算法就像是一个死板的老师,它只告诉孩子:“这是写字,那是打字,它们完全不一样,别搞混了。”结果孩子遇到稍微有点变形的动作(比如手抖了一下,或者角度偏了),就彻底懵了,把“写字”认成了“打字”。

2. 这篇论文的妙招:建立“动作家族”和“拉大距离”

ACLNet 就像一位更有经验的教练,它用了两个聪明的策略来教孩子:

策略一:建立“动作家族” (Affinity Contrastive Learning)

比喻:把“亲戚”聚在一起,再教他们怎么区分。
以前的方法把每个动作都当成独立的个体。但 ACLNet 发现,有些动作虽然属于不同的类别,但它们其实是“亲戚”(比如“阅读”和“写字”,手都在做精细操作)。

  • 做法:它先给这些动作“认亲”,把它们归入同一个"动作家族"(Motion Family)。
  • 效果:一旦知道它们是亲戚,教练就会特意加强训练,告诉孩子:“看,虽然‘阅读’和‘写字’是亲戚,长得像,但你们要特别注意它们之间微小的差别(比如一个是拿书,一个是拿笔)。”
  • 动态调整:如果这个家族成员很多(动作很复杂),教练就会用一种“温和”的惩罚;如果家族成员很少(动作很独特),教练就会用“严厉”的惩罚。这叫动态温度调节,让学习过程更灵活。

策略二:给“捣蛋鬼”划清界限 (Intra-class Marginal Contrastive)

比喻:把容易混淆的“坏学生”和“好学生”强行拉开距离。
在同一个动作类别里(比如都是“跑步”),有些人的跑姿特别奇怪(比如有人跑得像在跳舞),这些就是“捣蛋鬼”(Anomalous Positive Samples)。以前的方法容易让这些“捣蛋鬼”混进别的类别里。

  • 做法:ACLNet 给这些容易混淆的“捣蛋鬼”画了一条安全红线(Margin)。
  • 效果:它强制要求:“不管你怎么跑,你的动作必须和‘跳舞’保持足够远的距离,哪怕你跑得再奇怪,也不能越界。”这样,即使动作有点变形,计算机也能稳稳地认出它是“跑步”。

3. 实际效果:从“模糊”到“清晰”

论文在六个不同的“考场”(数据集)上进行了测试,包括:

  • 动作识别(像 NTU RGB+D,Kinetics 等):识别你在做什么动作。
  • 步态识别(像 CASIA-B):通过走路姿势认出你是谁。
  • 行人重识别:在监控里认出同一个人。

结果就像
以前,计算机看“写字”和“打字”可能只有 90% 的把握;用了 ACLNet 后,它不仅能认出动作,还能在动作很模糊、甚至被遮挡(比如手被挡住)的情况下,依然保持极高的准确率(比如从 90% 提升到 93% 甚至更高)。

总结

简单来说,这篇论文做了一件很酷的事:
它不再让计算机死板地记忆动作,而是教计算机理解动作之间的“亲疏关系”

  1. 先帮动作找亲戚(建立家族),集中火力攻克那些长得像的难点。
  2. 再给容易搞混的动作划红线(拉大距离),防止它们乱跑。

这种方法让计算机在识别动作、认人、甚至通过走路姿势认人时,变得像经验丰富的侦探一样敏锐,哪怕线索(骨骼数据)不完整或有点乱,也能精准破案。这对未来的安防监控、医疗康复分析(比如看病人走路姿势是否正常)都有巨大的帮助。

在收件箱中获取类似论文

根据您的兴趣定制的每日或每周摘要。Gist或技术摘要,使用您的语言。

试用 Digest →