Visual Hand Gesture Recognition with Deep Learning: A Comprehensive Review of Methods, Datasets, Challenges and Future Research Directions
本文全面综述了视觉手势识别领域，系统性地组织了涵盖静态、孤立动态及连续任务的深度学习方法、数据集与评估指标，同时指出了当前面临的挑战并勾勒出未来的研究方向。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教计算机理解人类的手势，比如挥手说“你好”、指向菜单，或者用手语表达一个句子。本文是为那些希望构建最佳“手势翻译器”的研究人员提供的一份详尽的“旅行指南”。
以下是作者发现的内容概要，使用了简单的类比：
1. 全景图：为什么我们需要这份指南？
长期以来，研究人员一直在尝试教计算机“看”懂并理解手部动作。虽然已有成千上万项独立研究（就像成千上万的人试图解决同一个拼图），但此前并没有一本大书能将所有碎片组织起来。
本文填补了这一空白。它审视了238 项近期研究（2021 年至 2025 年），绘制出一幅清晰的当前技术现状地图。这就像一份“最佳精选”合集，告诉你：
- 目前哪些方法效果最好？
- 人们正在使用哪些数据（数据集）？
- 阻碍我们构建完美手势系统的最大难题（挑战）是什么？
2. 三大主要“游戏”（任务）
作者将研究组织为三种不同类型的“游戏”，每种都有其独特的难度等级：
- “定格画面”游戏（静态识别）：
- 是什么： 计算机查看单张手部照片并猜测其含义（例如：“那是个‘竖起大拇指’"）。
- 结论： 这是最简单的游戏。简单的模型可以做得很好，几乎像孩子学习形状一样。这里的主要问题在于“练习照片”（数据集）往往太小，或者是在完美光照下拍摄的，因此当现实世界变得杂乱时，计算机就会感到困惑。
- “短视频”游戏（孤立动态识别）：
- 是什么： 计算机观看手部移动的短视频（例如：“挥手说你好”）并猜测其含义。
- 结论： 这更难，因为计算机必须理解运动，而不仅仅是形状。这里的最佳选手会混合使用“骨架”数据（追踪骨骼）和“外观”数据（观察皮肤和衣物）。
- “电影”游戏（连续识别）：
- 是什么： 计算机观看一段未经剪辑的长视频（例如手语新闻广播），必须找出一个手势何时结束、下一个何时开始，并翻译整个句子。
- 结论： 这是最难的一关。这就像试图转录一段语速极快的对话，却不知说话者确切何时停顿。计算机常常迷失方向，而执行此任务所需的模型非常庞大，运行成本极高。
3. 工具箱：他们是如何做到的？
本文将所有方法归类为一个“分类体系”（一种高级的文件管理系统）。以下是他们使用的主要工具：
- 眼睛（输入）：
- RGB： 普通相机（如你的手机）。
- 深度/骨架： 特殊相机，可识别 3D 形状或追踪手部的“火柴人”骨架。
- 混合模式： 最佳结果通常来自将普通视频与骨架数据相结合，就像同时拥有地图和指南针。
- 大脑（架构）：
- 2D CNN： 擅长查看单张图片。
- 3D CNN 与 Transformer： 擅长观看视频并理解事物随时间的变化。
- 图网络： 将手视为相互连接的关节网络，非常适合理解手指如何协同运动。
4. “练习场”（数据集）
为了训练这些计算机，你需要大量的练习视频。本文回顾了研究人员最常用的“健身房”（数据集）：
- “手语”健身房： 有针对美国手语、英国手语和德国手语的庞大数据集。有些是在完美的工作室中录制的（简单），有些则是从互联网或电视上抓取的（更难、更真实）。
- “指令”健身房： 这些用于“停止”、“前进”或“左转”等简单手势，常用于控制机器人或汽车。
- 问题所在： 许多这些“健身房”规模太小，或者包含的参与者太少。这就像只让一名足球运动员与一支特定的球队对抗；他们可能赢得那场比赛，但面对新对手时就会失败。
5. 大难题（挑战）
尽管取得了所有这些进展，作者仍指出了四个尚未解决的主要障碍：
- “杂乱房间”问题： 当背景杂乱、光线不佳或手部模糊时，计算机就会感到吃力。它们会被非手部的事物分散注意力。
- “沉重背包”问题： 最智能的模型极其庞大。它们需要巨大的计算能力（如超级计算机）才能运行。这使得将它们部署在手机或小型机器人上变得困难。
- “数据不足”问题： 针对罕见手语或具有不同肤色和手型的人群，缺乏足够的练习视频。这意味着计算机存在偏见，可能无法为所有人服务。
- “困惑的大脑”问题： 在尝试翻译长段手语句子时，计算机的训练会变得混乱。很难教会模型专注于视频的正确部分而不被压垮。
6. 我们接下来该何去何从？
本文提出了一些解决这些问题的方法：
- 更好的训练： 我们不仅要给计算机展示更多视频，还需要教它忽略背景并专注于手部（使用“注意力”机制）。
- 更轻的模型： 我们需要缩小这些“沉重背包”，以便它们能在日常设备上运行。
- 更多样性： 我们需要从更多现实世界的情境中收集数据，而不仅仅是完美的实验室。
- 新技巧： 利用“生成式 AI"（例如创建虚假的练习视频）来填补真实数据缺失的空白。
总结
简而言之，本文指出：“我们已经构建了一些非常聪明的计算机，它们能够理解手势，尤其是针对简单任务。但要让它们在现实世界中完美工作——比如在嘈杂的房间中翻译手语，或远程控制机器人——我们需要让它们变得更聪明、更小巧，并在更多样化的数据上进行训练。”
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。