UNIEGO: Proxies as Mediators for Unified Egocentric Video Representation Learning
UNIEGO 引入了一种分层多教师蒸馏框架，该框架采用特定于表示的代理模型（Proxy models）和选择性代理蒸馏策略，将来自多种视角、模态和基础模型的多元知识统一到一个最先进的第一视角视频编码器中。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图学习烹饪一道复杂的菜肴，但你戴着眼罩，面前只有一个极其微小的窥视孔。你可以看到锅，但看不见你的手、台面上的食材，也看不见站在你身边的其他人。这正是计算机在理解以人为中心视角（即第一人称视角视频/egocentric video）拍摄的视频时所面临的问题：摄像头看到的视野狭窄、晃动，且经常被遮挡，错失了关于人体或周围环境的关键细节。
本文介绍了一个名为 UNIEGO 的新系统来解决这个问题。把 UNIEGO 想象成一位想要学习完美食谱的大厨，但他们不仅仅是透过那个微小的窥视孔观察，而是拥有一支由九位专家组成的教师团队。
以下是 UNIEGO 的工作原理，分为几个简单的步骤：
1. 问题所在：老师太多，语言不通
通常，如果你想向许多老师学习，你会让他们同时向你授课。但在这种情况下，这些老师说着不同的“语言”，并从不同的角度观察世界：
- 视角差异（The Viewpoint Gap）： 有些老师和你戴着同样的摄像头（第一人称视角），而有些则站在房间另一头观察你（第三人称视角）。
- 模态差异（The Modality Gap）： 有些老师通过标准彩色图像（RGB）观察，有些通过 3D 深度信息（类似于夜视传感器），还有些只看你的骨骼结构。
- 模型差异（The Model Gap）： 有些老师是巨大的、经过预训练的 AI 模型（基础模型），它们了解很多关于世界的知识，而另一些则是针对特定任务的专业化模型。
如果你试图同时听取这九位老师的教导，就像是在一个所有人都在用不同语言大声叫喊的房间里。学生会感到困惑，指令会发生冲突，最终什么也学不到。这就是所谓的**“梯度冲突（conflicting gradients）”**。
2. 解决方案：“代理人”翻译官
UNIEGO 不让学生直接与老师对话。相反，它聘请了一支**代理人（Proxies）**团队。
把这些代理人想象成口译员。
- 每位老师（骨骼专家、深度相机、巨大的 AI）都只教导一个特定的代理人。
- 至关重要的一点是，每个代理人都说与最终学生相同的“语言”：他们都通过同一个“第一人称视角”的窥视孔来看待视频。
- 老师向代理人传授其特定的知识（例如：“这是骨骼移动的方式”），然后代理人将这些知识转化为学生可以理解的格式。
在第一阶段结束时，学生拥有了九个口译员池，他们虽然持有来自不同专家的不同知识碎片，但都在说同一种语言。
3. 智能过滤器：“选择性代理蒸馏”
现在到了棘手的部分。即使有了口译员，有时某个口译员也可能对视频中的某个瞬间产生误解或感到困惑。如果学生听取了一个困惑的口译员的建议，他们就会学到错误的东西。
UNIEGO 使用了一个名为**选择性代理蒸馏（Selective Proxy Distillation, SPD）**的智能过滤器。
- 对于视频中的每一个时刻，UNIEGO 都会询问口译员：“谁现在既自信又正确？”
- 它会忽略那些不确定或错误的口译员。
- 它只听取那几个对答案非常有把握的顶尖口译员的意见。
这就像是在教室里，一个学生只在老师百分之百确定答案时才举手倾听，而忽略那些正在猜测的老师。这防止了学生被错误的建议所误导。
4. 平稳起步：“代理合并”
在学生开始向口译员学习之前，UNIEGO 会给他们一个“领先优势”。它通过数学方法将所有口译员的知识融合在一起，创造出一个已经相当不错的起点。这让学生处于一个“安全区”，使学习过程更容易，且不太容易脱离轨道。
结果
最终的结果是 UNIEGO，一个单一的 AI 模型，它：
- 在实际使用中只需要一个摄像头（佩戴式摄像头）即可工作。
- 掌握的知识比任何单个摄像头能看到的都要多，因为它接受了深度信息、骨骼结构和外部视角的综合智慧训练。
- 在动作识别、视频检索和视频片段切割方面的表现，优于以往任何尝试直接结合这些视角的算法。
简而言之，UNIEGO 是一个通过聘请翻译团队来学习的高级学生，它将一个嘈ibly（嘈杂）的专家叫喊室转变为一堂清晰的课程，并确保它只在正确的时间听取最优秀的建议。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。