🧬 biology

Behavioral Geometric Supervision Aligns Video Foundation Models with Human Social Perception

本文介绍了行为几何监督（BGS），这是一种混合目标，通过约束嵌入几何以匹配人类相似性判断，使视频基础模型与人类社会感知保持一致，从而让模型在无需显式训练相关特征的情况下，显著超越基于语言的基线方法、发展出可解释的社会情感属性，并将注意力转向具有社会信息量的区域。

原作者： Kathy Garcia, Leyla Isik

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kathy Garcia, Leyla Isik

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

以下是用通俗语言和日常类比对该论文的解读。

核心难题：AI 能“看”视频，却不懂“人”

想象一下，你给一个非常聪明的 AI 和一个人类看一段两个人争吵的视频。

人类能瞬间理解其中的社交细微差别：“他们虽然很沮丧，但彼此依然互相关心”，或者“这只是一场友好的竞争”。
AI（特指目前最先进的视频模型）主要看到的只是移动的像素。它或许能识别出“有人举起了手”或“有人在喊叫”，但它无法理解人与人之间的关系或情感。

研究人员发现，如果你让 AI 猜测三个视频片段中哪两个最相似，它的表现甚至不如一个简单的基于文本的 AI，后者只需阅读描述视频的字幕即可。换句话说，AI 更擅长阅读“电影简介”，而不是真正“观看电影”去理解社交动态。

解决方案：用“找不同”游戏教导 AI

研究人员希望在不进行昂贵的脑部扫描或收集海量新数据的情况下解决这个问题。他们引入了一种名为行为几何监督（Behavioral Geometric Supervision, BGS）的方法。

这就像教孩子识别情绪，不是给他们一本教科书，而是通过玩游戏：

游戏：向 AI 展示三个短视频片段。问它：“哪一个是异类？”（例如：“两个片段显示朋友拥抱，一个显示陌生人打架。哪个是不同的？”）
人类教师：人类玩了几千次这个游戏，绘制出了一张关于我们如何看待社交相似性的巨大地图。
课程：研究人员并没有直接告诉 AI 正确答案。他们调整了 AI 内部的“大脑”，使其对视频之间“距离”的数学理解与人类地图相匹配。如果人类认为视频 A 和视频 B 非常相似，AI 就被迫将其内部对 A 和 B 的表示调整得非常接近。

关键要素

为了让这一方法高效运作，他们使用了两个主要工具：

LoRA（低秩自适应）：想象视频 AI 是一座巨大而沉重的图书馆。与其重建整座图书馆，他们添加了一个小巧轻便的“笔记本”（更新了 AI 大脑中不到 2% 的部分），让它学习新的社交规则。这既快速又廉价。
混合损失函数（局部 + 全局）：他们通过两种方式同时教导 AI：
- 局部：“确保这一对特定的视频比那一对更近”（就像答对具体的游戏题目）。
- 全局：“确保整个关系地图看起来像人类地图”（就像理解社交世界的整体形态）。

结果：发生了什么变化？

经过这种训练后，AI 不仅在游戏上表现更好，而且从根本上改变了它“看”世界的方式。

它击败了文本 AI：训练后的视频模型在匹配人类社交判断方面，超过了那些仅阅读字幕的基于文本的模型。这证明 AI 学到了仅靠文字无法捕捉的视觉内容。
它学会了“隐形”特质：从未被告知“愤怒”、“喜悦”或“支配”意味着什么，AI 开始自主识别这些概念。就像一个学生在研究了许多“友谊”的例子后，突然意识到自己可以识别“信任”，而无需任何人定义这个词。
它看向了正确的地方：在训练之前，AI 关注的是背景或随机的身体部位。训练之后，它的注意力转移到了面部、眼睛和手上——这正是人类用来理解社交互动的地方。
它没有忘记如何跳舞：通常，当你教 AI 一个新技巧时，它会忘记旧技巧。但这台 AI 依然像以前一样擅长识别标准动作（如“跳舞”或“跑步”）。它在保留原有技能的同时，增加了社交理解能力。

结论

该论文表明，视频 AI 模型已经拥有理解人类社交互动的原始数据，只是它们对此“沉睡”未醒。通过使用少量人类行为数据（人们玩“找不同”游戏），研究人员成功“唤醒”了这种社交理解。

他们证明，你不需要用复杂的人类行为规则来编程 AI；你只需要向它展示人类如何比较视频，AI 就会自然地学会像我们一样看待世界。

技术摘要：行为几何监督将视频基础模型与人类社会感知对齐

1. 问题陈述

当前的视频基础模型，即使是像 V-JEPA 2 这样的最先进自监督架构，也无法捕捉人类如何在动态场景中组织社会信息。虽然这些模型在动作分类（例如区分“跳舞”和“烹饪”）方面表现出色，但与语言模型相比，它们系统地无法解释人类对社会相似性的判断。具体而言，基于字幕的句子嵌入（例如 MPNet）在预测人类对社会视频片段相似性判断方面，始终优于预训练的视频编码器。这表明存在一个“表征差距”：视频预训练目标遗漏了人类社会感知中固有的关系和情感结构。此外，现有的对齐方法通常依赖昂贵的功能性磁共振成像（fMRI）数据（“大脑微调”），或专注于静态图像，因此尚不清楚可扩展的行为监督是否能在视频模型中诱导类人的社会视觉结构。

2. 方法论

2.1 数据集构建

作者构建了一个大规模的人类动态社会视频相似性基准：

刺激材料：来自《时光瞬间》（Moments in Time）数据集的 250 个自然主义的、3 秒长的双人社会互动片段。
任务：三元组“异类识别”（OOO）范式，参与者从三个视频中识别出“异类”，从而隐含地定义剩余的一对更为相似。
规模：从 245 名参与者处收集了 49,484 个判断。
结构：贪婪集覆盖算法确保每个视频对至少出现在一个三元组中。数据被划分为 200 个训练视频和 50 个测试视频（刺激物互不重叠）。
真实标签：人类相似性基于成对相似性判断的频率，表示为表征相似性矩阵（RSM）。

2.2 行为几何监督（BGS）

核心贡献是行为几何监督（BGS），这是一种混合训练目标，旨在将视频模型的嵌入几何结构与人类相似性判断对齐。

架构：通过低秩自适应（LoRA）应用于四种异构的 Vision Transformer（ViT）骨干网络：V-JEPA 2、V-JEPA 2.1、TimeSformer、VideoMAE 和 CLIP。这仅更新了不到 2% 的参数。
混合损失函数（ $L_{hybrid}$ ）：结合局部和全局约束：
1. 三元组损失（ $L_{triplet}$ ）：施加局部约束，确保锚点与正样本对之间的距离，比其与负样本（异类）对之间的距离小一个边际值 $\gamma$ 。
2. RSA 损失（ $L_{RSA}$ ）：通过表征相似性分析（RSA），将模型的成对距离矩阵与人类 RSM 对齐，从而施加全局几何约束。该术语在每个 epoch 中对视频子集应用 6 次，以管理内存。
训练计划：模型微调 50 个 epoch。RSA 损失的权重（ $\beta$ ）从 0.3 线性增加到 0.7，优先在早期确保局部三元组的正确性，在后期关注全局结构。

2.3 对照与基线

为了隔离改进机制，作者将 BGS 与以下方法进行了比较：

预训练基线：12 个视频编码器、2 个图像编码器、2 个视觉语言模型（VLMs）以及 22 个使用视频字幕的句子嵌入语言模型。
消融实验：仅三元组损失、仅 RSA 损失，以及预算匹配的三元组变体。
语言蒸馏对照：使用相同的混合损失进行训练，但使用 MPNet 字幕嵌入作为监督目标，而非人类行为判断。

2.4 评估指标

主要指标：模型 RSM 与人类 RSM 之间的 Spearman 相关系数平方（ $R^2$ ）（分半信度上限 $R^2 = 0.213$ ）。
次要指标：
- 方差分解：将解释方差分解为独特的视频成分、独特的语言成分和共享成分。
- 线性探针：测试是否涌现出社会情感属性（效价、唤醒度、支配性、亲密性、沟通性），无需显式监督。
- 分布外（OOD）泛化：零样本迁移到 PHASE 数据集（抽象几何社会互动）。
- 动作识别：在 UCF101 上保持性能。
- 注意力分析：空间注意力展开以观察焦点的转移。

3. 关键结果

3.1 缩小性能差距

预训练缺陷：没有预训练视频模型能达到最佳句子编码器（MPNet， $R^2 = 0.134$ ）的性能。最佳预训练视频模型（X3D-M）仅达到 $R^2 = 0.124$ 。
BGS 成功：使用 BGS 微调显著提高了性能。最佳模型 V-JEPA 2.1（蒸馏版）达到 $R^2 = 0.165$ （达到噪声上限的 78%），V-JEPA 2（大模型）达到 $R^2 = 0.172$ 。两者均超过了 MPNet 基线。
混合目标的必要性：混合损失的表现优于仅三元组（ $R^2 = 0.158$ ）和仅 RSA（ $R^2 = 0.131$ ）的变体。关键在于，语言蒸馏对照未能重现这些增益（ $R^2 = 0.123$ ），排除了简单的字幕转移作为机制的可能性。

3.2 涌现的社会情感结构

独特方差：方差分解显示，微调后的模型捕捉到了人类判断中字幕嵌入无法捕捉的独特方差（独特视频方差 $R^2$ 从 0.02 翻倍至 0.04）。
无监督属性：尽管从未接受过属性标签的训练，BGS 对齐的模型发展出了效价、唤醒度和支配性的线性可解码表征。语言蒸馏对照在 5 个维度中的 4 个上未能恢复这些属性。

3.3 泛化与保持

零样本迁移：BGS 对齐的模型在 PHASE 数据集（抽象社会互动）上达到了 81% 的准确率，与人类一致水平相当，并显著优于预训练基线（55%）。这证明了对分布外（OOD）刺激的泛化能力。
动作识别：微调保持（并在 V-JEPA 2.1 上略有提升）了在 UCF101 上的动作识别性能，表明没有发生预训练能力的灾难性遗忘。

3.4 机制转变

注意力重组：注意力展开分析显示空间焦点发生了系统性转移。预训练模型集中在单个焦点区域（例如躯干），而微调后的模型将注意力重新分配到具有社会信息量的区域：面部、视线方向、互动的手以及两个主体。这种转变是在训练过程中没有任何空间监督的情况下发生的。

4. 意义与主张

本文主张，视频模型中的社会感知是一种潜在属性，通过轻量级的行为监督即可使其变得可访问。主要贡献如下：

表征差距的证明：当前的视频预训练遗漏了社会视觉结构，在应用特定的行为对齐之前，语言模型能更好地捕捉这一结构。
通过 BGS 实现可扩展对齐：行为几何监督利用紧凑信号（LoRA，<2% 参数）和行为数据，成功在多种视频骨干网络中诱导了类人的社会相似性结构，无需 fMRI 基于的“大脑微调”所带来的基础设施成本。
超越语言蒸馏：这些增益不仅仅是由于学习字幕。BGS 捕捉到了语言嵌入所遗漏的独特视觉社会结构（例如视线、互动动态），并在无需显式标签的情况下恢复了可解释的社会情感维度。
鲁棒性：该方法泛化到抽象的、分布外的社会互动，并保留了标准的动作识别能力。

作者得出结论：关系行为数据提供了一种独特的对齐形式，通过将嵌入的几何结构塑造为与人类相似性判断相匹配，引导视频模型走向类人的社会视觉理解。