SocialFusion: Addressing Social Degradation in Pre-trained Vision-Language Models
该论文介绍了 SocialFusion，这是一个通过在冻结的编码器与语言模型之间学习极小连接，从而缓解预训练视觉-语言模型中“社会退化”问题的框架，进而实现正向迁移并在多项社会感知任务中取得卓越性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
核心问题：“过度阅读”的专家
想象你有一位才华横溢的艺术评论家，他一生都在研读数百万本关于艺术、历史和文学的书籍。他是语言和通识知识的大师。这就是视觉语言模型（VLM）——一种在海量文本和图像数据上训练出的强大 AI。
现在，假设你请这位专家观看一段朋友们在野餐的默片，并请他回答：
- 谁在看着谁？
- 红衣人正在做什样的手势？
- 那两个人是在争吵还是在欢笑？
- 他们的面部表情是怎样的？
你会预期这位专家表现得非常出色。但研究发现了一些令人惊讶的事实：他反而变差了。
当这些 AI 模型在海量的通用数据集（学习描述猫、汽车和风景）上进行训练时，它们会产生作者称之为**“社交退化”（Social Degradation）*的现象。这就像这位专家变得过于专注于描述物体“是什么”（例如：“那是一个飞盘”），以至于他忘记了如何解读微妙的社交信号*（例如：“那个人盯着飞盘看是因为他很嫉妒”）。通用的训练过程实际上“退化”或损害了他们理解人类交互的能力。
实验：测试损伤程度
研究人员在五个不同的“社交”任务上测试了三个流行且强大的 AI 模型（Qwen2-VL, Sail-VL, 和 MolmoE）：
- 手势（Gestures）： 识别手势符号（如剪刀手）。
- 视线（Gaze）： 判断某人的注视方向。
- 表情（Expressions）： 检测情绪，如轻蔑或快乐。
- 对话（Conversation）： 了解谁在对谁说话。
- 关系（Relationships）： 推测两人是朋友、家人还是陌生人。
结果： 当他们试图同时教这些模型完成所有这些任务时，模型失败了。这些任务并没有互相帮助，反而产生了冲突。模型在同时学习所有任务时的表现，竟然比单独学习某一项任务时还要差。这被称为负迁移（Negative Transfer）。
诊断：为什么会发生这种情况？
研究人员调查了通用训练为何会破坏社交技能。他们观察了两个方面：
- 可解码性（我们能否读取信号？）： 他们检查了 AI 的“大脑”（视觉编码器）是否仍保留着关于社交线索的原始信息。他们发现，经过通用训练后，信号变得模糊了。这就像专家的眼睛仍然在工作，但负责解释社交意义的大脑部分被大量的通用知识给“雾化”了。
- 兼容性（任务之间是否和谐？）： 他们检查了任务之间是否存在冲突。他们发现确实存在一些冲突，但主要问题在于信号本身本身就太微弱了。
解决方案：SocialFusion（“专业实习生”）
为了解决这个问题，作者构建了一个名为 SocialFusion 的新模型。
他们没有试图去修复那个“视线模糊”的专家，而是决定使用一个全新的、干净的镜头。
- 冻结的眼睛（The Frozen Eye）： 他们采用了一个没有经历过大规模、通用性“社交退化”训练的视觉编码器（负责看图像的部分）。这个编码器被保持“冻结”（不被改动）状态，以确保其捕捉精细细节的能力保持锐利。
- 极简连接器（The Minimal Connector）： 他们构建了一个非常简单的桥梁，将这只“锐利的眼睛”与语言模型（负责说话的部分）连接起来。
- 策略： 他们并没有尝试重新训练这只“眼睛”，而只是教会了语言模型如何与这只“眼睛”进行沟通。
类比： 想象你有一台镜头略微开裂的相机（通用 VLM）。无论摄影师多么优秀，拍出来的照片都会是模糊的。SocialFusion 就像是将那个开裂的镜头换成了一个崭新的、完美的镜头，然后仅仅是教会摄影师如何使用它。
结果：完美的成绩单
当测试 SocialFusion 时：
- 正迁移（Positive Transfer）： 与其他模型不同，SocialFusion 在同时学习所有任务时，每一项任务的表现都变得更好了。这些任务像是一群一起学习的好友，能够互相帮助。
- 刷新纪录： 它在识别手势（HaGRIDv2）和社交关系（PISC）方面创下了新的“最先进”（state-of-the-art）纪录。
- 极具竞争力： 它在其他任务上的表现与最优秀的专门化模型不相上下，证明了你不需要一个庞大复杂的系统来理解社交线索——你只需要正确的设置。
总结
论文的结论是，目前我们训练 AI 的方式（将一切混入一个巨大的整体）可能会在无意中损害它们理解人类社交交互的能力。为了构建真正具备社交能力的 AI，我们可能需要停止强迫通用模型去做所有事情，转而使用那些未被通用数据过度训练的“纯净”视觉工具。
简而言之： 这篇论文发现，让 AI 在通用领域变得“太聪明”，反而让它在理解人类方面变得“更笨”。他们的解决方案 SocialFusion 通过保持“眼睛”的新鲜与简单，解决了这个问题，让 AI 终于能够正确地理解社交世界。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。