💻 computer science

Teaching Robots to Interpret Social Interactions through Lexically-guided Dynamic Graph Learning

本文提出了一种名为 SocialLDG 的多任务学习框架，该框架通过结合语言模型提供的词汇先验与动态图学习技术，显式建模用户内部状态与可观测行为之间的动态关系，从而赋予机器人从行为推断心理状态、预测未来行为并做出恰当响应的社会智能。

原作者： Tongfei Bian, Mathieu Chollet, Tanaya Guha

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Tongfei Bian, Mathieu Chollet, Tanaya Guha

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个非常有趣的话题：如何教机器人像人一样“读懂”社交场合，而不仅仅是像个木头人一样机械地反应。

想象一下，如果你走进一个房间，机器人只是等你先挥手它才挥手，那它就是个“被动”的机器。但作者希望机器人能变得“主动”且“聪明”：它能通过观察你的动作，猜出你心里在想什么（比如你是想和它玩，还是想走开），甚至能预测你下一秒要做什么。

为了做到这一点，作者提出了一种名为 SocialLDG 的新方法。我们可以用几个生动的比喻来理解它的核心思想：

1. 核心挑战：机器人眼中的“乱麻”

在机器人眼里，人类的行为是一团乱麻：

看得见的（显性状态）： 你的手在挥动、你正在靠近、你正在握手。
看不见的（隐性状态）： 你心里是想和它玩（意图），还是对它有好感（态度）。

以前的机器人就像是一个只会做填空题的学生，老师问“你在做什么动作？”，它答“挥手”；问“你想干嘛？”，它答“想玩”。但它不知道“挥手”和“想玩”之间是紧密相连的，更不知道随着时间推移，这种关系会变化（比如刚开始挥手可能只是打招呼，后来挥手可能是在说“再见”）。

2. 解决方案：SocialLDG —— 一个“六人圆桌会议”

作者把机器人的大脑设计成了一个动态的“六人圆桌会议”。

六个参会者（六个任务）：
1. 现在的接触（手碰到机器人了吗？）
2. 未来的接触（下一秒会碰到吗？）
3. 现在的动作（正在挥手吗？）
4. 未来的动作（下一秒会做什么？）
5. 意图（想和机器人互动吗？）
6. 态度（喜欢还是讨厌机器人？）
动态的连线（动态图学习）：
在这个会议上，这六个人不是各说各话的。他们之间有一条看不见的线连接着彼此。
- 以前： 这些线是固定的，比如“意图”永远只和“动作”连在一起。
- 现在（SocialLDG）： 这些线是活的、会变的。
  - 比喻： 就像在一个热闹的派对上，刚开始大家可能都在各自聊天（连线松散）；当有人开始跳舞（互动高潮）时，所有人的注意力都集中到了跳舞的人身上（连线变紧、变强）；等舞跳完了，大家又散开了。
- 这个系统能根据当下的情境，自动调整谁和谁联系得更紧密。比如，当你正在“扔东西”时，“扔东西的动作”和“负面态度”之间的连线会瞬间变得非常粗（强关联），而“友好意图”的连线可能会变细。

3. 两个关键“超能力”

A. 语言作为“说明书” (Lexically-guided)

在会议开始前，机器人给每个参会者发了一张**“任务说明书”**（利用大语言模型生成的文本）。

比喻： 就像给每个参会者发了一张小卡片，上面写着：“我是负责‘意图’的，我的工作是猜他心里想什么。”
这样，即使机器人还没完全看懂视频，它也知道每个“参会者”是干什么的。这就像给机器人装上了语义导航，让它不会在复杂的社交信号中迷路。

B. 动态的“关系网” (Dynamic Graph)

这是最厉害的地方。机器人不仅看视频，还实时计算这六个人之间的**“亲疏关系”**。

比喻： 想象你在看一场球赛。
- 当球还没踢出去时，前锋和后卫的关系是“准备中”。
- 当球踢出去的一瞬间，前锋和守门员的关系瞬间变得“极度紧张”。
- SocialLDG 就是那个能实时画出这种**“关系热力图”**的裁判。它能发现：“哦，现在‘意图’和‘未来动作’联系最紧密，说明用户马上要行动了！”

4. 为什么这很重要？（三大好处）

更聪明（成绩更好）： 在两个很难的机器人社交测试中，这个方法比以前的所有方法都强。因为它学会了“举一反三”，把动作、态度和意图结合起来看，而不是割裂地看。
学得快（可扩展）： 如果以后机器人要学新任务（比如识别“哭泣”），它不需要把整个大脑重装一遍。就像在这个圆桌会议上，只需要给新来的参会者发一张“说明书”，它就能迅速融入现有的关系网，而不会忘记以前学过的东西（没有灾难性遗忘）。
能解释（可理解）： 以前的 AI 像个黑盒子，你问它为什么这么判断，它说不出来。但 SocialLDG 能告诉你：“因为在那一刻，‘扔东西’的动作和‘愤怒’的态度之间连线特别粗，所以我判断用户生气了。”这让科学家能真正理解机器人的决策过程。

总结

这篇论文就像是在教机器人**“察言观色”**。

以前的机器人是**“照相机”，只记录你做了什么；
现在的 SocialLDG 机器人是“侦探”，它通过一张动态变化的关系网**，结合文字说明书，不仅看到你做了什么，还能猜出你心里想什么，甚至预测你下一秒要干嘛。

这让机器人不再是冷冰冰的机器，而更像是一个能真正理解人类社交潜规则的“智能伙伴”。

这是一篇关于社会机器人如何通过“词汇引导的动态图学习”来理解人类社交互动的学术论文。以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

核心挑战：要使机器人具备“社会智能”，它必须能够从用户的当前行为推断其内部状态（如意图、态度），预测未来行为，并做出适当反应。
现有局限：
- 大多数社交机器人是反应式的（等待用户发起），而本文关注主动式交互（机器人主动发起或识别潜在交互）。
- 现有研究通常将内部状态（意图、态度）和可观测状态（动作、接触）视为独立任务，或者假设它们之间存在静态关系。
- 实际上，这些状态源于同一个社会认知过程，且相互影响是动态演化的（例如，在交互的不同阶段，意图与动作的关联强度会发生变化）。
研究目标：提出一种多任务学习（MTL）框架，能够显式地建模用户内部状态（潜在变量）与可观测动作（显式变量）之间随时间演变的动态关系，从而实现更准确的社交感知。

2. 方法论 (Methodology)

作者提出了 SocialLDG (Social Lexically-guided Dynamic Graph) 框架，其核心思想受认知心理学中的并行约束满足 (Parallel Constraint Satisfaction, PCS) 理论启发。

2.1 任务定义 (六项任务)

框架同时处理六个相互关联的任务，分为三类：

物理接触检测：当前接触 (Current Contact)、未来接触 (Future Contact)。
内部状态推断：意图 (Intent)、态度 (Attitude)。
动作理解：当前动作 (Current Action)、未来动作 (Future Action)。

2.2 核心组件

社会信号表示学习 (Social Signal Representation)：
- 输入：从第一人称视角（机器人视角）的视频中提取全身姿态特征（使用 AlphaPose 提取 133 个关键点，包括身体、面部和手部）。
- 编码器：采用自监督预训练的自编码器。
  - 空间编码：图注意力网络 (GAT)。
  - 时间编码：Transformer。
  - 创新点：引入置信度感知的 MSE 损失函数，降低低置信度关键点（如遮挡或抖动）的权重，提高鲁棒性。
词汇引导 (Lexical Guidance)：
- 问题：仅靠姿态特征初始化图节点会导致“过度平滑”，无法区分任务语义。
- 解决方案：利用冻结的语言模型（SciBERT）为每个任务生成词汇任务 Token。
  - 为每个任务编写 3 个描述性句子（例如：“检测用户是否正在与我进行身体接触”）。
  - 将这些文本嵌入作为节点的先验知识，注入到特征表示中，增强任务的可区分性。
动态图学习 (Dynamic Graph Learning)：
- 图结构：构建一个包含 6 个节点（对应 6 个任务）的全连接动态图。
- 语义边生成器 (Semantic Edge Generator)：
  - 不直接学习邻接矩阵，而是学习一个连续的边偏置矩阵 (Edge Bias Matrix, B)。
  - 结合任务 Token 和当前的社会信号上下文，动态生成边权重。
  - 公式： $B_{i,j} = \langle \tilde{Q}_i, \kappa_j \rangle / \tau$ ，其中 $\tilde{Q}$ 是受上下文调制的查询向量。
- 动态图 Transformer：
  - 将学习到的边偏置 $B$ 与基于节点特征的自注意力分数 $S$ 结合，形成最终的任务亲和度矩阵 (Task Affinity Matrix, A)。
  - 使用 Sigmoid 而非 Softmax 计算注意力，允许边独立加权，避免强制聚合。
  - 因果掩码：禁止从“未来”状态指向“当前”状态的边，防止信息泄露。

3. 主要贡献 (Key Contributions)

词汇引导的动态图多任务学习框架：首次将语言模型的语义先验与动态图结构结合，显式建模任务间随时间演变的依赖关系，提升了可解释性和性能。
任务可扩展性 (Task Scalability)：证明了 SocialLDG 可以在不遗忘旧任务（无灾难性遗忘）的情况下，快速学习新任务。这得益于显式的任务关系建模和通用的社会信号表示。
可解释的任务关系：通过任务亲和度矩阵，模型能够揭示不同社交感知任务（如意图与动作）如何在不同交互阶段相互影响，为人类决策机制提供了洞察。

4. 实验结果 (Results)

数据集：在两个公开的人类 - 机器人交互数据集上进行评估：
- JPL-Social：包含多种社交动作（握手、挥手等）及意图/态度标注。
- HARPER：四足机器人视角，包含更复杂的交互（碰撞、躲避等）。
性能对比：
- SocialLDG 在两个数据集上的平均 F1 分数达到 85.61%，平均准确率 85.23%，显著优于现有的 SOTA 多任务学习方法（如 MMoE, PLE, AssociationGraph 等）。
- 特别是在需要深层推理的任务（如预测未来动作）上表现优异。
消融实验：
- 移除“可学习边偏置”或“任务提示注入”均导致性能下降，证明了语义先验和动态拓扑引导的必要性。
- 使用 SciBERT 进行微调的任务 Token 初始化效果最佳。
可扩展性实验：在仅微调 1 个 Epoch 的情况下，模型即可适应新任务，且新任务和旧任务的性能均优于独立微调基线。
可视化分析：
- 任务亲和度矩阵随时间变化。在交互开始前/结束后，矩阵较稠密（任务间相互影响）；在交互进行中（如投掷动作发生时），矩阵变稀疏，仅保留关键联系。
- 矩阵相似度的局部极小值点能自动捕捉交互阶段的边界（如投掷开始和结束的时刻）。

5. 意义与结论 (Significance & Conclusion)

理论意义：该工作验证了社交互动中的内部状态与外部行为之间存在动态耦合关系，而非静态关联。通过模仿人类认知中的并行约束满足机制，机器人能更准确地理解复杂的社交场景。
应用价值：
- 为主动式社交机器人提供了强大的感知基础，使其能更自然地发起和维持交互。
- 提出的框架具有良好的可扩展性，便于未来集成更多类型的社交感知任务。
局限性：当前数据多为“表演式”交互，真实自发的社交互动可能更具挑战性；模型未施加时间连续性约束，未来可进一步探索。

总结：SocialLDG 通过结合语言模型的语义先验和动态图神经网络，成功解决了多任务社交感知中任务关系动态变化的问题，显著提升了机器人在复杂社交环境下的理解能力和适应性。