💻 computer science

UGotMe: An Embodied System for Affective Human-Robot Interaction

本文提出了名为 UGotMe 的具身人机交互系统，通过定制化的主动人脸提取去噪策略和高效数据传输机制，解决了多党对话场景下机器人情感识别面临的视觉干扰与实时性挑战，并在 Ameca 人形机器人上验证了其实际部署能力。

原作者： Peizhen Li, Longbing Cao, Xiao-Ming Wu, Xiaohan Yu, Runze Yang

发布于 2026-03-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Peizhen Li, Longbing Cao, Xiao-Ming Wu, Xiaohan Yu, Runze Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 UGotMe 的“情感机器人系统”。简单来说，它的目标是让人形机器人（比如论文中使用的 Ameca）不仅能听懂人说话，还能看懂人的表情和情绪，并像真人一样做出恰当的情感反应（比如你开心它也开心，你难过它也难过）。

为了让你更容易理解，我们可以把这项技术想象成给机器人装上了一副“超级眼镜”和一颗“聪明的心”，并解决了两个让它变笨的大难题。

🤖 核心挑战：机器人为什么容易“看走眼”？

在现实生活中，让机器人理解情绪很难，主要因为两个“捣乱鬼”：

环境噪音（视觉干扰）：
- 比喻：想象你在嘈杂的聚会上听朋友说话。如果旁边有人在大笑，或者背景里有个奇怪的玩偶在动，你的注意力可能会被分散，甚至误以为那个玩偶在笑。
- 机器人的困境：当机器人看人时，它的摄像头里可能不仅有正在说话的朋友，还有旁边发呆的路人、背景里的椅子，甚至移动的车辆。这些“无关人员”的表情会干扰机器人，让它搞错谁在说话，从而判断错情绪。
反应太慢（实时性）：
- 比喻：就像你在和人聊天，如果对方每说一句话都要等 10 秒钟才能反应过来，对话就会变得非常尴尬和生硬。
- 机器人的困境：现在的 AI 模型很聪明，但计算量巨大。如果机器人要把视频传回云端处理再传回来，延迟太高，就无法实现“即时”的情感交流。

🛠️ UGotMe 的解决方案：两大“独门秘籍”

为了解决上述问题，作者给机器人设计了两套策略：

1. 戴上“降噪耳塞”和“聚光灯” (去噪策略)

这是为了解决“看走眼”的问题。UGotMe 不再把整张模糊的照片都扔给大脑处理，而是做了两步过滤：

只抓重点（人脸提取）：就像你在人群中只盯着说话的人看，忽略背景里的家具和杂物。系统会自动把画面里的人脸“抠”出来，只保留关键信息。
锁定说话者（主动人脸提取）：这是最精彩的一步。
- 比喻：想象机器人有一个“听觉雷达”。当它听到声音从左边传来，它的头就会像向日葵一样自动转向左边，把摄像头对准那个正在说话的人，确保画面中心只有他。
- 效果：这样，旁边那个表情夸张但没说话的路人（比如图 1 中的 Tom 和 Amy）就被排除在视线之外了。机器人只关注那个正在和它对话的人（Active Speaker），彻底消除了干扰。

2. 建立“特快专递”通道 (高效传输)

这是为了解决“反应慢”的问题。

比喻：以前机器人处理视频像是在寄平信，慢吞吞的。现在，UGotMe 建立了一条“特快专递”通道。
做法：机器人一边拍视频，一边像流水一样把数据（字节）直接流式传输到附近的本地服务器，而不是等拍完一整个视频再发。服务器就像在流水线上接货，拿到最新的一帧画面立刻处理。这让机器人能实现毫秒级的实时反应。

🧠 机器人的“大脑”：VL2E 模型

UGotMe 的核心是一个叫 VL2E (Vision-Language to Emotion) 的模型。你可以把它想象成一个双语翻译官：

它同时看眼睛（视觉：面部表情）和耳朵（语言：对话内容）。
它不仅看当下的表情，还会结合刚才的对话上下文（比如对方刚说“我的论文被录用了”，这时候脸上带着笑，模型就知道这是“开心”；如果他说“我失业了”，同样的笑容可能就不对了，但模型会结合语境判断）。
训练成果：在著名的 MELD 数据集（基于《老友记》电视剧的对话数据）上，这个模型的表现超过了所有现有的竞争对手，准确率最高。

🎭 实际表现：机器人 Ameca 的“演技”

作者把这个系统装在了一个叫 Ameca 的人形机器人身上，并进行了实地测试：

场景：机器人和几个人聊天，其中只有一个人是“主角”（正在说话），其他人是“路人”。
结果：
- 没有去噪的旧系统：看到旁边路人悲伤的脸，机器人误以为说话的人也很悲伤，结果给出了错误的安慰（比如对方明明在笑，机器人却露出了难过的表情）。
- UGotMe 系统：成功忽略了路人，精准捕捉到说话者的情绪。如果说话者说“我的论文被录用了”（开心），机器人就会露出开心的表情；如果对方说“我被骗了”（生气），机器人就会露出愤怒的表情。
用户反馈：人类测试者觉得 UGotMe 的反应更自然、更准确，体验评分更高。

💡 总结

这篇论文就像是在教机器人如何在混乱的派对中保持专注。

以前：机器人像个近视眼，被周围所有的人和事干扰，反应迟钝，经常“读不懂空气”。
现在 (UGotMe)：机器人戴上“聚光灯眼镜”，只盯着说话的人看，并且通过“特快专递”瞬间处理信息。它不仅能听懂你在说什么，还能精准地感知你的情绪，并做出最贴心的表情回应。

这项技术让机器人不再是冷冰冰的机器，而是真正具备了情感共鸣能力的伙伴，未来在医疗陪伴、客户服务等领域将有巨大的应用潜力。

UGotMe：面向多轮对话的情感人机交互具身系统技术总结

1. 研究背景与问题定义

随着人形机器人在医疗、服务等领域的应用日益广泛，赋予机器人理解人类情感状态并做出恰当情感表达的能力至关重要。然而，将现有的视觉感知多模态情感识别模型部署到现实世界的具身交互场景中，面临两大核心挑战：

环境噪声干扰（Embodiment Challenges）：
- 在多轮对话场景中，机器人的视觉观察常受到环境噪声干扰。
- 干扰源：包括场景中的无关物体（如家具、车辆）以及非活跃说话者（Inactive Speakers）。
- 后果：当非活跃说话者出现在机器人视野中且表情与活跃说话者不一致时，会误导模型提取错误的情感线索，导致情感识别错误。
实时性要求（Real-time Requirements）：
- 交互式系统需要低延迟的实时响应。
- 瓶颈：大型深度学习模型的推理速度、系统模块间的数据通信延迟以及硬件限制，使得在具身系统中实现实时情感反馈变得困难。

2. 方法论 (Methodology)

为了解决上述挑战，作者提出了名为 UGotMe 的情感人机交互系统，并设计了核心模型 VL2E (Vision-Language to Emotion)。系统工作流程分为三个阶段：机器人端多模态感知、边缘端视觉 - 语言情感建模、机器人面部表情执行。

2.1 去噪策略 (Denoising Strategies)

针对环境噪声问题，UGotMe 提出了两种关键的去噪策略：

人脸提取 (Face Extraction)：从机器人摄像头采集的原始 RGB 图像中提取说话者的人脸，过滤掉场景中的无关物体（如移动车辆、静止家具）。
定制化活跃人脸提取 (Customized Active Face Extraction)：
- 利用声源定位方向调整机器人头部姿态和左眼摄像头，确保活跃说话者位于图像 X 轴中心。
- 通过此机制排除视野中非活跃说话者或无关人员的干扰。
- 个体差异归一化：引入“特定人物中性归一化”（Person-specific Neutral Normalization），通过减去该人物的中性表情帧，生成差分图像（Delta Images），以消除个体面部特征差异对情感识别的影响。

2.2 高效数据传输 (Efficient Data Transmission)

针对实时性挑战：

流式传输：机器人将捕获的图像以字节流形式，在独立线程中连续传输至本地服务器。
缓冲机制：服务器端缓冲最新的 $T$ 帧（实验中 $T=640$ ，对应 25 FPS），确保模型能立即消费数据，减少延迟。
通信协议：使用 ZMQ 库通过 TCP 传输视觉和文本数据。

2.3 VL2E 模型架构

VL2E 是一个专为多轮对话设计的情感识别模型，与上述去噪策略兼容：

视觉编码器：使用在 CASIA-WebFace 上预训练的 InceptionResnetv1，处理活跃说话者的人脸序列，提取帧级视觉特征。
上下文建模：
- 考虑最近 $k$ 轮对话上下文。
- 引入提示学习 (Prompt Learning) 机制，将上下文与当前话语拼接，并添加提示词（如 "for [utterance], [speaker] feels "）以区分上下文和目标话语。
- 使用 SimCSE 作为文本编码器。
多模态融合：
- 使用自注意力 Transformer 建模视觉特征内部的交互。
- 使用跨模态 Transformer (Crossmodal Transformer) 融合视觉和文本特征。
情感映射：识别出的情感直接映射到机器人预定义的 7 种基本表情（中性、惊讶、恐惧、悲伤、快乐、厌恶、愤怒），遵循平行共情 (Parallel Empathy) 原则（即机器人表现出与人类相同的情绪）。

3. 关键贡献 (Key Contributions)

UGotMe 系统：首个专为多轮对话场景设计的情感人机交互具身系统，有效解决了环境噪声和实时性两大具身化难题。
VL2E 模型：提出了一种新的视觉 - 语言到情感模型，能够嵌入具身系统。在 MELD 数据集上，该模型在加权平均 F1 分数上超越了所有基线模型（包括多模态模型）。
真实世界部署验证：在 Engineered Arts 开发的人形机器人 Ameca 上成功部署了 UGotMe，并通过真实场景实验验证了其在复杂环境下的实时推理能力和情感交互效果。

4. 实验结果 (Results)

4.1 数据集基准测试 (MELD Dataset)

性能对比：在 MELD 数据集上，VL2E 取得了 67.29% 的加权平均 F1 分数。
优势：
- 比 DialogueRNN 高出 10.26%。
- 比 FacialMMT（同样关注人脸提取的模型）高出 0.71%。
- 尽管主要使用文本和视觉（T+V）双模态，其表现优于许多使用三模态（T+V+A）的基线模型，证明了去噪策略和特征提取的有效性。

4.2 消融实验 (Ablation Study)

模态缺失：移除文本或视觉模态均会导致性能显著下降。
去噪策略验证：
- 不进行人脸提取（使用全图）导致 F1 下降 1.34%。
- 不进行特定人物中性归一化导致 F1 下降 0.69%。
- 这证明了聚焦情感丰富的人脸区域和消除个体差异的重要性。

4.3 真实世界部署 (Real-world Deployment)

实验设置：在 Ameca 机器人上进行多轮对话实验，对比了 UGotMe-VL2E、UGotMe-TelME（无去噪策略的基线）和 UGotMe-VL2E1（无定制活跃人脸提取）。
情感响应准确率：
- UGotMe-VL2E 达到 77.29%。
- 相比 UGotMe-TelME 提升了 26.66%。
- 相比 UGotMe-VL2E1 提升了 18.21%。
用户体验评分：UGotMe-VL2E 获得 7.89/10 的高分，显著优于其他版本。
案例分析：实验显示，当视野中存在表情不一致的非活跃说话者时，未采用去噪策略的模型（TelME）会误识别情感，而 UGotMe-VL2E 能准确识别活跃说话者的情绪并做出正确反应。

5. 意义与局限性 (Significance & Limitations)

意义

具身 AI 的突破：该研究不仅提出了算法模型，更解决了模型从“实验室”走向“现实世界”的关键工程问题（噪声过滤、实时传输、硬件集成）。
多模态交互新范式：证明了在复杂多轮对话中，通过针对性的去噪和上下文建模，可以显著提升情感识别的鲁棒性。
应用价值：为医疗陪护、客户服务等需要高情感智能的机器人应用提供了可行的技术路径。

局限性

共情策略单一：目前仅实现了“平行共情”（机器人模仿人类情绪），未来可探索“反应性共情”（根据人类情绪做出安慰或引导等反应）。
音频模态缺失：当前系统未利用声学信号（语调、音量等）辅助情感理解，未来计划将音频信号纳入模型。
中性表情获取：在真实部署中，有时难以获取说话者的中性表情帧，目前采用首帧替代，未来需探索更合理的状态估计技术。

总结：UGotMe 通过创新的去噪策略和高效的系统架构，成功将先进的情感识别模型部署到人形机器人上，显著提升了机器人在复杂现实环境下的情感交互能力，为具身人工智能的发展提供了重要的实证参考。