💻 computer science

HOMIE: Human-object Centric Video Personalization via Multimodal Intelligent Enchancement

本文介绍了 HOMIE，这是一个以人为中心、以物体为中心的统一视频个性化框架，它利用一种新颖的多模态大语言模型（MLLM）集成策略，通过全局多模态引导和模态参考嵌入，同时实现了高主体保真度和准确的人物-物体交互模式。

原作者： Yiyang Cai, Nan Chen, Rongchang Xie, Junwen Pan, Chunyang Jiang, Cheng Chen, Wen Zhou, Zhenbang Sun, Wei Xue, Wenhan Luo, Yike Guo

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yiyang Cai, Nan Chen, Rongchang Xie, Junwen Pan, Chunyang Jiang, Cheng Chen, Wen Zhou, Zhenbang Sun, Wei Xue, Wenhan Luo, Yike Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你置身于一个充满数字艺术家的房间里，但他们挥舞的不是画笔，而是由代码制成的魔法棒。这就是AI 视频生成的世界——在这个领域，计算机学习如何根据简单的文本描述，构思出流动的影像。长期以来，这些数字梦想家擅长制作风景或抽象艺术，但在被要求将特定角色放入场景并执行特定动作时，却显得力不从心。这就像是要求一位厨师做菜，却只给了他一些模糊的食材概念；结果可能看起来很美味，但很少能做出你真正想要的味道。

有两个核心理念让这种魔法成为可能。首先是视频个性化（video personalization），这就像是教会 AI 识别你的某个特定朋友或你最喜欢的玩具，以便它能将这些元素放入你讲述的任何故事中。其次是人机交互（Human-Object Interaction），这是确保你的朋友真的在“拿着”那个玩具、“打开”那扇门或“喝着”那杯水，而不是仅仅漂浮在物体旁边的难点。挑战在于让计算机不仅理解视频中有“谁”，还要理解他们如何与周围的物体发生关系，尤其是当这些物体是像特定品牌 Logo 或衣服上的文字标签这类奇特的物体时。如果 AI 出错，视频看起来就像一场破碎的幻梦，人会穿过墙壁，或者抓着虚无缥缈的东西。

于是，HOMIE（通过多模态智能增强实现以人为中心的对象视频个性化）诞生了，这是来自香港科技大学研究人员的一个新框架，旨在修复这些瑕疵。你可以把 HOMIE 想象成一位超级聪明的导演，他不仅阅读剧本，在开拍前还会仔细研究演员的照片集和道具。

该论文解决了以往“导演”（AI 模型）难以应对的两个主要问题。第一个是“主体间（Inter-Subject）”问题：当你有一个人和一个物体（比如一个人和一个咖啡杯）时，AI 往往难以让它们正确交互，特别是当物体是像 Logo 这样抽象的东西时。这就像 AI 知道什么是“杯子”，但不知道“COSTA”这个 Logo 应该属于“那个特定的杯子”。第二个是“主体内（Intra-Subject）”问题：有时你想展示同一个物体的不同角度或带有文字的物体（比如路牌的 OCR 地图），以往的模型经常会产生混乱，将这些不同的视角视为完全不同的物体，或者无法正确读取文字。

为了解决这个问题，HOMIE 引入了一种巧妙的新方法来使用多模态大语言模型（MLLM）。你可以把 MLLM 看作是一位博学多才的助手，他见过数百万张图像，深知事物之间的关联。以往的方法试图强迫这位助手重写整个剧本（文本编码器），这既混乱又昂贵。然而，HOMIE 保留了原有的编剧，但允许这位助手直接向摄影组低声传达具体的指令。

该论文提出了两个关键工具来使这一切得以实现：

全局多模态引导（Global Multimodal Guidance, GMG）： 想象一下 AI 正在逐帧观看视频。GMG 就像一束聚光灯，照亮了助手对“大局”的理解。它获取助手关于人类如何与物体交互的知识，并将其直接注入视频的自注意力机制中。这有助于 AI 理解 Logo 必须在杯子上，而不是在沙发上，而无需在提示词中进行显式说明。
模态参考嵌入（Modality-Reference Embedding, MRE）： 这就像是给 AI 一套带有颜色编码的标签。如果你向 AI 展示三张同一人在不同角度的照片，或者一张路牌的照片和一段关于该路牌的视频，MRE 会为它们贴上相同的“身份颜色”标签。这告诉 AI：“嘿，这些都是同一个东西！”从而防止它产生混淆，把它们当作不同的角色。

研究人员将 HOMIE 与其他顶尖的 AI 视频生成器进行了对比测试。他们发现，HOMIE 在保持角色一致性、遵循文本指令以及处理复杂的交互（如杯子上的 Logo 或路牌上的文字）方面表现得更好。在测试中，HOMIE 在文字识别（OCR）准确度方面比其中一个领先的竞争对手提高了约 21.8%。当研究人员请人类志愿者挑选最佳视频时，HOMIE 在大多数情况下胜出，在主体一致性方面得分约为 66.1%，在文本遵循方面得分约为 64.7%。

该论文指出，通过将“谁”（身份）与“什么”（物体）分离，并使用一位聪明的助手来引导交互，我们可以让 AI 视频看起来更加真实，而非幻觉。虽然作者并未声称已经解决了视频生成中的所有问题，但他们的实验表明，这种结合多模态知识与精细 Token 管理的方法，是让 AI 视频个性化变得更聪明、更可靠的重要一步。

技术摘要：HOMIE —— 通过多模态智能增强实现以人为中心及物体中心的视频个性化

1. 问题陈述

以人为中心及物体中心的视频个性化（HOCVP）是主题驱动视频生成中的一项关键任务，旨在根据参考图像合成包含人类与物体多样化交互的视频。尽管近期取得了进展，但现有方法仍面临两个主要局限性：

主体间挑战（Inter-Subject Challenges）： 当前的方法难以在保持高主体保真度与准确的交互模式之间取得平衡，尤其是在处理多个主体或抽象概念（如 Logo）时。它们经常产生“复制粘贴”式的伪影，表现力受限，并且缺乏在没有显式提示指令的情况下，将抽象参考物正确放置在场景中的推理能力。
主体内挑战（Intra-Subject Challenges）： 虽然主体内参考（如多视角图像或 OCR 图谱）旨在增强保真度和一致性，但现有工作缺乏理解这些多个参考之间潜在对应关系（latent correspondence）的机制。因此，模型往往无法提升多视角一致性或文本保真度，有时会将同一物体的不同视图视为独立的实体。

核心难点在于如何有效地集成多模态大语言模型（MLLM）。先前的策略要么将 MLLM 特征与文本嵌入空间对齐（这会削弱可控性并限制特征空间），要么用 MLLM 完全替换文本编码器（这会带来高昂的重新对齐成本，并分散模型对主要控制任务的注意力）。

2. 方法论

作者提出了 HOMIE，这是一个统一的框架，旨在通过利用 MLLM 的知识，在不损害底层视频扩散模型可控性的前提下，处理主体间和主体内 HOCVP 场景。该架构基于 DiT 结构的文本到视频骨干网络（具体为 Wan2.1-14B 和 Wan2.2-14B），并引入了三项关键创新：

2.1 多模态输入范式

HOMIE 采用统一的输入流，包括：

视频 Token ( $F_v$ )： 目标视频的潜在表示。
参考图像 Token ( $F_r$ )： 编码后的参考图像。
多模态特征 ( $F_M$ )： 由 MLLM（Qwen3-VL-2B-Thinking）从系统提示词、用户提示词和参考图像的组合中提取的高语义特征。

与直接将 MLLM 特征拼接进文本嵌入的方法不同，HOMIE 将 $F_M$ 直接与视频潜在表示和参考 Token 进行拼接（ $F = [F_v \oplus F_r \oplus F_M]$ ），以促进内在的跨模态交互。

2.2 全局多模态引导 (Global Multimodal Guidance, GMG)

为了解决 MLLM 特征与 3D VAE Token 之间的分布差异，并确保稳定的时间控制，HOMIE 引入了全局多模态引导。

机制： 在自注意力查询-键（query-key）计算期间，将 MLLM 的查询矩阵 ( $Q_M$ ) 和键矩阵 ( $K_M$ ) 沿时间维度进行池化，以创建全局表示 ( $\tilde{Q}_M, \tilde{K}_M$ )。
调制： 这些全局表示通过轻量级投影网络 ( $\gamma, \beta$ ) 得到缩放和偏移因子。这些因子通过仿射变换应用于视频 Token 的查询 ( $Q_v$ ) 和键 ( $K_v$ )。
效果： 这将高层语义引导注入视频生成过程，在不改变参考图像原生自注意力模式的情况下，增强了语义推理和交互建模能力。

2.3 模态-参考嵌入 (Modality-Reference Embedding, MRE)

为了区分不同的输入模态并管理多个参考之间的复杂关系，HOMIE 提出了模态-参考嵌入。

模态嵌入 (ME)： 根据 Token 的来源（视频、参考图像或 MLLM 特征）添加可学习向量，以帮助模型解耦异构输入。
参考嵌入 (RE)： 根据身份为参考 Token 分配可学习向量。至关重要的是，代表同一主体的多个图像（主体内）共享相同的参考嵌入，而不同的主体（主体间）则获得唯一的嵌入。
效果： 这使得模型能够绑定主体内参考（提高多视角或 OCR 输入的一致性），同时保持主体间交互的独立身份。

2.4 训练策略

模型使用流匹配（flow matching）范式进行训练，训练数据源自 OpenS2V-5M 和 PhantomData，并辅以作者自行整理的 2 万条高质量 HOC 视频片段子集。训练采用三阶段微调策略，总计耗时约 1.1 万 GPU 小时。

3. 核心贡献

论文声称有三项主要贡献：

统一框架： 提出了 HOMIE，一个通过 MLLM 知识增强，统一了主体间和主体内 HOCVP 任务的框架。
全局多模态引导 (GMG)： 一种通过自注意力调制将多模态特征注入视频 Token 的新机制，在无需高昂重对齐成本的情况下，提升了语义推理和交互建模能力。
模态-参考嵌入 (MRE)： 一个可学习模块，用于区分 Token 模态并捕捉主体内关联，显著提升了复杂参考场景下的身份保真度。

4. 实验结果

研究人员在由 200 个人类-物体组合组成的自建数据集上进行了广泛评估，涵盖了多样化的主体间和主体内设置。

定量性能： HOMIE 在视频质量（美学评分、运动平滑度）和文本遵循度（GMEScore）方面达到了开源方法的 SOTA 水平。值得注意的是，与之前的最优模型（SkyReels-V3）相比，其 OCR 准确率相对提升了 21.8%，并在物体相似度（Obj-Sim）和人脸相似度得分上取得了最高值。
主体内一致性： 在多视角场景中，HOMIE 在基于 DINO 的指标（DINOrec, DINOacc）上优于基准模型，证明了其在保持保真度的同时合成同一物体多样化视图的卓越能力。
定性分析： 视觉对比显示，HOMIE 能成功处理复杂的 4 主体交互以及抽象 Logo 放置（例如，将“COSTA”Logo 贴在杯子上），而其他模型在这些场景下会出现无法推理关系或主体退化的问题。在主体内任务中，HOMIE 能正确解读 OCR 图谱和多视角输入，而基准模型常将其视为互不相关的独立主体。
用户研究： 在一项包含 40 名参与者的研究中，HOMIE 在主体一致性、文本遵循度和整体质量指标上均优于基准模型（Kling, Phantom, SkyReels-V3, UniVideo）。

5. 意义与主张

论文将 HOMIE 定位为可控视频生成领域迈出的重要一步，解决了当前 MLLM 集成策略的特定局限性。作者声称，通过保留文本编码器并引入针对性的引导（GMG）和嵌入机制（MRE），HOMIE 成功地提取了参考层级的关系，且未损害文本编码器的可控性，也未产生全模型重对齐的高昂成本。

该框架被呈现为一种适用于需要高保真人类-物体交互的现实部署场景的鲁棒解决方案，特别是在涉及抽象概念（Logo）以及需要一致的多视角或文本增强物体表示的情况下。这项工作验证了将主体间和主体内个性化作为统一方法处理是可行且更优的，而非将两者孤立对待。