Ego-InBetween: Generating Object State Transitions in Ego-Centric Videos

1. 问题定义 (Problem Definition)

核心任务：第一人称指令视觉状态转换 (EIVST)
论文提出了一个新的任务，称为 Egocentric Instructed Visual State Transition (EIVST)。

• 输入：初始帧 ($I_1$)、目标帧 ($I_N$) 以及一段简短的动作指令（Action Instruction）。
• 目标：生成一系列连贯的中间帧，描绘物体从初始状态到目标状态的物理变换过程，且该过程需符合给定的动作指令。
• 挑战：
  1. 推理能力：模型需要理解初始和目标状态的视觉场景，并从第一人称视角推理出连接两者的中间变换步骤（即“如何”发生变换）。
  2. 生成一致性：生成的中间序列必须严格遵循指令，同时保持物体在初始和目标状态下的外观一致性，避免幻觉（Hallucination）和物体变形。

现有的视频生成模型（如基于文本的视频预测或视频插值）通常缺乏对复杂物理变换过程的语义理解，或者无法在仅给定首尾帧的情况下推理出合理的中间步骤。

---

2. 方法论 (Methodology)

作者提出了 EgoIn 框架，采用“分而治之”的策略，分为两个主要阶段：变换过程推理 和 基于条件的视频生成。

2.1 核心组件

A. TransitionVLM (用于变换过程推理)

• 目的：解决现有视觉 - 语言模型（VLM）直接用于此任务时容易产生幻觉（生成不基于图像的事实）或步骤分配不合理的问题。
• 数据构建：利用 GPT-4o 构建 curated dataset。
  • 输入包含：动作指令、初始/目标帧、以及通过 Qwen2.5-VL 检测出的物体边界框（用于聚焦关键物体，减少背景干扰）。
  • 对于机器人数据集，直接提供完整的 N 帧视频序列给 GPT-4o 以生成更准确的中间状态描述。
• 微调策略：基于 Qwen2.5-VL (7B) 进行微调。
  • 使用 LoRA 和 Adapter 模块（S-Adapter/T-Adapter）进行高效微调，而非全量微调。
  • 输出：
    1. 状态感知描述：初始和目标物体的状态描述。
    2. 变换步骤：推断出 $K$ 个中间变换步骤。
    3. 时间范围：每个步骤对应的时间范围（Temporal Ranges），而非均匀分配。

B. Transition Conditioning (TC) 模块 (用于视频生成)

• 目的：将 VLM 推理出的语义信息转化为视频生成模型（I2V）可理解的帧级条件。
• 多模态语义状态编码 (Multi-modal Semantic State Encoding)：
  • 提取初始帧和目标帧的视觉特征，并与 VLM 生成的状态描述特征融合。
  • 使用共享权重的 SQ-Former 对齐视觉和语义特征，并通过 Self-Attention 和 FFN 层融合，得到状态感知特征 $\tilde{F}^S$。
• 范围感知变换编码 (Range-Aware Transition Encoding)：
  • 根据 VLM 预测的 $K$ 个步骤的时间范围 $\{R_j\}$，利用高斯分布重新采样权重 $W_{i,j}$。
  • 这种加权机制平滑了步骤边界，生成每个帧的变换感知特征 $\tilde{F}^T_i$。
  • 最终将状态特征和变换特征拼接，通过 MLP 和 Self-Attention 生成最终的帧级条件 $\{\tilde{F}^*_i\}$。
• 注入机制：这些条件通过帧级交叉注意力 (Frame-wise Cross-Attention) 注入到去噪 U-Net 中，指导视频生成。

C. 物体感知辅助监督 (Object-aware Auxiliary Supervision, OAS)

• 目的：确保在变换过程中，被操作物体的外观一致性和运动平滑性。
• 实现：
  • 在 U-Net 末端添加一个定位头（Localization Head）。
  • 利用 SAM2 生成真值掩码（Ground-truth masks），计算预测概率图与下采样真值掩码之间的交叉熵损失 ($\mathcal{L}_{Loc}$)。
  • 注意：SAM2 仅在训练时用于生成真值，推理阶段无需额外计算开销。
• 总损失函数：结合了扩散模型的重构损失和定位损失。

---

3. 主要贡献 (Key Contributions)

1. 新任务定义：首次定义了 EIVST 任务，填补了从高层概念（指令）到详细执行（中间帧序列）之间的视觉指导空白，特别适用于机器人操作和具身智能。
2. EgoIn 框架：
   • TransitionVLM：通过特定领域微调，显著减少了幻觉，能够准确推理多步变换及其时间分布。
   • Transition Conditioning (TC)：提出了一种新颖的机制，将推理出的语义步骤转化为帧级控制信号，实现了可控的变换生成。
   • Object-aware Auxiliary Supervision (OAS)：通过辅助任务增强了生成视频中物体的外观一致性和运动流畅度。
3. 实验验证：在 Epic100, EgoFHO, DualArm, Bridge 等多个第一人称人机交互和机器人操作数据集上进行了广泛实验，证明了该方法在语义合理性和视觉连贯性上均优于现有的视频预测和插值模型。

---

4. 实验结果 (Results)

• 定量评估：
  • 在四个数据集（Epic100, EgoFHO, DualArm, Bridge）上，EgoIn 在 FVD (Frechet Video Distance, 越低越好), VTQ (视频时间质量), VTC (视频 - 文本一致性), VIC (视频 - 图像一致性) 等指标上均显著优于 SOTA 方法（如 FILM, TRF, GI, SEINE, DC-Interp）。
  • 例如在 Epic100 上，FVD 从基线 DC-Interp 的 296.67 降低至 215.27。
• 用户研究：
  • 在包含 40 名参与者的用户偏好测试中，EgoIn 在“步骤合理性”、“指令对齐度”和“运动质量”三个维度上获得了超过 50% 的投票率，远超其他方法。
• 消融实验：
  • TransitionVLM：证明了微调后的 VLM 能生成更合理的步骤（如先开门再放碗），而非原始 VLM 生成的幻觉步骤。
  • TC 模块：证明了帧级条件能更精确地控制每个步骤的时间分配（如门逐渐关闭）。
  • OAS：显著提升了物体（如 Tupperware 容器）在变换过程中的外观一致性。
  • 步数设置：发现 $K=4$ 或动态步数范围比固定步数或单步推理效果更好，但过多步骤可能导致冗余。

---

5. 意义与局限性 (Significance & Limitations)

意义：

• 具身智能桥梁：EgoIn 为机器人和 AI 助手提供了一种理解物理世界因果关系的视觉工具，使其能够“想象”动作执行的过程，而不仅仅是预测结果。
• 可控生成：通过结合 VLM 的推理能力和扩散模型的生成能力，实现了在严格约束（首尾帧 + 指令）下的高质量视频生成。
• 数据驱动：展示了通过精心构建的数据集（利用 GPT-4o 和检测模型辅助）来微调 VLM 以解决特定视觉推理问题的有效性。

局限性：

• 长程变换：对于涉及大幅场景变化或视角剧烈变化的长序列状态转换，目前的模型仍面临挑战。
• 多视角一致性：在动态环境或需要多视角一致性的复杂场景中，模型的鲁棒性有待进一步提升。

未来工作：

• 改进长距离依赖建模。
• 增强多视角一致性，以处理更复杂的视角转换和动态环境。