💻 computer science

CapFrame: Text-Instructed Viewpoint Grounding in 3D Gaussian Scenes via Geometric Pseudo Labels

该论文介绍了 CapFrame，这是一个旨在解决 3D 高斯泼溅（3D Gaussian Splatting）场景中文本指令视角定位（Text-Instructed Viewpoint Grounding, TIVG）任务的新型框架，它通过检索-翻译-精炼（Retrieve-Translate-Refine）流水线将文本指令转换为几何伪标签，从而自动优化用于实现理想帧构图的 6 自由度（6-DoF）相机位姿。

原作者： Jirong Li, Satoshi Ikehata, Shuhei Kurita, Ikuro Sato

发布于 2026-09-01✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jirong Li, Satoshi Ikehata, Shuhei Kurita, Ikuro Sato

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正站在一个被完美地在计算机中重建的房间里，它不是一张平面照片，而是一个你可以走进去的三维空间。近年来，科学家们开发出了构建这些数字房间的方法，使其真实到看起来像照片一样，并且可以从任何角度即时查看。这项被称为“3D 高斯泼溅”（3D Gaussian Splating）的技术，为极其逼真的虚拟现实体验开启了大门。然而，一个显著的障碍仍然存在：虽然这个房间确实存在，但要找到一个完美的地点来拍摄特定场景的照片，仍然是一个手动且繁琐的过程。如果用户想要一个画面右侧坐着一只泰迪熊、面向左侧一只绵羊，且相机略微倾斜的视角，他们目前必须通过不断猜测和尝试，来回移动虚拟相机，直到构图感觉满意为止。现有的工具可以找到物体，但它们难以理解如何将这些物体在单张快照中进行艺术化排列的意图。

为了解决这个问题，一个研究小组推出了一种名为 CapFrame 的新方法，它允许计算机自动找到与书面描述相匹配的确切相机位置。该系统不仅仅是定位一个物体，它还能理解关于布局、朝向和相机角度的复杂指令。研究人员在 3 种不同的现实场景（从室内房间到室外景观）中测试了这种方法，使用了 135 条具体的文本指令。他们发现，与以往经常无法准确捕捉主体位置或相机倾斜度的技术相比，他们的方法能够一致地产生与书面描述高度吻合的视角。通过将人类语言转化为几何规则，CapFrame 弥合了简单句子与精确、逼真的图像之间的鸿沟。

这项创新的核心在于计算机如何解读语言。传统方法可能会寻找“泰迪熊”然后就停止了，但 CapFrame 会将像“一只大棕色泰迪熊坐在右侧，面向左侧的一只白色毛绒绵羊”这样的句子分解为一系列具体的问题。它会自问：熊可见吗？它在右边吗？它的朝向正确吗？为了回答这些问题，该系统使用了一种经过训练、能够理解图像和文本的强大人工智能。这种人工智能充当了一个评判者，扫描 3D 场景中数以千计的现有视角，以寻找最接近描述的视角。它不仅仅是挑选第一个匹配项；它还会根据满足指令各项内容的程度对它们进行排名，从而确保下一步的起点已经非常理想。

一旦系统找到了一个有潜力的初始视角，它就会将指令中模糊的词汇转化为具体的几何目标。它会在脑海中绘制出一张地图，确定熊应该在画面的什么位置，以及相机应该如何倾斜。例如，如果指令说相机应逆时针倾斜 20 度，系统会将此转换为相机旋转的一个特定数值目标。它还会定义一个目标区域供泰迪熊占据，以确保它位于画面的右侧。这些目标就像一个指南，在计算机开始移动相机之前，就告诉了计算机最终的图像应该是什么样子。

最后一步是数学发挥魔力的地方，尽管用户无需理解其中的方程。系统会获取相机位置并开始进行微调，测试数百万次细微的调整，以观察哪个方向能让图像看起来更符合描述。它通过计算当前图像与之前设定的目标目标之间的差异来进行操作。如果熊离左边太远，系统就会将相机向右移动。如果相机倾斜的角度不对，它就会修正角度。这个过程是持续且自动进行的，不断优化视角，直到图像完美契合文本指令。研究人员发现，这个精细化步骤至关重要；仅仅从数据库中挑选一个视角是不够的，基于书面规则对位置进行微调才能产生一种具有意图感且精准的结果。

在实验中，研究人员将他们的新方法与依赖于简单猜测或基本搜索模式的旧技术进行了对比。结果显而易见：旧方法经常会将主体放置在错误的位置，或者无法捕捉到正确的角度。例如，当要求展示一份带有三明治作为主菜后方的餐食特写时，旧系统可能会显示食物，但会错过特定的排列方式。然而，CapFrame 却能成功地按照描述布置场景。团队还邀请了人类志愿者来评判结果，参与者压倒性地更喜欢 CapFrame 生成的图像，认为它们感觉更自然，且与指令的契合度更高。

这项工作证明了计算机现在不仅能理解场景中有什么，还能理解人类摄影师会如何选择构图。通过将理解复杂描述的能力与实时调整 3D 相机的能力相结合，CapFrame 使得仅凭文字即可探索虚拟环境成为可能。它将体验从手动搜索转变为直观的对话——用户只需提出要求，即可获得一张构图完美的图像。虽然该系统仍然依赖于初始 3D 场景的质量和文本的清晰度，但它代表了在使数字世界更易于导航以及对人类意图更具响应性方面迈出的重要一步。

技术摘要：CapFrame —— 基于文本指令的 3D 高斯场景视角定位

1. 问题定义

虽然 3D 高斯泼溅（3DGS）实现了逼真的实时新视角合成，但通过放置虚拟摄像机来捕捉特定期望帧的过程在很大程度上仍是手动的。现有的语言引导 3D 方法主要侧重于以物体为中心的定位（确定观察“什么”），却未能解决构图约束（确定场景应该“如何”呈现）的问题。现实世界的指令通常会指定复杂的摄影属性，例如主体朝向（如“左视图”）、空间布局（如“在右侧”）和相机倾斜，而目前的轨迹生成或物体定位方法无法强制执行这些约束。

为了解决这一问题，作者形式化了一个新任务：文本指令视角定位（Text-Instructed Viewpoint Grounding, TIVG）。其目标是在 3D 高斯场景中识别一个 6 自由度相机位姿（ $T_{CW} \in SE(3)$ ），使得渲染出的帧与描述主体存在、构图和视角的自然语言指令相一致。

2. 方法论：CapFrame

作者提出了 CapFrame，这是一个部分可微的框架，能够将语言指令转换为用于相机位姿优化的几何伪标签。该框架通过一个三阶段的**检索—转换—精修（Retrieve–Translate–Refine）**流水线运行：

第一阶段：检索（语义感知初始化）

由于穷举搜索连续的 $SE(3)$ 空间在计算上是不可行的，CapFrame 使用训练图像的离散子空间来进行初始化优化。

粗粒度过滤： 系统使用 FG-CLIP 在文本指令与训练视图之间进行全局语义对齐，保留前 $M$ 个候选者。
问题评估（Question-Evaluation, QE）： 为了克服复杂场景中整体嵌入（holistic embeddings）的局限性，多模态大语言模型（MLLM）将指令分解为具体的问题（例如，“主体是否在右侧？”、“左视图是否可见？”）。MLLM 根据这些问题对每个候选视图进行评估，生成细粒度的评分，并选择前 $K$ 个视图作为高质量的初始化点。

第二阶段：转换（从语言到几何伪标签）

自然语言很少提供数值化的优化目标。CapFrame 将构图指令转换为结构化的几何伪标签：

主体-高斯关联： MLLM 识别关键主体。利用检索图像上的 Grounded SAM 和 3DGS 深度信息，系统将 2D 掩码反投影到 3D 空间，从而将特定的高斯子集与每个主体相关联。
朝向伪标签： 对于非对称主体，MLLM 从文本中推断相对朝向偏移量（方位角、仰角、翻滚角）。这些偏移量与通过 Orient Anything 估计的主体朝向相结合，以创建目标朝向向量。
布局伪标签： MLLM 推断主体在归一化图像帧内的目标 2D 边界框。这些边界框会根据相机翻滚角进行调整，以确保与朝向约束保持一致。

第三阶段：精修（基于梯度的优化）

从检索到的位姿开始，CapFrame 在 3DGS 中进行可微优化，以找到最优的相机位姿。

可微渲染： 系统利用 3DGS 渲染的可微性，将损失函数直接反向传播到相机参数（ $\tau \in \mathfrak{se}(3)$ ）。
损失函数： 优化过程最小化多目标损失 $\mathcal{L} = \mathcal{L}_{\text{layout}} + \mathcal{L}_{\text{orient}}$ $L = L_{layout} + L_{orient}$ ：
- 布局损失（Layout Loss）： 通过惩罚主体软质心（soft centroid）偏离目标布局框的行为，以及惩罚掩码在框外泄漏或框内覆盖不足的行为，来强制执行主体放置约束。
- 朝向损失（Orientation Loss）： 通过三个项来强制执行视角约束：重力项（用于相机垂直向上）、前向项（使相机方向与主体目标朝向对齐）以及注视项（使主体质心保持在视野内）。

3. 核心贡献

新任务形式化： 本文引入了 TIVG，将关注点从物体定位转向了 3D 场景中的全帧构图对齐。
CapFrame 框架： 一种新型流水线，利用 MLLM 从文本中生成几何伪标签（朝向和布局），弥合了抽象指令与可微 3D 优化之间的鸿沟。
问题评估（QE）策略： 一种检索机制，通过使用 MLLM 将指令分解为具体问题，提供了比标准 VLM 相似度评分更鲁棒的初始化。
可微优化： 一种利用从伪标签导出的布局和朝向损失来精修 3DGS 相机位姿的方法，避免了对 3D 表示进行额外的训练。

4. 实验结果

作者在 38 个真实世界场景（来自 Mip-NeRF 360, Deep Blending, Tanks and Temples, LERF-OVS, 和 DL3DV-10K）上使用 135 条精心策划的文本指令对 CapFrame 进行了评估。

基准方法： 该方法与启发式搜索方法（基于插值的视角搜索、基于采样的视角搜索）以及适配的轨迹生成方法（ChatCam, SplaTraj）进行了对比。
定量性能： CapFrame 在所有指标上均取得了最高分：
- VLM 指标： 最高的文本-图像相似度得分（CLIP 和 SigLIP2）。
- MLLM 评判： 当由 GPT-4o-mini 和 Gemini-1.5-Flash 进行评估时，获得了最高的对齐得分（AS）和胜率（WR）。
- 用户研究： 33 名参与者完成了包含 12 组对比的问卷，CapFrame 的输出在 77.7% 的案例中优于基准方法，平均评分高达 4.50/5.0。
消融实验：
- 移除 QE 策略会导致初始化效果不佳，经常错过目标主体。
- 移除 朝向损失 会导致相机无法实现指定的视角（例如，角度错误）。
- 移除 布局损失 会导致主体偏离预定的位置。
- 精修（Refine） 阶段在所有数据集上都比初始检索视图持续提升了对齐得分。
敏感性： 系统对改写后的文本和伪标签中的适度噪声表现出鲁棒性，但在从较低排名（前 5 名）的图像进行初始化时，性能略有下降。

5. 重要性与主张

本文声称 CapFrame 通过自动化选择满足构图约束的视角，实现了对复杂 3D 环境的直观、语言驱动的探索。与以往关注“看什么”的方法不同，CapFrame 解决了“如何构图”的问题。

作者将这项工作定位为 TIVG 任务的首个解决方案。他们承认了局限性，指出框架对 MLLM 的依赖使得其对提示词质量较为敏感，且当前方法并不涉及对 3DGS 模型本身的额外训练。建议未来的工作探索更鲁棒的提示策略和提示优化。代码已公开，以促进该方向的进一步研究。