💻 computer science

Camera Control for Text-to-Image Generation via Learning Viewpoint Tokens

该论文提出了一种通过训练参数化视角令牌（Viewpoint Tokens）来实现文本到图像生成中精确相机控制的新框架，该方法在结合 3D 渲染几何监督与真实感数据增强的数据集上进行微调，不仅实现了最先进的控制精度，还克服了以往方法对特定物体外观过拟合的问题，成功将显式的 3D 相机结构引入文本 - 视觉潜在空间。

原作者： Xinxuan Lu, Charless Fowlkes, Alexander C. Berg

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xinxuan Lu, Charless Fowlkes, Alexander C. Berg

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让 AI 画图变得更“听话”的新方法。简单来说，以前的 AI 画图（比如输入“画一只猫”），虽然画得很像，但你很难指挥它“从左边 45 度角看”或者“从头顶往下看”。AI 经常画错角度，或者画出来的东西像被“吸”到了某个固定的正面视角。

这篇论文的作者（来自加州大学尔湾分校）发明了一种叫"视角令牌"（Viewpoint Tokens）的技术，相当于给 AI 装上了一套**“导演指挥系统”**。

下面我用几个生活中的比喻来解释这项技术：

1. 以前的痛点：只会听“大概”的画家

想象你雇佣了一位非常有才华的画家（现在的 AI 模型），他画什么动物、什么风景都很逼真。

你的指令：“画一只在威尼斯街道上的圣诞老人，要能看到他的背面和左侧面，相机稍微低一点。”
画家的反应：他可能画了一个正面的圣诞老人，或者画了一个完全背对着你的，甚至把圣诞老人画成了侧身但脸还是朝前的。
原因：人类语言里的“左边”、“后面”对 AI 来说太模糊了。AI 脑子里没有真正的“三维空间感”，它只是根据以前看过的无数张图片，猜一个“最可能”的角度（通常是正脸）。

2. 新方案：给画家戴上"GPS 导航”和“角度尺”

作者给这个画家（AI）加了一个特殊的**“视角令牌”**。

比喻：这就好比给画家发了一张精确的“导演分镜卡”。这张卡片上不是用文字写“左边”，而是用数学坐标告诉画家：相机距离物体多远、水平转了多少度、抬头还是低头转了多少度。
如何工作：
1. 参数化：把“角度”变成数字（比如：水平转 45 度，低头 10 度）。
2. 翻译：用一个小型的“翻译器”（MLP 编码器）把这些数字变成 AI 能听懂的“暗号”（令牌）。
3. 融合：把这个“暗号”和“画一只圣诞老人”的文字指令一起喂给 AI。
4. 结果：AI 现在不仅知道要画什么，还精确知道从哪个位置看，就像摄影师拿着三脚架，严格按照指令调整机位一样。

3. 训练秘诀：既学“几何”又学“生活”

为了让 AI 真正学会这个技能，作者没有只用一种数据，而是设计了一个**“双拼套餐”**（Two-part dataset）：

第一道菜：3D 渲染图（几何教科书）
- 作者用电脑生成了成千上万张完美的 3D 模型图（比如一个完美的 3D 汽车模型），从各个刁钻的角度拍摄。
- 作用：这就像给 AI 上几何课。它让 AI 明白“左”和“右”在数学上到底是什么意思，确保角度绝对精准。
- 缺点：如果只吃这道菜，AI 会变得很呆板，画出来的东西像塑料模型，没有真实感。
第二道菜：真实感增强图（生活实战课）
- 作者把上面那些 3D 模型，用另一个 AI 工具（Nano Banana）“整容”成照片级的真实图片，并加上各种真实的背景（比如把 3D 汽车 P 到真实的威尼斯街道上）。
- 作用：这就像给 AI 上生活课。它让 AI 学会在保持角度精准的同时，画出真实的材质、光影和复杂的背景。

为什么要这样“双拼”？
如果只学几何，AI 画不出真实世界；如果只学真实图片，AI 又学不会精准的角度控制。两者结合，AI 就既懂“规矩”（几何），又懂“变通”（真实感）。

4. 为什么比以前的方法好？

以前的方法（比如 Compass Control）有点像**“死记硬背”**。

旧方法：如果训练时只见过“狮子”的侧面，当你让它画“独角兽”的侧面时，它可能会把独角兽画成狮子的样子，因为它只记住了“狮子”的特征，没学会通用的“侧面”概念。
新方法：作者的方法学会了**“通用的空间感”**。就像你学会了“向左转”这个动作，无论是转狮子、转汽车还是转人，你都能做对。
- 实验证明：即使让 AI 画它从未见过的物体（比如“凤凰”、“高达机器人”），它也能精准地画出你要求的角度，而且不会把凤凰画成狮子。

5. 总结：从“猜谜”到“精准指挥”

这项技术的核心突破在于：

精准控制：你可以像导演一样，精确指定相机的位置（上下左右前后）。
通用性强：不管画什么新东西，都能控制角度，不会“过拟合”（死记硬背）。
全局理解：AI 不仅控制了物体，还理解了物体和背景的关系（比如太阳的位置、地面的透视），让画面看起来更自然。

一句话总结：
这就好比给 AI 画家从“只会听大概指令的学徒”，升级成了“拿着精密仪器、能听懂专业导演指令的资深摄影师”，让你能随心所欲地指挥 AI 画出任何你想要的视角。

1. 研究背景与问题 (Problem)

当前的文本到图像（Text-to-Image, T2I）生成模型虽然在语义保真度和视觉逼真度上取得了巨大进步，但在精确的相机视角控制方面存在显著缺陷：

自然语言的局限性：自然语言描述视角（如“左视图”、"30 度俯拍”）具有内在的模糊性和离散性，模型难以精确解析。
现有模型的失败：现有模型往往会产生错误的姿态、坍缩到偏置的默认角度（如总是正面），或者在不同尝试中产生几何不一致的结果。
现有方法的不足：
- 3D 感知生成模型（如 NeRF 类）通常需要额外的输入（如多视图图像、深度图），无法仅凭文本直接生成。
- 基于 Token 的方法（如 Compass Control）虽然引入了视角 Token，但往往局限于方位角（Azimuth）控制，且容易过拟合到特定训练物体的外观，缺乏对全局场景的理解，导致在未见物体上泛化能力差。

核心目标：实现仅通过文本提示（Text Prompts）即可进行精确、细粒度的相机视角控制，同时保持图像质量和提示词的一致性，并具备对未见物体类别的泛化能力。

2. 方法论 (Methodology)

作者提出了一种通过**学习视点 Token（Viewpoint Tokens）**来增强文本提示的方法，使 T2I 模型能够理解显式的 3D 相机结构。

2.1 视角参数化 (Viewpoint Parameterization)

采用以物体为中心的坐标系，将物体固定在原点，物体正面朝向世界坐标系的正 X 轴。相机视角由5 个参数因子化表示：

位置： $(\theta_{az}, \theta_{el}, r)$ ，使用球坐标系。 $r$ 以物体直径为单位。
旋转： $(\theta_{pitch}, \theta_{yaw})$ ，表示相机相对于视线方向的倾斜（俯仰和偏航）。
假设：相机和物体的“上”方向对齐（无翻滚角 $\theta_{roll}=0$ ），焦距固定。

2.2 视点 Token 编码 (Viewpoint Token Encoding)

编码函数：使用一个轻量级的多层感知机（MLP）将 5 个参数映射为 Token 嵌入。
- 方位角 $\theta_{az}$ 通过正弦和余弦编码处理周期性。
- 半径 $r$ 归一化到 $[0, 1]$ 。
- 其他参数直接使用弧度值。
输入融合：生成的视点 Token 嵌入被插入到文本嵌入中（通常位于物体描述旁边），与文本 Token 一起输入到 T2I 骨干网络中进行联合训练或微调。这使得模型能够同时关注语义内容和显式的几何视角信息。

2.3 数据集构建 (Two-Part Dataset Design)

为了解决过拟合和模型坍缩问题，作者构建了一个包含两部分的混合数据集：

大规模渲染数据集 (Large Rendered Dataset)：
- 包含 3,111 个 3D 模型（动物、车辆、人物、家具），每个渲染 120 个随机视角，共约 37.3 万张透明背景图像。
- 作用：提供强几何监督，帮助模型学习精确的视角与几何关系。
照片级增强数据集 (Photorealistic Augmented Dataset)：
- 从上述数据中精选 800 个高质量物体，渲染后使用商业图像生成模型（Nano Banana / Gemini）进行背景替换和外观增强。
- 作用：引入真实世界的背景多样性、光照和纹理，防止模型“忘记”如何渲染复杂场景，保持生成图像的逼真度。

训练策略：在训练过程中，从这两部分数据中均匀采样。

3. 主要贡献 (Key Contributions)

SOTA 的相机控制能力：在视角控制的范围和精度上达到了最先进水平，同时保持了图像质量和对文本提示的忠实度，优于现有的新视图生成方法和基于 Token 的方法。
保留上下文的训练策略：模型学习的是基于全局场景理解的视角线索，而非孤立的物体裁剪，从而实现了更一致的前景 - 背景关系。
创新的数据集设计：结合了“高数量规范对齐的渲染数据”（用于几何监督）和“低数量照片级增强数据”（用于保持真实感和外观多样性）。
强大的泛化能力：实验证明该方法在不同 T2I 骨干网络（如 Harmon, SD2.1, SD3.5）上均有效，且在未见过的物体类别上表现出更少的过拟合，能够解耦视角与物体身份。

4. 实验结果 (Results)

4.1 定量评估

视角精度：在方位角、仰角、半径、偏航和俯仰五个参数上，该方法的平均误差均低于 Compass Control 和 Stable-Virtual-Camera。
- 例如：方位角平均误差为 18.11°，优于 Compass Control 的 31.07°。
提示词对齐 (Prompt Alignment)：在 GenEval 基准测试（单物体、颜色）和 CLIP 相似度上，该方法优于 Compass Control，且与原始骨干模型（Harmon）相比下降幅度很小，证明了其未破坏原有的生成能力。
泛化性测试：在包含 26 个未见物体（如独角兽、凤凰、高达等）的测试集上，该方法保持了低误差，而 Compass Control 在未见物体上误差显著增加。

4.2 定性评估

复杂视角：在极端视角（如背面视图、高仰角俯拍）下，该方法能生成几何一致且符合提示词的描述，而其他方法（如 Compass Control）常出现物体变形或视角错误。
过拟合对比：Compass Control 常被观察到过拟合到训练集中的特定物体（如将“圣诞老人”生成得像狮子或鞋子），而该方法能正确生成提示词指定的物体。
多物体控制：该方法扩展后支持对场景中多个物体进行独立的视角控制。

5. 意义与影响 (Significance)

填补了空白：首次实现了仅通过文本提示即可进行精确、多参数（位置 + 旋转）的相机控制，无需额外的几何输入（如深度图或参考图）。
几何感知的文本空间：证明了文本 - 视觉潜在空间可以通过简单的参数化编码被赋予显式的 3D 相机结构，为构建几何感知的生成系统开辟了新路径。
实际应用价值：该方法生成的图像具有全局场景一致性，适用于需要精确视角控制的影视预演、游戏资产生成、广告素材制作等场景。
解耦学习：通过因子化的视角表示和混合数据集训练，成功解耦了“物体身份”与“观察视角”，解决了以往方法难以泛化到未见物体的痛点。

总结

这篇论文提出了一种高效且通用的框架，通过引入可学习的视点 Token 和精心设计的混合数据集，成功解决了文本到图像生成中精确相机控制难的问题。它不仅提升了生成的几何准确性，还保持了高质量的视觉表现和强大的泛化能力，是迈向可控、几何感知 AI 图像生成的重要一步。