🤖 machine learning

CompoSE: Compositional Synthesis and Editing of 3D Shapes via Part-Aware Control

CompoSE 是一种基于扩散变换器的新颖方法，它通过将粗略的几何部件布局转化为具有细粒度编辑能力的详细且部件分离的物体，从而合成和编辑高质量的 3D 形状，且整个过程无需部件级别的文本提示。

原作者： Habib Slim, Shariq Farooq Bhat, Mohamed Elhoseiny, Yifan Wang, Mike Roberts

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Habib Slim, Shariq Farooq Bhat, Mohamed Elhoseiny, Yifan Wang, Mike Roberts

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你想定制一把 3D 椅子，但不是用一整块黏土雕刻出来，而是通过为椅腿、椅面和靠背放置特定的“区域”来设计。你想告诉计算机：“这个盒子是放椅腿的，那个是放椅面的”，然后让计算机填充细节。

这正是 CompoSE 所做的。它是一个新工具，允许你通过排列简单的形状（如漂浮的盒子）并配合文本描述来创建和编辑 3D 对象，而不是试图仅用文字描述整个复杂对象。

以下是其工作原理，分解为简单概念：

1. 问题：“魔法盒子”过于不可预测

通常，当你要求 AI“制作一把椅子”时，它就像一个魔法盒子。你输入一句话，它就吐出一把椅子。但如果你想只把椅腿变长，或者把椅面换成软垫，你往往不得不从头开始。AI 并不理解椅子是由独立部件组成的；它将椅子视为一个巨大的整体。如果你稍微修改文字，整把椅子的形状、颜色或风格可能会以意想不到的方式发生变化。

2. 解决方案：“建筑师的蓝图”

CompoSE 改变了游戏规则，让你像建筑师一样操作。

输入：你不仅仅输入“椅子”。你还要在 3D 空间中绘制几个漂浮的盒子。一个盒子代表椅腿，一个代表椅面，一个代表靠背。
魔法：AI 观察你的盒子和文本（例如“一张木质餐椅”），并在这些特定盒子内部填充细节。
结果：你得到一把椅子，其椅腿正好位于你放置椅腿盒子的位置，椅面也正好位于你放置椅面盒子的位置。

3. 核心秘诀：“局部与全局”的大脑

AI 如何知道椅腿盒子应该看起来像椅腿而不是桌腿？它使用了一种特殊的大脑架构（扩散 Transformer），能够同时以两种方式进行思考：

局部思考：它一次只看一个盒子。“好的，这个盒子又小又低；它需要做成椅腿。”它专注于该部件的具体形状。
全局思考：它观察整体画面。“等等，如果这些是椅腿，而这个是椅面，它们需要在风格和尺寸上相互匹配，这样看起来才像一把真正的椅子，而不是一堆不匹配的木头。”

通过在观察细节和观察全局之间来回切换，它确保每个部件都能完美契合。

4. 编辑超能力：“替换与保留”

CompoSE 最酷的部分在于其编辑的便捷性。由于 AI 将对象理解为独立部件，你可以做到：

调整大小而不破坏：你可以拉伸代表靠背的盒子使其变高。AI 会拉伸靠背，但保持木纹、纹理和风格完全不变。它不会把椅子变成另一个物体，只是让该部件变大。
替换部件：你可以删除代表椅面的盒子并绘制一个新的，然后告诉 AI：“把这个做成皮革软垫。”椅腿和靠背保持原样；只有椅面发生变化。
添加部件：你可以为扶手添加一个新盒子，AI 就会生成一个与椅子其余部分相匹配的扶手。

5. 训练方式：“自动标注”工厂

为了教会 AI 这一点，研究人员需要成千上万个被分解为部件的 3D 对象示例。由于没有人拥有“带有标注椅腿和椅面的椅子”数据库，他们构建了一个自动化流程。

他们从名为 Objaverse 的大型库中提取了数千个原始 3D 模型。
他们使用智能算法自动将模型切割成逻辑部分（例如将桌面与桌腿分离）。
他们利用视觉 - 语言 AI 观察对象并为其撰写描述。
这创建了一个庞大的训练集，而无需人工手动标注每一个部件。

总结

将 CompoSE 想象成一套 3D 设计的乐高积木。与其试图用黏土塑造整座雕像（一旦出错就很难修正），不如将你的“乐高积木”（盒子）放置在你想要的位置。然后，AI 会单独填充每个积木的纹理和形状，确保它们都能扣合在一起，形成一个美丽、连贯的对象，你可以逐个部件对其进行微调。

它目前做不到什么（基于论文）：

它不能保证对象在物理上是稳定的（一把椅子可能看起来不错，但如果你在上面施加重量，它可能会翻倒）。
它目前一次无法处理超过 8 个部件。
它不会自动猜测盒子的放置位置；你仍然需要自己放置它们（尽管论文指出未来的工作可以实现这一点）。

技术摘要：CompoSE

问题陈述

创建和编辑高质量 3D 内容仍然是计算机图形学中的核心挑战。尽管近期的生成式 AI 方法能够从高层输入（文本、图像或全局边界框）合成 3D 形状，但它们缺乏组合式合成与编辑能力。现有方法通常通过单一的整体对象来建模用户意图，或依赖 2D 图像条件，这导致部件几何结构纠缠，阻碍了局部化、细粒度的编辑。具体而言，当前方法无法接受部件分离的输入（例如，为各个物体部件设置独立的边界框）来指导合成，也不支持在保持物体其余部分身份和风格的同时编辑单个部件（替换、调整大小、删除）。此外，没有任何现有方法能够在不需要部件级文本提示的情况下，直接从粗略的布局引导中推断部件语义和对称性。

方法：CompoSE

作者提出了CompoSE（基于部件感知控制的 3D 形状组合式合成与编辑），这是一种新颖的方法，能够从一组粗略的几何基元（例如，定向边界框）和全局文本提示中合成部件分离的 3D 对象。

核心架构

该方法利用了一种扩散 Transformer (DiT) 架构，旨在在局部处理和全局处理之间进行交替：

局部块 (Local Blocks)： 独立处理各个基元的空间布局信息。这为每个合成部件的几何形状提供了高保真度的控制，其条件基于特定的输入框和共享的文本嵌入。
全局块 (Global Blocks)： 聚合所有部件之间的上下文线索和文本信息。这确保了整个物体的风格一致性、结构有效性以及全局比例的和谐。
条件机制 (Conditioning Mechanism)： 模型将部件级几何条件与全局文本提示融合。它学习推断全局语义如何在部件间分布，以及部件如何相互作用以形成连贯的整体，而无需为各个部件提供文本提示。

表示与编码

3D 形状表示： 模型在预训练 VAE (TripoSG) 的潜在空间中运行。真实 3D 部件被映射到潜在符号距离函数 (SDF) 表示。
输入几何编码： CompoSE 不使用简单的 MLP 对边界框参数（中心、范围、方向）进行编码，而是使用与 3D 部件相同的基于 SDF 的形状编码器对每个输入框进行编码。从框表面采样点和法线以生成潜在嵌入。这确保了条件信号（框）与目标几何形状之间的潜在空间对齐，显著提高了对输入布局的遵循度。

编辑能力

CompoSE 通过两种主要技术实现局部化细粒度编辑：

部件潜在变量冻结 (Part-Latent Freezing)： 为了编辑部分子集同时保留其他部分，未编辑部件的潜在变量通过在每一个扩散时间步从参考形状中恢复而被冻结。这将未编辑部件锁定在原地，保持其几何形状和语义。
KV 重注入 (KV Reinjection，保持身份的调整大小)： 对于需要保持风格的几何调整（例如调整大小），该方法缓存来自参考形状的注意力键和值。在编辑过程中，这些缓存值以依赖于时间步的方式与来自修改后潜在变量的重新计算值进行混合。这锚定了视觉身份，确保几何变化不会改变部件的风格或纹理。

数据流水线

由于现有数据集中没有包含带有相应文本 - 布局对的部件分割形状，作者开发了一个完全自动化的数据处理流水线：

分割： 原始 3D 网格被分解为低级片段，这些片段随后基于体积启发式规则逐步合并，以创建具有语义意义的部件。
布局提取： 为每个部件片段计算定向边界框 (OBB)。
标题生成： 视觉 - 语言模型 (InternVL3-8B) 从渲染的多视图图像生成全局文本提示，重点关注几何形状和部件描述，同时避免无关的颜色/纹理细节。

主要贡献

首个部件分离合成： 第一种从粗略部件布局合成部件分离 3D 形状的方法，具有一种新颖的条件技术，确保对用户输入布局的强遵循度以及对单个部件的高控制度。
多功能组合式编辑： 实现了一系列编辑能力，包括单个物体部件的替换、添加、删除以及保持风格的调整大小。
自动化数据流水线： 一个完全自动化的流水线，使得在大规模 3D 形状数据集上进行训练成为可能，而无需手动部件级分割或部件级文本标注。

结果与评估

作者在 Objaverse 数据集的未见部件布局和提示上评估了 CompoSE，并将其与 Fantasia3D、Coin3D、Spice-E 和 SpaceControl 等基线进行了比较。

定量指标： CompoSE 在引导式合成方面显著优于现有方法。Ours2048 变体取得了最佳的 Object-FID (12.77) 和 Part-FID (14.41)，表明其视觉质量更优。它还取得了最高的 Part-IoU (0.840)，证明与输入布局具有强对齐性，并在较大模型中取得了最佳的 CLIP-Score (31.07)。
基于 LLM 的评估： 使用 GPT-4o 作为布局遵循度、提示遵循度、质量和几何形状的评判者，CompoSE 在所有维度上取得了最佳平均排名 (1.69)，大幅优于所有基线。
编辑性能： 在保持身份的重缩放任务中，与异向缩放 (0.55) 和部件替换 (0.64) 相比，CompoSE 取得了显著更高的 F 分数 (在 $\tau=0.05$ 时为 0.70)，证实了其在编辑过程中保持几何身份的能力。
推理时间： 该方法随部件数量 ( $N_p$ ) 的增加而平稳扩展。在 512 分辨率下，即使有 8 个部件，其速度也快于基于优化的基线。

意义与局限性

论文声称，CompoSE 通过实现组合式合成与编辑，解决了专业内容创作中的一个关键缺口，使用户能够在保持全局连贯性的同时操纵单个部件。作者建议，为生成式 AI 提供丰富的结构化引导（如部件布局）可能成为计算机图形学工具箱中的标准，从而有望从粗略的代理网格合成仿真就绪资产。

作者承认的局限性包括：

伪影： 由于 VAE 在部件片段方面处于分布外 (out-of-distribution) 性质，部件边界处可能会出现轻微伪影（例如 z-fighting）。
物理合理性： 该方法不保证物理稳定性（例如，缺少接触点或不对称性）。
可扩展性： 由于全局注意力块的计算成本，当前架构每个形状最多限制为八个部件。
用户输入： 用户仍须手动定义输入边界框；作者指出，文本到结构模型未来可能实现这一过程的自动化。