💻 computer science

Voxify3D: Pixel Art Meets Volumetric Rendering

Voxify3D 是一个可微分两阶段框架，通过整合正交像素监督、基于补丁的 CLIP 对齐以及调色板约束的 Gumbel-Softmax 量化，实现了从三维网格自动生成体素艺术，从而达成几何抽象、语义保持与离散色彩一致性。

原作者： Yi-Chuan Huang, Jiewen Chan, Hao-Jen Chien, Yu-Lun Liu

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Yi-Chuan Huang, Jiewen Chan, Hao-Jen Chien, Yu-Lun Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一座由黏土制成的精美、光滑的 3D 雕像。现在，想象你想将这座光滑的雕像变成一个完全由乐高积木或《我的世界》方块构成的、块状的复古风格视频游戏角色。这正是 Voxify3D 所做的，但它能自动完成这一过程，并带有非常独特的艺术风格：它将光滑的物体转化为“体素艺术”（3D 像素艺术），同时保持角色可识别，并呈现出一种手工打造的游戏资产质感。

以下是论文对其“魔法”的解析，将其拆解为简单的概念：

问题：为什么这很难？

将光滑的 3D 模型转化为块状艺术，绝不仅仅是将其缩小。

“模糊”问题：如果你只是缩小一张照片，它会变得模糊。如果你只是将 3D 模型切碎成方块，脸部可能会看起来像土豆，眼睛甚至可能消失。
“调色板”问题：真正的体素艺术（如《我的世界》）并不使用数百万种颜色。它使用极小且特定的颜色集合（例如 4 种或 8 种）。现有的计算机方法往往试图使用过多的颜色或将其混合，导致结果看起来浑浊而非清晰。
“角度”问题：当你从某个角度观察 3D 物体时，事物会发生扭曲（透视）。但像素艺术是平坦且笔直的。试图强行将弯曲的 3D 视图压入平坦的像素网格中，通常会导致一团糟。

解决方案：“两阶段”工厂

作者构建了一个名为 Voxify3D 的系统，它分两个主要步骤工作，就像雕塑家先粗略塑造形状，然后再进行上色。

第一阶段：粗稿（粗略训练）

首先，计算机将光滑的 3D 模型取来，用立方体网格构建一个“骨架”。这就像取一团黏土，迅速将其挤压成一个粗糙的块状形状。此时，颜色仍然有些杂乱且连续（像水彩画），但基本形状已经存在。

第二阶段：像素艺术抛光（微调）

这是魔法发生的地方。系统切换到一套非常严格的规则，将那个粗糙的块状形状转化为清晰、复古的艺术作品。它使用了三种特殊工具：

“平面相机”（正交投影）：
- 比喻：想象透过一扇窗户看一栋建筑，那里的平行线保持平行（就像蓝图），而不是用眼睛看时线条在远处汇聚。
- 作用：系统从六个正对的角度（前、后、左、右、上、下）观察物体。这确保了监督图像中的每一个“像素”都与 3D 模型中的特定“体素”（方块）完美对齐。没有扭曲，没有模糊。
“智能导师”（CLIP 对齐）：
- 比喻：想象一位老师，他不仅检查画作看起来是否正确，还检查“构思”是否正确。
- 作用：即使物体正在变得块状，系统也使用 AI“导师”（CLIP）来确保块状版本仍然看起来像原始角色。如果原始角色是“戴着红色蝴蝶结的粉色熊”，系统会确保块状版本依然能让人一眼认出是“戴着红色蝴蝶结的粉色熊”，即使那个蝴蝶结只是几个红色的方块。
“选色器”（Gumbel-Softmax 与调色板）：
- 比喻：想象你在画画，但只被允许使用一个特定的、装有 4 支蜡笔的盒子。你不能混合它们来创造新颜色；你必须从这 4 支中挑选一支。
- 作用：系统强制 3D 模型从一个极小、预先选定的颜色列表（如 2、4 或 8 种颜色）中进行选择。它使用一种巧妙的数学技巧（Gumbel-Softmax），允许计算机在训练过程中“猜测”该选择哪种颜色，但最终会为每个方块锁定单一、实心的颜色。这就产生了你在优质体素艺术中看到的那种锐利、干净的边缘。

他们取得了什么成就？

论文表明，他们的方法优于现有工具（如 Blender 的自动体素化器或其他 AI 方法），因为：

它保留了细节：脸部、耳朵和四肢不会消失；即使变得非常块状，它们依然可识别。
它看起来像艺术品：颜色清晰且有限，不浑浊也不模糊。
你可以掌控：你可以告诉系统，“我希望它看起来只有 4 种颜色”或“我希望它非常块状（低分辨率）”或“我希望它很详细（高分辨率）”，而它会照做。

“乐高”彩蛋

作者还展示，由于他们的输出是由离散的方块和有限的调色板构成的，因此可以轻松转化为实体物品，例如 乐高套装。他们通过渲染结果，使其看起来像是可以用真实积木搭建的，从而证明了这一点。

总结

Voxify3D 是一个智能计算机程序，它将光滑的 3D 模型自动转化为高质量、块状、复古风格的视频游戏角色。它通过从正对角度观察物体、强制其使用极小且干净的颜色集合，并利用“智能导师”确保角色即使由方块构成依然保持原貌，从而实现了这一目标。

以下是论文《Voxify3D：像素艺术遇见体素渲染》的详细技术总结。

1. 问题陈述

本文解决了将 3D 网格自动转换为风格化体素艺术的挑战。虽然体素艺术在游戏和数字媒体中很受欢迎，但手动创建它非常耗时。现有的自动化方法存在三个主要局限性：

几何抽象与语义保留的矛盾：简单的下采样会丢失关键的语义特征（例如面部细节），而神经辐射场（NeRFs）侧重于照片级真实感，而非离散的、块状的抽象。
透视失真：标准的神经风格化使用透视投影，这会导致像素与体素错位，从而产生模糊的渐变和跨视图的不一致外观。
离散优化：体素艺术需要小型的离散调色板（2–8 种颜色）。标准的基于梯度的方法会产生连续的 RGB 值，而现有的量化技术缺乏可微性或用户对调色板提取的控制。

2. 方法论：Voxify3D

作者提出了Voxify3D，这是一个可微的两阶段框架，将 3D 网格优化与 2D 像素艺术监督相结合。该流程包括：

阶段 1：粗略体素网格初始化

基础：采用DVGO（直接体素网格优化），它使用显式的密度和颜色网格代替 MLP 以实现更快的训练。
过程：将 3D 网格的边界框划分为体素网格。系统使用标准的体积渲染损失（MSE）优化密度和 RGB 颜色，以建立几何和颜色基础。

阶段 2：正交像素艺术微调

此阶段利用三个核心创新将粗略网格细化，以实现体素艺术的特定美学：

正交像素艺术监督：
- 该方法渲染六个正交视图（前、后、左、右、顶、底），而不是透视渲染。
- 原因：正交投影确保光线平行，消除了透视失真。这允许精确的像素到体素对齐，确保 2D 像素艺术监督直接映射到 3D 体素网格而不会产生模糊。
- 损失函数：包括用于颜色的 MSE、用于几何保留的深度损失，以及用于强制背景透明度的 Alpha 损失。
基于补丁的 CLIP 语义损失：
- 为了防止“语义崩溃”（即在极端下采样过程中眼睛或耳朵等细节消失），该方法在渲染图像的随机补丁与输入网格补丁之间计算CLIP 损失。
- 这确保了体素化输出即使在低分辨率（20×–50×）下也能保留原始对象的语义身份。
调色板约束的可微量化（Gumbel-Softmax）：
- 机制：每个体素不回归连续的 RGB 值，而是存储一个logit 向量，表示预定义颜色调色板上的概率。
- 可微性：使用Gumbel-Softmax在训练期间采样离散颜色。温度参数（ $\tau$ ）从高（软探索）退火到低（硬离散选择）。
- 调色板控制：用户可以选择颜色数量（2–8 种）和提取策略（K-means、Max-Min、Median Cut、模拟退火）来在优化之前定义调色板。

3. 主要贡献

正交像素艺术监督：首个通过消除透视错位将 2D 像素艺术与 3D 体素优化结合起来的框架，为离散风格化实现了精确的梯度流。
分辨率自适应的语义保留：一种基于补丁的 CLIP 公式，在极端离散化（20×–50×）下保持对象身份，解决了标准感知损失失效的语义崩溃问题。
调色板约束的可微量化：一个端到端流程，将 Gumbel-Softmax 与灵活的调色板提取策略集成，允许可控的离散颜色空间（2–8 种颜色），同时保持优化的可微性。

4. 实验结果

该方法在多种角色网格（Rodin、Unique3D、TRELLIS 数据集）上进行了评估，并与 IN2N、Vox-E、Blender Geometry Nodes 以及“像素艺术到 3D"扩展等基线进行了比较。

定量性能：
- 在所有方法中实现了最高的CLIP-IQA 分数（37.12），表明具有更优越的语义对齐和风格化保真度。
- 用户偏好：在 72 名参与者的研究中，Voxify3D 在抽象性方面获得**77.90%的偏好，在视觉吸引力方面获得80.36%的偏好，在几何保留方面获得96.55%**的偏好，优于基线。
定性结果：
- 成功保留了关键特征（耳朵、眼睛、四肢），边缘清晰，而基线方法往往产生模糊、粗糙或语义不一致的结果。
- 展示了在控制分辨率（20× 到 50×）和颜色数量（2 到 8 种颜色）方面的灵活性。
消融研究：
- 移除阶段 1会导致形状扭曲。
- 移除正交投影会导致严重的颜色错位。
- 移除Gumbel-Softmax会导致混合的、非离散的颜色，缺乏清晰的边界。
- 移除CLIP 损失会导致语义清晰度丧失。

5. 意义与应用

可控的抽象：Voxify3D 提供了对抽象程度和色彩丰富度的前所未有的控制，使其适用于各种艺术风格。
制造潜力：离散结构和有限的调色板使输出直接适用于物理制造，例如乐高风格的组件（论文中已展示）。
效率：两阶段流程比手动创建体素艺术快得多，并且在单个 GPU 上高效运行（每个模型约 20 分钟）。
未来方向：作者建议未来的工作可以专注于自适应体素分辨率以处理高度复杂的形状，并集成用于物理构建的装配感知约束。

总之，Voxify3D通过结合正交渲染、语义指导和可微离散优化，成功解决了将 3D 网格转换为高质量、语义一致的体素艺术的难题。