BLOCK: An Open-Source Bi-Stage MLLM Character-to-Skin Pipeline for Minecraft

本文介绍了开源项目 BLOCK，这是一个利用大语言模型生成 3D 预览图并结合微调 FLUX.2 模型进行解码的双阶段管道，通过创新的 EvolveLoRA 渐进式训练策略，实现了从任意角色概念到像素级 Minecraft 皮肤的高效、稳定生成。

要点

这篇论文介绍了一个名为 BLOCK 的开源项目，它的核心任务非常有趣：把任何你喜欢的角色（比如照片、动漫图、甚至你脑子里的想法），变成《我的世界》（Minecraft）里那种像素风格的皮肤。

为了让你更容易理解，我们可以把整个过程想象成**“把一张复杂的时尚杂志封面，变成乐高积木的拼装说明书”**。

1. 为什么这很难？（痛点）

想象一下，你手里有一张科比·布莱恩特（Kobe Bryant）的精美照片。你想让电脑把它变成《我的世界》里的皮肤。

• 直接做很难： 现在的超级 AI（大模型）虽然很聪明，能看懂照片，但它们不擅长“受约束”的工作。就像让一个画家直接画乐高说明书，他可能会把衣服画得太细腻（像素不够用），或者把前后视图搞反，甚至画出一堆在《我的世界》里根本不存在的花纹。
• 结果： 直接生成的皮肤往往是一团乱麻，要么看不清，要么根本没法在《我的世界》里穿。

2. BLOCK 的解决方案：两步走策略

为了解决这个问题，BLOCK 没有试图让一个 AI 一次性搞定所有事，而是把它拆成了两个阶段，就像是一个**“翻译官”和一个“绘图员”**的配合。

第一阶段：翻译官（Character → 3D 预览）

• 角色： 这是一个强大的多模态 AI（论文里用的是 Gemini Nano Banana Pro）。
• 任务： 它的工作不是直接画皮肤，而是**“画草图”**。
• 怎么做： 你给它一张科比的照片，它会非常听话地画出一张**“标准作业图”**。这张图有两个特点：
  1. 双视图： 左边是正面，右边是背面，就像裁缝店里的模特展示图。
  2. 标准化： 它会把科比摆成《我的世界》里那种标准的“站立姿势”（手垂下，腿并拢），背景是纯白的。
• 比喻： 这就像是你把一张随意的街拍照片，交给一位专业的服装设计师。设计师不直接做衣服，而是先画出一张标准的、前后分开的、姿势统一的“设计草图”。这张草图去掉了所有杂乱的背景，只保留了衣服和身体的核心特征。

第二阶段：绘图员（Preview → 皮肤贴图）

• 角色： 这是一个经过特殊训练的 AI 模型（基于 FLUX.2）。
• 任务： 把第一阶段的“标准草图”，变成真正的**“乐高说明书”**（也就是 64x64 像素的皮肤贴图）。
• 怎么做： 这个 AI 专门学过怎么把“设计图”翻译成“像素块”。它看着草图，然后精准地把每一块颜色填到对应的 64x64 网格上（头、身体、手臂、腿）。
• 比喻： 这就像是一位乐高大师，看着设计师画好的标准草图，熟练地把成千上万个小积木块（像素）拼好，最后变成一张可以贴在《我的世界》角色身上的“皮肤纸”。

3. 核心黑科技：EvolveLoRA（像练级一样的训练法）

为了让第二阶段的“绘图员”AI 变得超级厉害，作者没有让它直接上手硬啃最难的任务，而是设计了一个**“循序渐进的练级课程”**，叫 EvolveLoRA。

• 第一关（文字转图片）： 先让 AI 看一些简单的描述（比如“红色上衣，蓝色裤子”），学会画基本的皮肤。这就像让新手先临摹简单的线条画。
• 第二关（图片转图片）： 让 AI 看着标准的“前后视图”画皮肤。这就像让新手看着标准的模特图开始上色。
• 第三关（预览转皮肤）： 最后，让 AI 看着第一阶段生成的“标准草图”画皮肤。这时候，它已经具备了前两步的经验，所以能更稳定、更准确地完成最终任务。
• 比喻： 这就像教一个人做蛋糕。
  • 先让他学认面粉和糖（文字转图片）；
  • 再让他学照着食谱做基础蛋糕（图片转图片）；
  • 最后才让他根据现场情况做复杂的定制蛋糕（预览转皮肤）。
  • 如果不分步走，直接让他做定制蛋糕，他可能会把面粉和糖搞混，蛋糕就塌了。

4. 为什么这个设计很聪明？

• 分工明确： 让擅长“理解”的 AI 去处理复杂的角色特征，让擅长“精准执行”的 AI 去处理像素网格。
• 解决“水土不服”： 直接让 AI 从照片变皮肤，就像让一个习惯画油画的人突然去画像素画，很容易出错。BLOCK 先画一张“标准草图”，相当于给 AI 铺了一条平坦的路。
• 开源与免费： 作者把这套方法、提示词（Prompt）和训练好的模型都公开了，任何人都可以用。

总结

BLOCK 就像一个智能皮肤工厂：

1. 前台接待（Stage 1）： 把千奇百怪的客户照片，整理成标准的“设计单”。
2. 生产车间（Stage 2）： 拿着标准设计单，用特殊的“像素积木”精准地拼出皮肤。
3. 培训体系（EvolveLoRA）： 确保车间里的工人是经过严格、分阶段训练出来的，保证拼出来的皮肤既好看，又符合《我的世界》的规则。

这就解决了以前“想给《我的世界》角色换皮肤，但 AI 总是画得一团糟”的难题，让任何人都能轻松拥有像素完美的专属皮肤。

技术摘要

BLOCK：基于开源双阶段 MLLM 的 Minecraft 角色皮肤生成管道技术总结

1. 研究背景与问题定义

Minecraft 皮肤生成是一个极具挑战性的任务。Minecraft 皮肤本质上是 $64 \times 64$ 的 UV 纹理图集（UV Atlas），需要严格遵循游戏引擎的几何约束（如头部、躯干、四肢的特定区域划分）。
尽管现代多模态大模型（MLLM）在理解角色参考图和遵循布局指令方面表现出色，但直接利用它们进行“端到端”的皮肤生成存在显著缺陷：

1. 领域不匹配：MLLM 的训练数据与 Minecraft 皮肤领域存在巨大差异，难以将高层角色特征压缩并对齐到正确的像素块和 UV 区域。
2. 约束违反：生成的纹理经常违反严格的皮肤结构约束（如前后视图混淆、UV 布局错误、边界不清）。
3. 输入噪声：真实用户通常提供的是任意角度的角色图片，而非标准的 UV 图，直接生成极易出错。

因此，核心挑战在于如何生成结构正确、像素完美且符合 UV 约束的皮肤，同时保持角色特征的一致性。

2. 方法论：BLOCK 双阶段管道

为了解决上述问题，作者提出了 BLOCK，一个开源的双阶段（Bi-stage）角色到皮肤生成管道。该管道将复杂问题分解为两个独立但协同的阶段：

第一阶段：角色到 3D 预览合成 (Character → 3D Preview)

• 目标：将用户提供的任意角色参考图（通常是照片或插画）转换为标准的、符合 Minecraft 风格的双面板（正面/背面）斜视预览图。
• 模型：使用 Gemini Nano Banana Pro（作者测试中唯一能稳定完成此任务的模型）。
• 输入模式：
  • Mode-I：输入角色参考图 + 布局锚点（固定双面板框架）+ 姿态锚点（强制 Minecraft 站立姿势）。
  • Mode-II：在 Mode-I 基础上增加风格参考图（如动漫风格或写实风格的 Minecraft 预览），以控制渲染风格。
• 关键机制：通过精心设计的提示词模板（Prompt Template），强制模型输出：
  • 严格的双面板结构（左前右后，绝不互换）。
  • 略微倾斜的相机视角（暴露更多细节，同时保持姿态稳定）。
  • 纯白背景和标准的 Minecraft 立方体几何结构。
• 作用：利用 MLLM 强大的语义理解和风格遵循能力，将非标准化的输入“归一化”为标准的中间表示，消除输入噪声。

第二阶段：预览到皮肤图集解码 (Preview → Skin Atlas)

• 目标：将第一阶段生成的 3D 风格预览图转换为 $512 \times 512$的皮肤图集（Atlas），最终解码为$64 \times 64$ 的有效 Minecraft 皮肤。
• 模型：基于 FLUX.2 模型进行微调。
• 核心创新：EvolveLoRA（渐进式 LoRA 课程）
  为了在有限资源下实现稳定训练，作者提出了一种分阶段的微调策略，每一阶段都利用前一阶段的 LoRA 权重进行初始化，而非从头开始：
  1. Phase I (Text-to-Image)：仅使用自动生成的文本描述（基于皮肤颜色分布）和皮肤图集进行训练，让模型快速注入 Minecraft 皮肤领域的先验知识。
  2. Phase II (Image-to-Image)：使用同一皮肤的正/背面渲染图作为条件输入，训练模型学习从标准视图到 UV 布局的映射。
  3. Phase III (Preview-to-Atlas)：使用第一阶段生成的 3D 风格预览图作为条件，训练最终的预览到图集转换模型。
• 解码器：使用确定性解码器（Deterministic Decoder），通过最近邻下采样（8 倍）和结构强制，将 $512 \times 512$的生成图转换为符合游戏规范的$64 \times 64$ RGBA 皮肤。

3. 关键贡献

1. BLOCK 开源管道：首个将任意角色概念转化为像素完美 Minecraft 皮肤的双阶段开源解决方案，解决了直接生成的不稳定性问题。
2. 数据构建与规范：设计了一套可扩展的数据规范，将 20 万 + 的 Minecraft 皮肤数据集转化为监督训练数据（包括正背面渲染图和 3D 风格预览图）。
3. EvolveLoRA 训练策略：提出了一种渐进式 LoRA 初始化课程（Text-to-Image → Image-to-Image → Preview-to-Skin），显著提高了训练的稳定性和效率，避免了从头训练 3D 预览到图集任务的困难。
4. 完整开源：发布了所有提示词模板、微调权重和实现代码，支持可复现的研究和扩展。

4. 实验结果与定性分析

• 成功案例：BLOCK 能够处理从简单角色到包含大量精细细节的复杂角色概念，生成结构正确、身份特征保留良好的皮肤。
• 困难案例：
  • 对于细节极其丰富的角色，如果第一阶段预览图未能充分压缩细节，第二阶段在解码为 $64 \times 64$ 时可能会丢失部分细节或产生混叠（Aliasing）。
  • 对于极其罕见的配饰或发型，模型偶尔会生成不理想的预览，需要多次尝试（Rollouts）。
• 对比：相比于直接使用强大的 MLLM 进行单阶段生成，BLOCK 在 UV 结构正确性、前后视图一致性和像素艺术质量上表现显著更优。

5. 局限性与未来工作

• 下采样友好性：当前流程中，如果第一阶段预览图细节过于复杂，第二阶段模型难以将其“压缩”为适合离散解码的表示，导致最终皮肤细节丢失。未来计划让第二阶段模型学习细节压缩策略。
• 依赖外部 MLLM：目前第一阶段依赖闭源模型（Gemini Nano Banana Pro）。未来目标是微调开源多模态模型以替代该阶段，实现全开源。
• 计算成本：基于 FLUX.2 9B 模型的微调对显存要求较高。未来计划通过蒸馏技术将能力迁移到更小的模型（如 4B 参数级别）。
• 数据集与基准：呼吁社区建立高质量、标准化的 Minecraft 皮肤数据集和评估基准，以推动该领域的进一步发展。

6. 总结与意义

BLOCK 通过**“语义理解与风格归一化（MLLM）”与“结构化像素转换（Diffusion/Flow Model）”**的解耦，巧妙地解决了 Minecraft 皮肤生成中的核心矛盾。它不仅提供了一个实用的工具，让普通用户能轻松将角色概念转化为游戏皮肤，还通过 EvolveLoRA 策略为多阶段图像生成任务的训练提供了新的思路。该工作为像素艺术生成、UV 纹理合成以及多模态模型在特定垂直领域的应用提供了重要的技术参考。