Yo'City: Personalized and Boundless 3D Realistic City Scene Generation via Self-Critic Expansion

本文提出了 Yo'City,一种利用大模型推理与组合能力的智能体框架,通过“城市 - 街区 - 网格”分层规划、基于自批评的图像合成循环以及关系引导的扩展机制,实现了个性化且无限可扩展的逼真 3D 城市场景生成。

Keyang Lu, Sifan Zhou, Hongbin Xu, Gang Xu, Zhifei Yang, Yikai Wang, Zhen Xiao, Jieyi Long, Ming Li

发布于 2026-03-10
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

想象一下,你手里有一个**“上帝视角的魔法积木盒”,只要你对它说一句话,比如“我想建一个充满活力的现代都市,还要有个哈利波特主题乐园”,它就能瞬间变出一座无限大、超逼真、甚至能随时扩建**的 3D 城市。

这篇论文介绍的就是这个魔法盒子,它的名字叫 Yo'City

以前的造城方法就像是一个只会死记硬背的工匠,或者需要你先画好极其复杂的图纸(比如卫星地图)才能动工。而 Yo'City 则像是一个拥有“超级大脑”的 AI 城市规划师团队,它不需要你给图纸,只需要你给个“想法”,它就能从零开始,甚至在你觉得不够大时,随时帮你把城市“长”得更大。

为了让你更容易理解,我们可以把 Yo'City 的工作流程比作**“盖一座超级乐高城市”**:

1. 核心策略:从“大局”到“细节”的“总指挥”模式

以前的 AI 造城,就像是一个人在没有图纸的情况下,一块砖一块砖地硬砌,砌到后面容易歪,或者风格不统一。

Yo'City 则请来了两位**“超级大脑”(AI 代理)**来分工合作:

  • 总规划师(Global Planner):

    • 角色: 就像城市的**“市长”**。
    • 任务: 当你说“我要一座繁华都市”时,他先不急着盖楼,而是先画一张**“宏观地图”**。他会决定:哪里是商业区(CBD),哪里是居民区,哪里是公园?大概占多大面积?
    • 绝招: 他甚至能去“查资料”(检索增强生成),如果你说“我要一个像纽约的城市”,他会去“大脑”里调取纽约的布局特点,确保规划符合逻辑。
  • 细节设计师(Local Designer):

    • 角色: 就像**“首席建筑师”**。
    • 任务: 拿到市长的地图后,他负责把每个街区(Grid)细化。比如,商业区的那一块,是全是玻璃幕墙的高楼,还是带点复古风?居民区是密集的小公寓,还是带花园的别墅?
    • 关键点: 他确保每个小街区不仅自己好看,而且和旁边的街区风格协调,不会左边是赛博朋克,右边突然变成古代城堡。

2. 造砖过程:一个“自我纠错”的循环

有了设计图,怎么把 2D 的图纸变成 3D 的积木呢?Yo'City 用了一个**“生产 - 打磨 - 质检”**的循环:

  1. 生产(Produce): 先根据描述生成一张 2D 的“等轴测图”(就像那种斜着看的乐高说明书图)。
  2. 打磨(Refine): 这时候 AI 会像**“修图师”**一样,把图里不合理的部分(比如楼歪了、地没切干净)修好。
  3. 质检(Evaluate): 还有一个**“挑剔的质检员”**(AI 评估器)会拿着放大镜看:“这楼像不像真的?纹理清不清晰?有没有穿模?”如果不合格,就退回重做,直到完美为止。
  4. 变身: 最后,把这些完美的 2D 图通过魔法变成 3D 模型。

3. 无限扩建:会“思考”的“自我批评”机制

这是 Yo'City 最厉害的地方。很多 AI 造城,造到边缘就卡住了,或者加一块新区域会显得格格不入。

Yo'City 引入了一个**“自我批评(Self-Critic)”**的扩建机制:

  • 场景: 你觉得城市太挤了,想加一个“大型体育馆”。
  • 思考: Yo'City 不会随便找个空地就塞进去。它会像**“城市规划专家”**一样思考:“体育馆应该离居民区近一点,方便大家去锻炼;但应该离化工厂远一点,避免噪音。”
  • 行动: 它会自动分析现有的城市结构,画出一张“关系网”,找到那个**“最完美、最和谐”**的位置,然后无缝地把新区域“长”上去。

4. 为什么它很牛?(简单总结)

  • 不用看地图: 只要你会说话(输入文字),它就能造。
  • 无限大: 不像以前的方法只能造一小块,它可以无限向外扩展,而且扩展的部分和原来的城市完美融合。
  • 超逼真: 它的建筑纹理、光影、布局都经过严格“质检”,看起来不像卡通,而像真实的照片。
  • 个性化: 你可以让它造“哈利波特魔法城”、“赛博朋克未来城”或者“古代丝绸之路古城”,它都能懂。

一句话总结:
Yo'City 就像是一个拥有无限创意的 AI 城市管家,它先当“市长”规划大局,再当“建筑师”细化细节,最后还能像**“园丁”**一样,让城市随着你的想法自然生长,永远没有边界,而且每一块砖都严丝合缝、真实可信。