Tree-of-Thoughts Reasoning for Text-to-Image In-Context Learning
本文提出了一种用于文本到图像上下文学习的思维树（Tree-of-Thoughts）推理框架，该框架采用多阶段生成、评估和选择过程，旨在无需额外训练的情况下解决组合歧义并提高图像合成质量。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一位非常有天赋但有点困惑的艺术家如何画一幅新画。你没有给他们一份冗长的说明书，而是向他们展示了三幅小型的示例画作，并说道：“这就是模式。现在，请用同样的模式画一幅关于海滩的画。”
这就是 文本到图像上下文学习（Text-to-Image In-Context Learning, T2I-ICL） 的挑战。这个“艺术家”（AI 模型）必须观察你的示例，理解其中的隐藏规则（模式），并将该模式应用到新的请求中。
问题在于，正如论文中所解释的，即使是最聪明的 AI 艺术家也经常会感到困惑。它们可能会混淆规则、忘记模式是什么，或者陷入错误的思路。它们倾向于在第一次尝试时就给出答案，如果这次猜测错了，最终的画作就会变得一团糟。
解决方案：“思维树”（Tree of Thoughts）
作者提出了一种新的方法来帮助 AI 在绘画前进行思考。他们称之为 思维树（Tree-of-Thoughts, ToT）。
把 AI 通常的方法想象成一条单车道的公路。AI 沿着这条路行驶，做出一个接一个的决策，最后抵达最终的提示词（即绘画的指令）。如果它很早就转错了弯，它就会一直朝着错误的方向行驶，直到撞车。
思维树 方法更像是一次由侦察兵组成的远足考察。
- 侦察兵团队（分支）： AI 不再只派一名侦察兵走路径，而是同时派出多名“侦察兵”（候选想法）。
- 检查站（阶段）： 这次远足被分为四个特定的检查站：
- 场景（Scene）： 大局观是什么？
- 属性（Attribute）： 具体细节有哪些（颜色、形状）？
- 稳定性（Stability）： 这合理吗？它稳定吗？
- 构图（Composition）： 我们如何布置这一切？
- 计分卡（评估）： 在每个检查站，一位“裁判”都会查看每位侦察兵目前所发现的内容。裁判会问：
- “你听从了原始示例的要求吗？”
- “你保持了主体对象不变吗？”
- “你的想法清晰且不令人困惑吗？”
- “你是否过快地下了结论？”
- 修剪（剪枝）： 如果一名侦察兵的想法很弱或者令人困惑，团队就会剪掉这个分支。如果两名侦察兵的想法很好且非常相似，团队会为了保险起见将两者都保留下来。
- 获胜者： 到达终点时，团队会选择一条单一的最佳路径——即那条最完美遵循规则的路径。这条获胜的路径将成为给绘画 AI 的最终指令。
在现实世界中会发生什么？
研究人员在名为 CoBSAT 的基准测试上对该方法进行了测试，这就像一系列谜题，AI 必须在保持主体对象不变的同时，改变颜色、风格或背景等要素。
- 旧方法（基准线）： AI 立即进行猜测。它经常画出模糊的混乱图像，或者只是重复示例，而不是适应新的请求。
- “思维链”（Chain of Thought）方式： AI 在绘画前会先对自己进行一些思考。这种方法更好，但它仍然只走一条路径。如果它卡住了，它就会一直卡在那里。
- “思维树”（Tree-of-Thoughts）方式： AI 探索许多路径，丢弃糟糕的路径，并挑选出最好的那一个。
结果：
- 更好的绘画效果： 通过思维树方法生成的图像准确度更高。如果示例展示的是健身房里的绵羊，而请求是海滩上的绵羊，AI 能正确地画出海滩上的绵羊。旧方法往往会画出海滩上的健身房，或者一个混乱的色块。
- 人类偏好： 当人类观察结果时，他们选择思维树图像的比例比其他方法高出约 60% 到 68%。他们觉得这些图像更符合请求，也更符合示例。
- 无需额外训练： 最棒的部分是，AI 不需要回学校重新学习。研究人员没有改变 AI 的“大脑”，他们只是改变了它在开始绘画前“思考”的方式。
总结
这篇论文表明，如果你给 AI 一点时间去探索不同的想法、根据规则进行测试并挑选出最好的一个（就像一支侦察兵团队一样），它在处理复杂指令时会变得出色得多。它不再是盲目猜测，而是开始进行推理，从而在不需要任何额外训练的情况下，生成更加清晰、准确的图像。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。