COMFYCLAW: Self-Evolving Skill Harnesses for Image Generation Workflows
该论文介绍了 COMFYCLAW，这是一个自我进化的智能体框架，它通过将构建过程视为类型化图编辑、利用视觉语言模型验证器进行修复，并将过去的执行数据蒸馏到渐进式披露的技能库中，从而增强了图像生成工作流，并显著提升了智能体的可靠性与性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图根据朋友的描述去制作一个非常具体且复杂的蛋糕。你不能只写下一句“做个蛋糕”；你必须从零开始构建整个食谱，选择合适的烤箱、搅拌面糊、设定温度并进行装饰。如果蛋糕烤焦了，或者糖霜的颜色不对，你必须弄清楚为什么，并在下次尝试前修正食谱。
这正是 COMFYCLAW 所做的事情，只不过它不是在制作蛋糕，而是在为计算机构建图像生成工作流。
以下是其工作原理的简单拆解，使用了日常类比：
1. 问题所在：“一次性”厨师
通常，当 AI 尝试生成一张图像时，它的表现就像一个做完一顿饭就忘掉所有事情的厨师。如果你要求“六个蓝色甜甜圈”而 AI 只做了五个，它下次可能只是尝试重新改写句子。它并不记得自己哪里数错了，或者为什么甜甜圈看起来很奇怪。这就像一个因为从未学会调整烤面包机设置而不断烤焦吐司的厨师。
2. 解决方案：“自我进化”的大师级厨师
COMFYCLAW 是一个将 AI 转变为拥有经验教训食谱的大师级厨师的系统。它由三个主要部分组成：
工作室（吊架/Harness）：
AI 不仅仅是写一句话，而是在一个视觉化的工作室（称为 ComfyUI）中工作。你可以把它想象成一个巨大的乐高积木板。每个积木都是流程中的一个步骤（例如：“添加颜色”、“改变形状”、“添加纹理”）。AI 可以将这些积木拼接在一起、移动它们或更换它们。这让 AI 比仅仅输入提示词拥有更多的控制权。检查员（验证器/Verifier）：
在 AI 构建好工作流并创建出图像后，第二个 AI（一个视觉语言模型）会充当严格的检查员。它会观察图片并对照原始请求。- 示例： 如果你要求“一只坐在红垫子上的猫”，而猫坐在蓝垫子上，检查员不会只说“错误”。它会说：“垫子是蓝色的，不是红色的。此外，猫有四条腿而不是三条。”
- 至关重要的是，它会告诉构建者应该修改哪一个具体的乐高积木来修复这个蓝垫子的问题。
食谱（技能进化/Skill Evolution）：
这是神奇之处。当 AI 犯错并进行修复，或者它发现了一个绝妙的技巧时，COMFYCLAW 并不会直接丢弃这段经历。它会将此记录为一个**“技能”**，存入数字食谱中。- 场景： AI 学习到，为了得到“六个甜甜圈”，它需要在乐高板上添加一个特定的“计数积木”。
- 进化： 下次当你要求“六个甜甜圈”时，AI 不会从零开始。它会打开它的食谱，找到“六个甜甜圈技能”，并立即使用它。随着时间的推移，食谱里会填满数百个这种可重复使用的技巧。
3. 实际应用中的运作方式
论文测试了该系统在四个不同“挑战”（基准测试）中的表现，这些挑战涉及复杂的图像请求，例如“一只带着恰好六个贝果的狗”或“三个玻璃猪”。
- 没有 COMFYCLAW 时： AI 会尝试猜测食谱，经常在数量不对或颜色错误方面失败。它必须在没有记忆过去教训的情况下进行反复的猜测与尝试。
- 有了 COMFYCLAW 后： AI 构建乐高板，检查员进行检查，如果失败，AI 会修复特定的积木。然后，它将修复方案写入食谱。在测试结束时，AI 已经创建了 318 个独特的技能。
4. 结果
论文发现：
- 更好的图像： COMFYCLAW 生成的图像在符合描述方面（例如，获得正确的物体数量）更加准确，且看起来更真实。
- 人类偏好： 当人类观察这些图像时，他们更喜欢 COMFYCLAW 制作的图像，而不是那些没有保留技能食谱的系统所制作的图像。
- 真正的学习： 该系统不仅仅是记住了答案，它学习的是程序。例如，它学习了处理“动漫风格”角色或如何布置场景中物体的特定方法，并可以将这些知识复用于任何未来的请求。
总结
COMFYCLAW 就像是给了 AI 一本自动更新的说明书。它不再是在每次尝试后都忘记错误，而是从错误中学习，写下解决方案，并利用这些知识来构建更好、更复杂的图像。它将一次性的试错过程转变为一个持续改进的循环。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。