💻 computer science

FaSTA $^*$ : Fast-Slow Toolpath Agent with Subroutine Mining for Efficient Multi-turn Image Editing

FaSTA $^*$ 是一种高效经济的神经符号智能体，它将基于大语言模型的快速规划与缓慢但准确的 A $^*$ 搜索及自适应子程序挖掘相结合，通过复用常见子任务的已学习子程序并将深度搜索保留给新颖挑战，从而高效解决复杂的多轮图像编辑任务。

原作者： Advait Gupta, Rishie Raj, Dang Nguyen, Tianyi Zhou

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Advait Gupta, Rishie Raj, Dang Nguyen, Tianyi Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文 FaSTA∗ 的解释。

核心难题：编辑照片如同复杂的建筑工程

想象你有一张照片和一条非常复杂的指令：“找到长椅，把它涂成粉色，移除猫，并把墙涂成黄色。”

这并非只需点击一次就能完成。它是一连串的事件：你需要找到长椅、将其抠出、改变颜色，找到猫、将其擦除，找到墙壁、改变颜色。在人工智能领域，每一步都需要不同的专用工具（如数字手术刀、画笔或检测器）。

问题在于，运行人工智能工具成本高昂（需要时间和计算资源）。如果你尝试所有可能的工具组合以找出最佳方案，这就好比试图通过随机拾取砖块和锤子来盖房子，直到偶然拼出一堵墙。这不仅耗时漫长，而且代价惊人。

旧方法：“慢而稳”的搜索

之前的方法（如 CoSTA∗）表现得像一位极其谨慎、缓慢的侦探。

他们将大任务分解为小步骤（找长椅、涂长椅等）。
对于每一个步骤，他们都运行一种复杂的搜索算法（称为 A∗ 搜索），以找到绝对最佳的工具组合。
这种搜索虽然准确，但缓慢且昂贵。这就像为了确认选对了砖块，而雇佣一支建筑师团队为单面砖墙绘制 50 张不同的蓝图。

新方法：FaSTA∗（“快 - 慢”智能体）

作者创建了 FaSTA∗（Fast-Slow Toolpath Agent，快 - 慢工具路径智能体）。你可以将其想象为一位经验丰富的总承包商。

FaSTA∗ 采用“快 - 慢”策略，类似于你的大脑运作方式：

快思考（直觉）： 你看到一个熟悉的情况（比如打翻的杯子），立刻知道要拿毛巾。你不需要思考。
慢思考（推理）： 你看到一个奇怪的新情况（比如奇怪管道里的泄漏），你必须停下来，思考，并一步步找出解决方案。

FaSTA∗ 如何运作：

1. “快”计划：利用捷径库
FaSTA∗ 并非每次都搜索解决方案，而是维护一个捷径库（称为子程序）。

类比： 想象你以前刷过一百面墙。你知道对于“小面积的白墙”，你总是使用“刷子 A"。你不需要每次都研究油漆刷；你直接拿起刷子 A 即可。
在论文中： 人工智能查看过去成功的任务。它利用大型语言模型（LLM）寻找模式。它将这些模式转化为符号规则。
- 规则示例： “如果物体很小且背景简单，则使用工具 X → 工具 Y → 工具 Z。”
当新任务到来时，FaSTA∗ 首先检查其库。如果找到匹配的捷径，它会立即使用。这就是**“快计划”**。它完全跳过了昂贵的搜索过程。

2. “慢”计划：安全网
如果任务完全新颖，或者捷径失效了怎么办？

类比： 如果你试图将“刷子 A"的捷径用在一幅巨大的纹理壁画上却失败了，你不会放弃。你会停下来，放下刷子，叫来专家制定定制解决方案。
在论文中： 如果“快计划”（捷径）不起作用或不可用，FaSTA∗ 会切换到**“慢计划”**。它仅针对那个特定的困难步骤运行昂贵且谨慎的 A∗ 搜索，以找到完美的工具路径。

3. “学习”循环：随时间变得更聪明
这是神奇的部分。FaSTA∗ 不仅使用捷径，还会学习新的捷径。

类比： 每次总承包商完成一项工作，他们都会记录下什么有效、什么无效。如果他们意识到“刷子 A"在“红墙”上会失效，他们就会更新规则书：“刷子 A 用于白墙；红墙请使用刷子 B。”
在论文中： 在运行许多任务后，人工智能分析其自身的“轨迹”（发生事情的日志）。它利用归纳推理创建新规则并将其添加到库中。
- 结果： 它执行的任务越多，拥有的捷径就越多，需要使用的昂贵“慢计划”就越少。

结果：更快、更便宜，且不损失质量

该论文将 FaSTA∗ 与旧的“慢”方法（CoSTA∗）及其他人工智能编辑器进行了测试。

速度/成本： FaSTA∗ 平均节省了 49.3% 的成本并提高了速度。由于它在大多数任务中使用了“快”捷径，因此节省了近一半的成本。
质量： 最终图像的质量与慢速方法几乎相同（仅在特定指标上下降了微小的 3.2%，但在视觉上极具竞争力）。
可靠性： 当捷径失效时，“慢计划”会介入力挽狂澜，确保任务仍能正确完成。

总结

FaSTA∗ 是一个学会高效运作的人工智能。它不再为每张照片编辑都重新发明轮子，而是建立了一个包含“经过验证”的食谱（子程序）的思维导图。它 91% 的时间使用这些食谱以获得闪电般快速的结果。只有当遇到真正独特或棘手的问题时，它才会放慢速度进行繁重的工作。这使得复杂的图像编辑变得更加实用和负担得起。

技术摘要：FaSTA∗：基于子程序挖掘的快速 - 慢速工具路径代理，用于高效多轮图像编辑

问题陈述

多轮图像编辑要求根据复杂的自然语言指令，对单张图像应用一系列异构操作（例如检测、分割、修复、重着色）。虽然现有的大语言模型（LLM）代理擅长高层规划，但它们往往难以准确估算特定 AI 工具的成本和质量，从而导致次优的工具路径或产生幻觉（例如，在仅需简单滤镜时却选择了昂贵的扩散模型）。相反，经典的 $A^*$ 搜索虽然能找到最优且可验证的工具路径，但计算成本高昂，且缺乏从过往经验中学习以加速未来规划的能力。先前的工作（如 CoSTA∗）将 LLM 规划与 $A^*$ 搜索相结合，但由于重复、昂贵地探索相同的子任务且未复用已习得的知识，仍构成了计算瓶颈。

方法论：FaSTA∗

FaSTA∗ 是一种神经符号代理，旨在通过将在线子程序挖掘与自适应快速 - 慢速规划框架相结合，解决上述低效问题。该系统基于人类从过往经验中学习可复用动作的前提；FaSTA∗ 通过持续从成功的工具路径中提取和精炼符号子程序来模仿这一过程。

1. 在线归纳推理与子程序挖掘

与仅在测试时运行的方法不同，FaSTA∗ 采用在线学习循环来构建子程序规则表。

数据记录：代理记录每个子任务的详细执行轨迹（ $\tau$ ），包括所采取的工具路径、上下文特征（例如来自 YOLO 的物体大小、来自 SAM 的掩码属性、由 LLM 推断的背景复杂度）、执行成本以及质量结果。
周期性精炼：每 $K$ 个任务（例如 $K=20$ ），系统触发一次精炼周期。LLM 对最近一批轨迹进行归纳推理，以识别反复出现的、成功的工具序列（子程序）以及它们表现良好的特定上下文条件。
符号规则生成：LLM 合成紧凑的符号规则，将子任务和上下文特征映射到具有成本效益的子程序。例如：如果 object_size 为“不太小”且 background 为“简单纹理”，则使用 YOLO $\to$ SAM $\to$ SD Inpaint 进行物体移除。
验证：提出的规则在专用测试数据集上经过严格验证。“净收益”分数在成本降低与质量下降之间取得平衡。只有那些能改善成本 - 质量权衡的规则才会被整合到规则表中；如果初始提议失败，则通过重试机制进行精炼。

2. 自适应快速 - 慢速规划

FaSTA∗ 采用双层规划策略来执行任务：

快速规划（默认）：对于 LLM 生成的高层规划中的每个子任务，代理首先尝试根据当前图像上下文，从子程序规则表中选择预学习的子程序。这种选择是即时的，无需搜索。
慢速规划（回退）：如果没有适用的子程序，或者所选子程序的输出未能通过视觉语言模型（VLM）的质量检查，代理将触发“慢速规划”阶段。这涉及针对该特定子任务在底层工具子图上执行局部 $A^*$ 搜索，以找到最优路径。
执行流程：系统优先采用快速规划。昂贵的 $A^*$ 搜索仅在快速规划失败或不可用时被惰性调用，从而显著降低了平均执行时间。

主要贡献

符号子程序记忆：本文提出了一种方法，使 LLM 能够从执行轨迹中学习可复用的子程序并将其作为符号规则。这将代理从无状态规划器转变为具有可学习记忆的代理，使其能够跨不同任务泛化成功模式。
自适应快速 - 慢速规划：FaSTA∗ 开发了一种神经符号框架，优先采用高效、基于规则的“快速规划”，同时保留“慢速规划”（ $A^*$ 搜索）的鲁棒性作为回退。这种架构模仿了人类的认知效率，快速处理常见情况，同时为新颖或具有挑战性的场景保留深度搜索。
成本 - 质量优化：该系统实现了更优的帕累托前沿，与最先进基线相比，在保持具有竞争力的成功率的同时，显著降低了计算成本。

实验结果

实验在 CoSTA∗ 基准（121 个图像 - 提示对，共 550 次操作）和 Complex-Edit 基准上进行。

效率：与 CoSTA∗ 相比，FaSTA∗ 将平均执行成本降低了49.3%（从每张图片约 58 秒降至约 29 秒）。在 Complex-Edit 基准上，它实现了约 30% 的成本降低。
质量：该方法保持了高输出质量，与 CoSTA∗ 相比，准确率仅下降了3.2%（平均人类评估得分为 0.91 对比 0.94）。
子程序复用：随着代理探索更多任务，已学习子程序的复用率呈指数级增长。在最终评估中，91% 的子任务完全由“快速规划”（子程序）处理，仅有 9% 需要回退到 $A^*$ 搜索。
消融研究：
- 移除子程序验证步骤使回退率上升至 28%，证明了在部署前验证规则的必要性。
- 移除慢速规划回退（仅使用快速规划）导致质量显著下降（0.84），证实了 $A^*$ 搜索在鲁棒性方面的关键作用。
- 使用较小的 LLM 进行子程序选择增加了回退率和总成本，突显了在归纳阶段需要具备强大推理能力的模型。

意义与主张

作者声称，FaSTA∗ 解决了先前多轮图像编辑方法中的一个关键瓶颈：在不复用知识的情况下，重复进行穷尽搜索所带来的计算开销。通过结合 LLM 的规划效率、 $A^*$ 搜索的准确性以及归纳推理的适应性，FaSTA∗ 提供了一种可扩展且对成本敏感的方案。

论文强调，这种方法超越了简单的缓存或记忆，通过学习适用于不同上下文的泛化符号规则。虽然该系统需要一个“预热”阶段来积累足够的经验以进行有效的子程序挖掘，但它最终会收敛到最优的成本 - 质量前沿。作者将 FaSTA∗ 定位为一个有前景的方向，用于开发能够高效处理复杂、长视野任务的敏捷且持续改进的 AI 代理。