技术摘要：FullStack-Agent

问题陈述

目前的基于大语言模型（LLM）的代码智能体在协助非专家用户开发复杂的、生产级的全栈 Web 应用程序方面仍面临困难。现有的系统主要生成仅限前端的界面，通过表面的视觉效果掩盖了后端数据处理和存储的缺失。虽然表单可能看起来提交成功，但由于缺少后端和数据库实现，实际上并没有进行任何数据处理或存储。此外，构建生产级全栈应用面临着三个独特的挑战，而目前的智能体未能解决这些挑战：

1. 复杂的代码库导航： 现实世界的框架（如 Next.js、NestJS）涉及庞大且复杂的代码库，需要高效的导航和对隐蔽错误的精确定位。
2. 专家级推理： 全栈工作流需要长期推理、熟练的工具调用以及对不断更新的 Web 包和依赖项的深度掌握。
3. 评估不足： 现有的基准测试（如 WebGen-Bench）依赖于 GUI 智能体评判器，主要评估 UI 层面的交互，无法检测到缺失或错误的后端及数据库实现。

方法论

为了弥合现实世界 Web 开发与当前智能体方法之间的差距，作者引入了 FullStack-Agent，这是一个由三个紧密耦合的组件组成的统一系统：

1. FullStack-Dev：多智能体开发框架

FullStack-Dev 通过受现实世界开发流程启发的多智能体系统来编排全栈生成工作流：

• 规划智能体（Planning Agent）： 充当首席架构师，以 JSON 格式生成高层级的前端和后端计划。它定义页面布局、组件、数据流、实体和 API 端点，并提供细粒度的类型定义以确保数据流顺畅。
• 编码智能体（Coding Agents）： 两个专门的智能体（前端和后端）按顺序执行计划。它们在沙盒环境中运行，并利用包括文件读写、Shell 执行和代码搜索在内的一套工具。
• 专门的调试工具：
  • 前端调试工具： 自动启动网站服务并运行 GUI 智能体调试过程。不同于以往依赖盲目交互的方法，该工具通过监控终端和浏览器控制台输出，根据当前开发状态动态生成测试用例，从而高效地定位错误。
  • 后端调试工具： 功能类似于 API 调试工具（如 Postman），能够自动启动服务、发送请求并返回控制台输出。这显著减少了后端编码智能体所需的迭代次数。

2. FullStack-Learn：通过反向翻译实现的迭代自我改进

意识到底层 LLM 的编码能力至关重要，FullStack-Learn 采用了数据缩放和自我改进流水线：

• 代码库反向翻译（Repository Back-Translation）： 将从 GitHub 爬取的高质量真实世界代码库转化为智能体轨迹。一个**信息采集智能体（Information Gathering Agent）负责总结代码库的结构和功能。随后，一个轨迹反向翻译智能体（Trajectory Back-Translation Agent）**在高级计划的指导下，将现有的代码库转录到一个空模板中。一个基于规则的程序会对这些轨迹进行清洗，移除原始代码库的痕迹，从而生成合成的开发轨迹。
• 代码库增强（Repository Augmentation）： 为了进一步扩展数据，系统通过对现有代码库应用增强计划（简化、扩展或应用迁移）来生成合成代码库。一个**增强实现智能体（Augmentation Implementing Agent）**负责执行这些计划并验证结果。
• 迭代训练： 系统使用一个迭代过程，即初始模型生成数据，随后用于训练中间模型。该中间模型通过增强和反向翻译来扩展数据，从而创建一个更大的数据集用于最终训练，以此在不依赖更强外部模型的情况下增强底层 LLM 的全栈能力。

3. FullStack-Bench：全面的评估基准

FullStack-Bench 通过系统地测试三个维度来解决仅限前端评估的局限性：

• 前端测试： GUI 智能体评判器评估 UI 交互。至关重要的是，它附加了一个数据库交互验证步骤，通过提取日志来验证前端操作是否对应实际的数据库操作。
• 后端测试： 智能体收集 API 端点信息，并通过向后端发送请求、检查响应是否符合预期结果来验证功能。
• 数据库测试： 智能体检查数据库快照（模式和数据行），以验证所需的数据结构和内容是否存在。

核心贡献

1. FullStack-Dev： 一个拥有高效编码和调试工具的多智能体框架，其全栈生成能力显著优于以往的最先进方法。
2. FullStack-Learn： 一种迭代自我改进方法，通过代码库增强和反向翻译，实质性地提升了底层 LLM 的全栈开发能力，使其能够从真实世界代码库中学习。
3. FullStack-Bench： 一个全新的基准测试，全面评估前端、后端和数据库功能，超越了表面的 UI 检查，实现了对真实全栈实现的验证。

实验结果

研究人员使用 Qwen3-Coder 模型作为底层 LLM，在 FullStack-Bench 上进行了广泛的实验：

• FullStack-Dev 性能： 使用 Qwen3-Coder-480B-A35B-Instruct，FullStack-Dev 在前端、后端和数据库方面的准确率分别达到了 64.7%、77.8% 和 77.9%。相比于之前的最先进方法（WebGen-Agent），这分别实现了 8.7%、38.2% 和 15.9% 的提升。值得注意的是，FullStack-Dev 的后端准确率高于前端准确率，这表明它生成的是功能完备的后端而非模拟数据。
• FullStack-Learn 性能： 通过 FullStack-Learn 流水线训练 Qwen3-Coder-30B-A3B-Instruct，经过两轮自我改进后，其前端、后端和数据库的准确率分别提升了 9.7%、9.5% 和 2.8%。这证明了该方法可以在不依赖更强教师模型的情况下，有效地将能力规模化到较小的模型中。
• 消融实验： 移除多智能体机制或专门的调试工具会导致性能显著下降，证实了它们的关键作用。同样，在通过代码库反向翻译生成的轨迹上进行训练，比直接在生成的轨迹上进行训练效果显著更好，验证了使用真实世界代码库的有效性。

意义与主张

论文声称 FullStack-Agent 通过解决全栈开发的特定复杂性，代表了智能体编程迈出的重要一步。作者强调，他们的方法：

• 弥合差距： 它弥合了现实世界 Web 开发需求与当前智能体能力之间的鸿沟。
• 确保可验证性： 通过将数据库日志验证集成到评估流水线中，它防止了当前系统中常见的“虚假交互性”问题。
• 可扩展性： FullStack-Learn 方法表明，可以通过在真实数据上的自我改进将高质量的全栈编码技能蒸馏到模型中，为在不依赖大规模、昂贵外部数据集或更强教师模型的情况下增强模型提供了一条路径。

作者总结道，他们的系统全面解决了生产级全栈开发的挑战，提供了一个用于生成可验证、功能完备且可扩展的 Web 应用程序的强大框架。