In-IDE Toolkit for Developers of AI-Based Features
本文介绍了一款专为 JetBrains IDE 设计的 AI 工具包插件，该插件将追踪与评估功能直接融入开发工作流，通过以用户为中心、原生集成于 IDE 的方式，使非机器学习领域的软件工程师能够高效地测试、调试和复现基于 AI 的功能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一位厨师，正试图利用一位神秘且超级聪明的副厨（AI 代理）来创作一道全新的复杂菜肴。你向副厨发出指令，它便开始切菜、翻炒和摆盘。但有时，菜肴味道极佳；有时，却是一场灾难。问题出在哪里？这位副厨并不总是以完全相同的方式重复操作，而且如果食物味道糟糕，你根本不知道为什么会发生这种情况。是盐放多了？温度不对？还是副厨被某种特定食材搞糊涂了？
这正是构建 AI 功能的软件工程师们每日面临的困境。他们是厨师，而 AI 则是那位难以预测的副厨。
问题所在：“黑盒”厨房
目前，如果开发者想查看其 AI 正在做什么，他们必须停止烹饪，离开自己的厨房（代码编辑器），前往互联网上一个独立且复杂的仪表板。这就像为了检查烤箱温度，不得不离开厨房去另一栋大楼一样。这种方式笨拙、令人困惑，大多数开发者干脆跳过这一步。他们最终只能猜测问题出在哪里，或者等到客户投诉后才去查明原因。
解决方案：“智能围裙”（AI 工具包）
这篇论文的作者是 JetBrains（PyCharm 等流行编程工具背后的公司）的一个团队，他们开发了一个名为AI 工具包的插件。你可以将其想象为一件你在自己厨房烹饪时直接穿戴的“智能围裙”。它不需要你离开工作空间。
以下是其工作原理，使用简单的类比说明：
1. “即时回放”摄像机（追踪）
当你点击“运行”以启动代码时，工具包会自动开启摄像机。它不仅仅记录最终的菜肴，而是记录 AI 采取的每一个步骤。
- 类比：想象一台摄像机，记录下你的副厨说：“我在加盐”、“我在查看计时器”以及“我对这种蔬菜感到困惑”。
- 益处：你可以暂停视频、倒带，并确切地看到错误发生在哪里，而无需离开你的 IDE（编程环境）。它将“黑盒”谜团转变为清晰、分步的电影。
2. “食谱测试员”（评估）
在旧方法中，测试 AI 是否有效就像尝一次汤并 hoping 它味道不错。工具包将其改变为像专业食谱测试员那样工作。
- 类比：你可以从“即时回放”视频中选取一个具体示例（例如"AI 搞砸蔬菜的那次”），并将其保存为“测试用例”。现在，每次你修改食谱时，工具包都会自动运行该特定测试用例，以查看你是解决了问题还是让情况变得更糟。
- 益处：它将 AI 测试视为标准的软件测试。你不需要是数学天才或 AI 专家；只需点击一个按钮，它就会为你运行一系列检查。
3. “一键”工作流
最大的创新在于，这一切都发生在开发者已经使用的工具内部。
- 类比：你不必为了测试烹饪而建立整个新实验室、雇佣新团队或学习新语言；工具包只需在你现有的厨房台面上添加几个新按钮。
- 益处：开发者无需切换上下文。他们运行代码，查看发生什么的“电影”，并保存测试用例，整个过程甚至无需打开网页浏览器。
他们的发现
该团队用真实的开发者测试了这个新的“智能围裙”：
- 高度兴趣：当开发者在点击“运行”后立即看到建议安装的弹出窗口时，约 58% 的人立即安装了它。
- 实际使用：安装后，约 40% 的用户实际上用它录制了他们的第一部“电影”（追踪记录）。
- 持久性：使用过它的人会继续使用它。他们没有卸载它。这表明，将这些工具直接置于他们的工作地点会产生巨大差异。
局限性（注意事项）
该论文承认，目前这个“智能围裙”仅适用于一种特定类型的“副厨”（一个名为 LangGraph 的框架）。如果开发者使用的是不同类型的 AI 框架，工具包目前还无法看到它们。该团队计划很快使其兼容更多框架。
核心结论
这篇论文认为，为了使 AI 开发变得可靠，我们必须停止将其视为发生在独立实验室中的神秘科学实验。相反，我们需要将观察和测试工具直接带入开发者的日常工作空间。通过让开发者在编写代码的地方轻松“观看”AI 并“测试”其食谱，即使是非 AI 专家的开发者也能构建出更好、更可靠的 AI 功能。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。