Tactile: Giving Computer-Using Agents Hands and Feet
Tactile 是一个开源工具层，它通过将异构 UI 证据转换为语义化、可验证的操作对象，来增强使用计算机的智能体，从而以可靠的“观察-落地-执行-验证”循环取代脆弱的基于坐标的交互，显著提升多种模型的任务成功率。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在教一个超级聪明的机器人如何使用电脑。目前，大多数这类机器人就像是一个戴着厚厚雾面护目镜和眼罩尝试开车的人。它们只能将屏幕视为一张扁平的图片（截图）。为了点击一个按钮，它们必须猜测精确的 X 和 Y 坐标，就像大喊“在 450, 200 处点击！”并寄希望于能击中正确的位置。如果按钮移动了或者屏幕发生了微小的变化，机器人就会感到困惑并导致操作崩溃。这就是目前的“电脑使用智能体”（computer-use agents）的状态：它们很聪明，但由于是在黑暗中依靠照片进行观察，它们的手脚显得有些笨拙。
但如果电脑能直接向机器人低声诉说它的秘密呢？现代操作系统已经拥有了一层专门为需要帮助的人类设计的隐藏信息层，比如为盲人提供的屏幕阅读器。这一层会告诉你一个按钮是什么、它的功能是什么，以及它是否已准备好被按下。科学家们正在提出的重大问题是：我们能否给我们的机器人智能体提供一条通往这个秘密层的直接线路，让它们不再需要靠猜？如果我们能做到这一点，可能意味着机器人将不仅仅是“看”屏幕，而是真正“理解”屏幕，从而使它们在处理诸如安排会议或整理文件等实际工作时表现得更好。
赋予机器人手脚：TACTILE 项目
认识一下 TACTILE，这是一个全新的开源工具，它充当了电脑使用智能体的翻译官和一套超级手部工具。TACTILE 背后的研究人员注意到，尽管机器人的智力在提升，但它们在电脑上实际“执行”任务的能力仍然有些不稳。它们经常把电脑屏幕当作一幅画：盯着看，猜测点击位置，然后听天由命。TACTILE 通过将机器人与电脑内部的“无障碍”（accessibility）系统直接连接，改变了这一局面——这正是帮助残障人士导航屏幕的系统。
把旧的方法比作试图通过看一张模糊的书架照片来寻找图书馆里的特定书籍。你可能会猜这本书在第三排、左边第二个，但如果有人把它移动了一英寸，你的猜测就错了。TACTILE 则像是给了机器人一份神奇的清单，上面写着：“你要找的书是《太空历史》，它目前在第 3 架，是精装本，你可以把它拉出来。”它将混乱、视觉化的屏幕转化为一份干净、有序的、机器人可以实际触摸并使用的物体清单。
TACTILE 如何运作：“线索之梯”
该论文介绍了一种被称为“操作梯”（operating ladder）的巧妙策略。TACTILE 不会强迫机器人必须在“看”（观察屏幕）和“读”（使用电脑内部数据）之间做出选择，而是让机器人通过攀爬线索之梯来找到最佳答案：
- 顶层阶梯（无障碍层）： 如果电脑说：“我这里有一个名为‘发送’的按钮，已准备好被按下”，TACTILE 会立即抓取该信息。这是最强、最可靠的线索。
- 中间阶梯（OCR）： 如果电脑对某个特定部分保持沉默，TACTILE 会观察屏幕，用眼睛读取文本（OCR），然后说：“好吧，我看到‘发送’这个词就在这里。”这是一个很好的备份，但不如内部数据那样精确。
- 底层阶梯（视觉回退）： 如果电脑完全是不透明的（例如电子游戏或自定义绘图），TACTILE 会回退到仅仅观察图片并猜测坐标，就像旧款机器人那样。
神奇之处在于，TACTILE 并不只是从中择其一；它将它们结合起来。它优先选择来自电脑内部的“低语”，但知道如果电脑变得“固执”时何时切换到“观察”模式。它还会记录每一步的详细日记，因此如果出了问题，我们可以回溯查看机器人看到了什么、猜了什么以及在哪里卡住了。
他们的发现
研究人员在 96 个不同的电脑任务（从简单的点击到复杂的流程）上测试了 TACTILE，并使用了四种不同类型的 AI 智能体（Codex, Claude Code, OpenCode, 和 Goose）。结果令人振奋，但并非万能灵药。
当他们将 TACTILE 加入其中时，机器人的任务完成率显著提高。对于 Codex 智能体，整体成功率从 41.1% 跃升至 50.0%。在那些电脑比较友好并分享其内部秘密的任务（经过无障碍适配的任务）中，提升更为明显，成功率从 45.2% 上升到了 55.3%。即使是在那些隐藏了秘密的更难的任务中，机器人的表现依然有所提升，从 27.8% 增加到了 33.3%。
这项研究表明，赋予机器人访问这种结构化、“动手操作”层的能力，会让它们变得更加可靠。它证明了我们不仅需要更聪明的脑袋（更好的 AI 模型），还需要更好的身体（执行工具），让这些大脑能够以有意义的方式与世界互动。
TACTILE 不是什么
需要注意的是，TACTILE 并不取代机器人观察屏幕的需求；有时电脑的内部数据是损坏的、缺失的，或者干脆就是错误的。在这种情况下，TACTILE 知道要回退到视觉线索。它也不是一种教导机器人如何思考的“学习型”策略；它是一个工具层，让机器人的现有想法更容易被执行。研究人员谨慎地指出，这些结果是初步的，并暗示虽然这是一个巨大的进步，但要使这些智能体趋于完美，仍有大量工作要做。
为什么这很重要
论文以一个俏皮但深刻的想法结束：“面向智能体的软件应当是面向人类无障碍的软件。”如果我们构建出易于机器人使用的电脑，我们也同时在构建易于残障人士使用的电脑。通过将无障碍数据视为一种共享的基础设施，TACTILE 表明，帮助机器人和帮助人类可以成为同一个目标。它将电脑屏幕从一张扁平、混乱的图片，转变为一个充满可以被触摸、被理解和被验证之物物的世界。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。