Cached accessibility-tree control and code-enforced verification for design entry through a desktop application's user interface

在软件领域，人类与计算机的交互方式与机器之间相互通信的方式之间存在着持久的分歧。人类使用图形界面，通过点击屏幕上出现的按钮和在输入框中打字来进行交互。然而，机器通常更倾向于使用一种直接、结构化的语言，完全绕过视觉层，直接向底层代码发送指令。当一段软件缺乏这种直接语言时，对于自动化工具而言，它就变成了一个“黑盒”。这是机器人流程自动化（RPA）领域的一个常见障碍，在该领域，软件机器人被训练通过模拟人类在屏幕上的动作来执行重复性任务。挑战是双重的：首先，机器人在复杂且不断变化的窗口景观中必须找到正确的按钮或菜单项；其次，它必须知道刚才采取的操作是否真的奏效。如果没有直接的通信线路，机器人本质上是盲目的，它只能猜测点击是否落在正确的位置，或者新窗口是否如预期般出现。

一位名叫 Tiago Miranda de Leao 的研究人员通过构建一个系统来解决这一问题，该系统旨在自动化一项特定的复杂任务：使用一款名为 Mozaik Enterprise 的流行 Windows 应用程序来设计橱柜。这款软件并不提供外部程序与其直接对话的方式，因此研究人员的系统必须完全通过用户界面进行操作，就像人类一样。该系统旨在解决自动化的两个主要问题：控制与正确性。为了处理控制问题，系统首先花费时间绘制了整个应用程序界面的结构图，创建了一张关于每个按钮和菜单位置的心理地图。一旦建立了这张地图，系统就不再寻找目标，而是根据一份缓存的坐标列表进行操作，直接点击界面元素的已知位置。为了处理正确性问题，系统使用视觉模型来“阅读”设计图，然后使用严格的预设代码规则来验证计算机是否真的构建了所请求的内容。是由代码，而非人工智能，对工作是否成功做出最终判断。

该实验的结果呈现出一种充满希望的速度与显著局限性并存的局面。系统成功映射了应用程序的界面，识别了近千个不同的元素，并存储了其中约六百个元素的位置。当系统尝试在软件的不同选项卡之间切换时，通过查找选项卡与点击缓存位置之间的差异非常显著。通过标准方法寻找选项卡需要二十九到五十七秒不等，这个过程涉及每次都对应用程序的内部结构进行搜索。然而，一旦位置被缓存，切换到同一个选项卡只需不到三分之一秒。这表明，对于一个稳定的环境，记住事物的位置比每次都进行搜索要高效得多。

然而，系统的适应能力是脆弱的。缓存的位置与绘制地图时窗口的大小和形状紧密相关。如果窗口大小发生变化，或者屏幕分辨率不同，缓存的坐标就会指向错误的位置，导致系统失败。研究人员发现，系统无法进行自我修复；如果布局发生偏移，整个地图必须从头开始重建。此外，系统并没有检查其点击是否真的起到了作用。即使应用程序没有响应，它也会报告成功，因为它无法在不再次查看屏幕的情况下验证结果，而这样做会违背缓存的初衷。

系统的验证部分（即检查设计是否与图纸相符的部分）在理论上运作良好，但在实践中遇到了障碍。系统在五百个故意在数据中注入错误的合成案例中进行了测试。在这些测试中，代码正确识别了每一个预设错误，例如缺失橱柜或电器类型错误，且从未发出错误警报。它成功拒绝了不符合要求的方案。然而，当系统在尝试构建橱柜的真实、非脚本化尝试中进行测试时，结果则不那么明确。记录的五次完整设计构建尝试都在早期阶段失败了，在最终产品被验证之前就已停止。日志显示，系统无法正确计算它应该构建的橱柜数量，从而导致立即停滞。研究人员指出，系统尚未在广泛的现实世界图纸上进行测试，而记录的几次真实尝试都是不完整的。

这项研究还强调了人工智能在此过程中的作用。系统使用 AI 模型来解读设计图，但关于构建是否成功的最终决定权仍交给了代码。这种分离是刻意为之；代码充当了严格的守门人，确保 AI 的理解经过硬性规则的校验。研究人员发现，虽然 AI 可以描述图纸，但不能被信任去独立判断结果。系统的设计初衷是，如果 AI 犯错，代码会将其拦截。然而，记录显示，在几次真实的尝试中，系统在进入 AI 描述与最终结果进行对比的阶段之前就已经失败了。

最终，这项工作清晰地展示了在自动化那些拒绝直接与机器对话的软件时，什么是可能的。这种先映射界面一次，然后根据记忆进行操作的方法既快速又有效，但也是脆弱的。它仅在软件外观与制作地图时完全一致的情况下才有效。该系统证明了代码强制检查可以可靠地验证结果，但也表明，如果缺乏处理界面变化或从错误中恢复的稳健机制，自动化尚无法在动态环境中取代人类。研究人员得出结论，虽然该方法适用于特定版本的软件在特定机器上运行，但它并不是一种通用的解决方案。该系统仍然是一个概念验证，它证明了即使在没有直接访问权限的情况下，自动化也是可能的，但也强调了使此类系统达到足以应对现实世界的稳健程度是多么困难。