Cached accessibility-tree control and code-enforced verification for design entry through a desktop application's user interface

소프트웨어의 세계에는 인간이 컴퓨터와 상호작용하는 방식과 기계들이 서로 대화하는 방식 사이에 지속적인 격차가 존재한다. 인간은 그래픽 인터페이스를 사용하여 화면에 나타나는 버튼을 클릭하거나 상자에 글자를 입력한다. 그러나 기계는 종-종 시각적 층위를 완전히 건너뛰고 밑바탕에 있는 코드에 직접 명령을 보내는 직접적이고 구조화된 언어를 선호한다. 소프트웨어가 이러한 직접적인 언어를 갖추지 못했을 때, 그 소프트웨어는 자동화 도구들에게 "블랙박스"가 된다. 이는 소프트웨어 봇이 화면상의 인간의 행동을 모방하여 반복적인 작업을 수행하도록 훈련받는 분야인 로봇 프로세스 자동화(RPA)에서 흔히 발생하는 장애물이다. 이 과제는 두 가지 측면에서 발생한다. 첫째, 봇은 복잡하고 변화하는 창들의 풍경 속에서 올바른 버튼이나 메뉴 항목을 찾아야 한다. 둘째, 방금 수행한 동작이 실제로 작동했는지 알아내야 한다. 직접적인 통신 경로가 없다면, 봇은 본질적으로 눈먼 상태가 되어, 클릭이 올바른 위치에 떨어졌는지 혹은 새로운 창이 예상대로 나타났는지를 추측할 뿐이다.

티아고 미란다 데 레앙(Tiago Miranda de Leao)이라는 연구자는 Mozaik Enterprise라는 인기 있는 Windows 애플리케이션을 사용하여 주방 캐비닛을 설계하는 특정하고 복잡한 작업을 자동화하는 시스템을 구축함으로써 이 문제를 해결하고자 했다. 이 소프트웨어는 외부 프로그램이 자신에게 말을 걸 수 있는 직접적인 방법을 제공하지 않으므로, 연구자의 시스템은 인간과 마찬가지로 전적으로 사용자 인터페이스를 통해 작동해야 했다. 이 시스템은 자동화의 두 가지 주요 문제인 제어(control)와 정확성(correctness)을 해결하도록 설계되었다. 제어를 처리하기 위해, 시스템은 먼저 애플리케이션의 인터페이스 전체 구조를 매핑하여 모든 버튼과 메뉴가 어디에 있는지에 대한 정신적 지도를 만드는 데 시간을 할애했다. 일단 이 지도가 구축되면, 시스템은 더 이상 무언가를 찾지 않고 대신 캐시된 좌표 목록에 따라 행동하며, 인터페이스 요소들의 알려진 위치를 직접 클릭한다. 정확성을 처리하기 위해, 시스템은 비전 모델을 사용하여 설계 도면을 "읽고", 컴퓨터가 요청된 대로 실제로 제작했는지 확인하기 위해 엄격하게 미리 작성된 코드 규칙을 사용했다. 최종 결정은 인공지능이 아니라 코드가 내렸다. 즉, 작업의 성공 여부는 코드가 결정하게 한 것이다.

이 실험의 결과는 유망한 속도와 상당한 한계점이 섞여 있었다. 시스템은 애플리케이션의 인터페이스를 성공적으로 매핑하여 천 개 가까운 별개의 요소를 식별했고, 약 600개의 요소 위치를 저장했다. 시스템이 소프트웨어 내에서 서로 다른 탭 사이를 전환하려고 할 때, 탭을 찾는 것과 캐시된 위치를 클릭하는 것 사이의 차이는 극명했다. 표준적인 방식으로 탭을 찾는 데는 매번 애플리케이션의 내부 구조를 검색해야 하므로 29초에서 57초가 소요되었다. 그러나 일단 위치가 캐시되면, 동일한 탭으로 전환하는 데 1초의 3분의 1도 걸리지 않았다. 이는 안정적인 환경에서는 매번 무언가를 찾는 것보다 위치를 기억하는 것이 훨씬 더 효율적임을 입증했다.

하지만 시스템의 적응 능력은 취약했다. 캐시된 위치는 지도가 처음 만들어졌을 때의 창 크기와 모양에 묶여 있었다. 만약 창 크기가 변하거나 화면 해상도가 달라지면, 캐시된 좌표는 잘못된 곳을 가리키게 되어 시스템은 실패하게 된다. 연구자는 시스템이 스스로를 자동으로 복구할 수 없다는 것을 발견했다. 레이아웃이 바뀌면 전체 지도를 처음부터 다시 만들어야 했다. 더욱이, 시스템은 자신의 클릭이 실제로 작동했는지 확인하지 않았다. 시스템은 화면을 다시 보지 않고서는 결과를 확인할 방법이 없었기 때문에(그것은 캐싱의 목적을 저해하는 일이다), 화면을 다시 확인하지 않으면 클릭이 제대로 작동하지 않더라도 성공했다고 보고할 것이었다.

설계도가 실제 디자인과 일치하는지 확인하는 검증 부분은 이론적으로는 잘 작동했지만 실무에서는 난관에 부딪혔다. 시스템은 데이터에 의도적으로 오류를 주입한 500개의 합성 사례를 대상으로 테스트되었다. 이 테스트에서 코드는 누락된 캐비닛이나 잘못된 가전제품 유형과 같은 의도된 모든 오류를 정확히 식별했으며, 허위 경보를 울리지 않았다. 시스템은 요구 사항과 일치하지 않는 디자인을 성공적으로 거부했다. 그러나 시스템이 실제 상황의 스크script되지 않은 캐비닛 제작 시도를 테스트했을 때는 결과가 덜 명확했다. 전체 디자인을 구축하려는 다섯 번의 기록된 시도가 초기 단계에서 모두 실패하여 최종 제품을 검증하기 전에 중단되었다. 로그에 따르면 시스템이 구축해야 할 캐비닛 수를 정확히 세지 못해 즉시 중단된 것으로 나타났다. 연구자는 시스템이 다양한 종류의 실제 도면에 대해 테스트되지 않았음을 언급했으며, 기록된 몇 안 되는 실제 시도들은 불완전했다.

이 연구는 또한 이 과정에서 인공지능의 역할을 강조했다. 시스템은 설계 도면을 해석하기 위해 AI 모델을 사용했지만, 제작 성공 여부에 대한 최종 결정은 코드에 맡겼다. 이러한 분리는 의도적인 것이었는데, 코드가 엄격한 문지기 역할을 하여 AI의 해석이 확고한 규칙에 의해 검증되도록 하기 위함이었다. 연구자는 AI가 도면을 설명할 수는 있지만, 그 자체로 결과를 판단하도록 신뢰할 수는 없다는 것을 발견했다. 시스템은 AI가 실수를 하더라도 코드가 이를 잡아낼 수 있도록 설계되었다. 그러나 기록에 따르면, 몇 안 되는 실제 시도에서 시스템은 AI의 설명이 최종 결과와 비교되는 단계에 도달하기도 전에 실패했다.

궁극적으로, 이 작업은 기계와 직접 대화하기를 거부하는 소프트웨어를 자동화할 때 무엇이 가능한지에 대한 명확한 그림을 제공한다. 인터페이스를 한 번 매핑한 후 그 기억을 바탕으로 행동하는 방식은 빠르고 효과적이지만, 매우 깨지기 쉽다(brittle). 이 방식은 소프트웨어가 지도를 만들었을 때와 똑같이 보일 때만 유효하다. 시스템은 코드 기반의 검사가 결과를 신뢰성 있게 검증할 수 있음을 증명했지만, 인터페이스의 변화를 처리하거나 오류로부터 회복하는 견고한 방법 없이는 자동화가 역동적인 환경에서 인간을 대체할 수 없다는 점도 보여주었다. 연구자는 이 방법이 특정 버전의 소프트웨어와 특정 기계에서는 작동하지만, 모든 애플리케이션을 위한 일반적인 해결책은 아니라고 결론지었다. 이 시스템은 개념 증명(proof of concept)으로서, 직접적인 접근 권한 없이도 자동화가 가능하다는 것을 보여주는 동시에, 그러한 시스템을 현실 세계에 맞게 충분히 견고하게 만드는 것이 얼마나 어려운지를 강조하고 있다.