당신이 로봇에게 비디오 게임을 탐색하는 법을 가르치고 있다고 상상해 보세요. 당신은 단순히 로봇이 마지막 레벨을 깨는 것만을 원하는 것이 아니라, 버튼을 눌렀을 때 게임 세계가 어떻게 변하는지 로봇이 실제로 이해하고 있는지 알고 싶습니다. 로봇은 '시작' 버튼을 클릭하면 메뉴가 나타난다는 사실을 알고 있을까요? 아니면 그저 메뉴처럼 생겼기 때문에 메뉴가 있을지도 모른다고 추측하는 것일까요? 이것이 바로 "GUI 에이전트(GUI agents)"의 핵심입니다. GUI 에이전트는 인간처럼 화면과 상호작용하며 클릭하고, 타이핑하고, 스크롤하여 업무를 수행하는 컴퓨터 프로그램입니다. 오랫동안 과학자들은 로봇이 "항공권 예약하기"와 같은 전체 과업을 완수할 수 있는지로 이 로봇들을 테스트해 왔습니다. 하지만 로봇이 실패했을 때, 그것이 길을 잃은 것인지, 텍스트를 읽지 못한 것인지, 아니면 단순히 버튼을 클릭하면 화면이 바뀐다는 사실을 이해하지 못한 것인지 알기가 어렵습니다. 우리는 로봇이 단순히 운 좋게 끝에 도달한 것이 아니라, 자신의 행동이 가져오는 '원인과 결과'를 진정으로 이해하고 있는지 테스트할 방법이 필요합니다.

여기에 칭화대학교 연구진이 개발한 새로운 진단 도구인 EvoGUI가 있습니다. 이것을 AI를 위한 "상태 전이(state-transition)" 시험이라고 생각해보세요. EvoGUI는 AI에게 복잡한 미션을 완수하라고 요구하는 대신, 여정을 작고 관리 가능한 퍼즐들로 나눕니다. 이 도구는 인간이 웹사이트를 탐색하는 기록된 이력을 가져와 세 가지 유형의 질문으로 변환합니다: "무엇이 먼저 일어났는가?" (순서 정하기), "어떤 행동이 이 변화를 일으켰는가?" (동작 추측하기), 그리고 "이 두 화면 중 다음에 올 것은 무엇인가?" (미래 예측하기)입니다. 연구진은 이 새로운 벤치마크를 통해 28개의 서로 다른 AI 모델을 테스트했습니다. 그 결과, 가장 똑똑한 모델들조차도 화면이 어떻게 진화하는지를 이해하는 데 여전히 어려움을 겪고 있다는 것을 발견했습니다. 최고의 모델조차 무작위 추측보다 높은 점수인 '추가 점수(extra credit)'를 약 60%밖에 얻지 못했는데, 이는 AI가 시각적 정보를 보고 대화하는 능력은 좋아지고 있지만, 화면을 만졌을 때 어떻게 변하는지를 진정으로 이해하기까지는 아직 갈 길이 멀다는 것을 증명합니다.

문제점: 성공이라는 이름의 "블랙박스"

당신이 마술사가 모자에서 토끼를 꺼내는 장면을 보고 있다고 상상해 보세요. 마술이 성공하면 당신은 박수를 칩니다. 하지만 마술이 실패했을 때, 토끼가 너무 무거웠던 것인지, 모자가 너무 작았던 것인지, 아니면 마술사가 주문을 잊어버린 것인지 알 수 없습니다. 이것이 바로 현재 AI 에이전트 테스트가 가진 문제입니다. 대부분의 벤치마크는 "엔드 투 엔드(end-to-end) 성공 여부", 즉 AI가 과업을 마쳤는지만을 측정합니다. 만약 실패했다면, 우리는 그 이유를 알 수 없습니다. 버튼을 보지 못한 것일까요? 텍스트를 읽지 못한 것일까요? 아니면 버튼을 클릭하면 실제로 화면이 바뀔 것이라는 사실을 이해하지 못한 것일까요?

이 논문의 연구진은 우리가 단순히 결말만을 지켜보는 것을 멈추고, 마술의 메커니즘 자체를 테스트해야 한다고 주장합니다. 그들은 상태 전이 이해(state-transition understanding), 즉 인터페이스가 동작 후에 어떻게 변하는지를 예측하는 능력을 격리하여 테스트할 방법을 원했습니다.

해결책: 이력을 퀴즈로 바꾸기

Yaohan Yang과 Minglei Shi가 이끄는 팀은 EvoGUI를 만들었습니다. AI에게 새로운 과업을 수행하라고 시키는 대신, 그들은 인간이 웹사이트를 탐 navigating하는 기존 기록(Mind2Web 및 WebLINX 데이터셋)을 가져와 다지선다형 퀴즈로 변환했습니다. 그들은 새로운 질문을 작성하기 위해 사람을 고용할 필요가 없었습니다. 컴퓨터의 로그에 남은 발생 기록을 그대로 사용했기 때문입니다.

그들은 "이해"라는 기술을 세 가지 재미있고 뚜렷한 게임으로 나누었습니다:

1. 시간 여행 퍼즐 (Temporal Ordering - 시간적 순서):
   이야기의 사진 세 장이 섞여 있다고 상상해 보세요. 하나는 빈 페이지를, 하나는 양식이 채워지는 모습을, 다른 하나는 "성공" 메시지를 보여줍니다. AI는 이 사진들을 1, 2, 3의 올바른 순서로 배치해야 합니다. 이는 AI가 시간의 흐름과 논리를 이해하는지 테스트합니다.

2. 탐정 게임 (Inverse Action/Value Prediction - 역행 동작/가치 예측):
   AI는 '전(Before)' 사진과 '후(After)' 사진을 봅니다. 그리고 인간이 무엇을 했는지 추측해야 합니다. 버튼을 클릭했을까요? 이름을 입력했을까요? 만약 입력을 했다면, 정확히 무엇을 입력했을까요? 이는 AI가 변화를 보고 구체적인 원인을 찾아낼 수 있는지 테스트합니다합니다.

3. "다음 단계" 맞히기 (One-Step Reachability - 일보 전진 가능성):
   AI는 시작 화면과 두 개의 가능한 "다음" 화면(후보 A와 후보 B)을 봅니다. 하나는 인간이 실제로 취한 진짜 다음 단계이고, 다른 하나는 비슷해 보이지만 실제로 일어나지 않은 가짜 옵션입니다. AI는 진짜를 골라내야 합니다. 이것이 가장 어려운 부분인데, 가짜 옵션들이 매우 까다롭기 때문입니다. 가짜 옵션들은 당장은 아니더라도 나중에 일어날 법한 화면들일 수 있습니다.

결과: AI는 여전히 배우는 중입니다

연구진은 오픈 소스 거대 모델부터 폐쇄형 독점 슈퍼 모델에 이르기까지 28개의 서로 다른 AI 모델을 테스트했습니다. 그들은 AI가 무작위로 추측했을 때보다 얼마나 더 잘했는지를 측정하기 위해 EvoGain이라는 특별한 점수를 사용했습니다.

여기서 놀라운 사실이 밝혀졌습니다: AI는 우리가 생각했던 것만큼 뛰어나지 않았습니다.

• 최고의 성과자: 가장 뛰어난 모델인 Gemini-3-Flash-Preview는 **60.4%**의 EvoGain에 도달했습니다. 이 수치가 높아 보일 수 있지만, 이는 모델이 질문의 약 40%에서 여전히 실수를 하고 있음을 의미합니다. 이것은 "해결된" 문제가 아니며, 개선의 여지가 매우 많습니다.
• 크기는 중요하지 않다: 더 크고 비싼 AI가 더 나을 것이라고 생각할 수도 있습니다. 하지만 논문은 이것이 사실이 아님을 보여줍니다. 수천억 개의 파라미터를 가진 거대 모델들이 오히려 더 작은 특화 모델보다 낮은 점수를 받기도 했습니다. 단순히 "덩치가 크다"고 해서 화면이 어떻게 변하는지를 자동으로 이해하는 것은 아닙니다.
• 전문가 vs 일반가: UI-TARS와 같이 GUI 작업에 특화되어 설계된 모델들조차 리더보드를 장악하지 못했습니다. 이는 단순히 AI에게 "컴퓨터를 사용하는 법"을 학습시키는 것만으로는 부족하며, 인터페이스의 *역동성(dynamics)*을 깊이 이해해야 함을 시사합니다.

이것이 왜 중요한가

이 논문은 우리가 AI의 디지털 환경 이해 능력을 과대평가해 왔음을 시사합니다. AI가 과업을 완수할 수 있다고 해서, 그것이 왜 작동했는지 이해하고 있다는 뜻은 아닙니다. 그저 운 좋게 맞는 경로를 골랐을 수도 있습니다.

EvoGUI를 통해 연구자들은 이제 AI가 정확히 어느 지점에서 실패하는지 짚어낼 수 있습니다. 사건의 순서를 맞추는 데 서툰 것일까요? 입력한 텍iod를 읽지 못하는 것일까요? 아니면 비슷하게 생긴 화면들 때문에 혼란을 느끼는 것일까요? 이 진단 도구는 마치 의사의 청진기처럼, 단순히 환자가 하루 끝에 살아있는지만 확인하는 것이 아니라, AI의 "심장 박동"을 들으며 구체적인 약점을 찾아내는 역할을 합니다.

요약하자면, AI 에이전트들이 점점 똑똑해지고는 있지만, 디지털 세계에서의 원인과 결과라는 기초적인 원리를 익히는 과정에 있습니다. 그들은 화면을 볼 수는 있지만, 자신이 만졌을 때 화면이 어떻게 변할지는 아직 확신하지 못하고 있습니다. 진정으로 이해하는 AI 에이전트를 향한 여정은 이제 막 시작되었습니다.