💬 NLP

Benchmarking Living-Screen-Native GUI Agents on Short-Video Platforms

이 논문은 동적인 숏폼 비디오 플랫폼에서 작동하는 "리빙 스크린 네이티브(Living-Screen-Native)" GUI 에이전트를 위한 첫 번째 벤치마크인 LivingScreen을 소개하며, 현재의 프런티어 모델들이 끊임없이 변화하는 콘텐츠 속에서 관찰 타이밍을 효과적으로 제어하지 못함으로 인해 인간의 성능에 미치지 못한다는 점을 밝혀낸다.

원저자: Jiashu Yao, Heyan Huang, Daiqing Wu, Wangke Chen, Huaxi Ai, Haoyu Wen, Zeming Liu, Yuhang Guo

게시일 2026-06-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiashu Yao, Heyan Huang, Daiqing Wu, Wangke Chen, Huaxi Ai, Haoyu Wen, Zeming Liu, Yuhang Guo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 스마트폰 사용법을 가르치고 있다고 상상해 보세요. 현재 대부분의 로봇 테스트는 화면의 정지된 사진을 보여주는 것과 같습니다. 로봇은 사진을 보고, 무엇을 클릭할지 결정하고, 그러면 사진이 바뀝니다. 이는 마치 보드가 손을 대기 전까지는 절대 움직이지 않는 "사이먼 세즈(Simon Says)" 게임을 하는 것과 비슷합니다.

하지만 현실 세계는 정지해 있지 않습니다. TikTok, Instagram Reels, 또는 YouTube Shorts를 생각해 보세요. 영상은 자동으로 재생되고, 댓글은 스크롤되어 올라오며, 당신이 시청하는 동안에도 새로운 콘텐츠가 계속 로드됩니다. 화면은 "살아 있습니다."

이 논문은 로봇(GUI 에이전트)을 이러한 "살아 있는" 화면에서 테스트하는 새로운 방법을 소개합니다. 이해하기 쉽게 정리하면 다음과 같습니다:

1. 문제점: "정지된 화면" vs "살아 있는 화면"

현재의 AI 모델은 정적인 이미지나 미리 녹화된 비디오 파일을 보는 데는 뛰어나습니다. 하지만 화면이 스스로 끊임없이 변할 때는 어려움을 겪습니다.

기존 방식: AI는 스냅샷을 받고, 생각하고, 클릭한 뒤, 새로운 스냅샷을 받습니다.
새로운 방식 (Living-Screen-Native): 화면은 계속 재생됩니다. AI는 다음과 같이 결정해야 합니다: "이 영상을 끝까지 볼 것인가? 처음 3초만 살짝 볼 것인가? 아니면 이 영상을 아예 건너뛸 것인가?"

저자들은 이를 **"Living-Screen-Native"**라고 부릅니다. 왜냐하면 에이전트는 인간처럼 실시간으로 진화하는 화면을 탐색해야 하기 때문입니다.

2. 해결책: "LIVINGSCREEN" (새로운 테스트)

이를 테스트하기 위해 연구진은 LIVINGSCREEN이라는 특별한 놀이터를 만들었습니다.

환경: 웹 브라우저 내에 구현된 숏폼 앱의 사실적인 가짜 버전입니다. 실제 영상을 재생하고, 댓글을 보여주며, "좋아요", "공유", "팔로우" 버튼이 있습니다.
규칙: AI는 단순히 비디오 파일을 "다운로드"할 수 없습니다. 반드시 인간처럼 화면과 상호작작용해야 합니다: 위로 스와이프하거나, 버튼을 클릭하고, 클립을 얼마나 오래 시청할지 결정해야 합니다.
태스크(과업): 테스트에는 세 가지 난이도가 있습니다:
- 레벨 1 (기초): "좋아요" 버튼을 누르거나 아래로 스크롤할 수 있는가?
- 레벨 2 (이해): 몇 개의 영상을 시청하고, 댓글을 읽고, 두 영상이 같은 이야기를 하고 있는지 파악할 수 있는가?
- 레벨 3 (보스전): 인간 사용자처럼 행동할 수 있는가? 예를 들어, "규칙을 어기는 영상을 찾아 신고하라" 또는 "요리에 관한 영상을 찾아 가장 좋은 것을 저장하라"와 같은 과업입니다.

3. 결과: 로봇들은 서투르다

연구진은 현재 사용 가능한 가장 똑똑한 AI 모델들을 이 새로운 테스트에 투입했습니다. 결과는 놀라웠습니다:

인간의 승리: 인간은 속도와 정확도의 균형을 맞추는 데 훨씬 뛰어납니다. 우리는 정답을 얻기 위해 영상을 얼마나 오래 봐야 하는지 정확히 알고 있습니다.
AI의 고전: 최고의 AI 모델들조차 이 테스트에서 인간의 성능을 따라잡지 못했습니다. 그들은 너무 느리거나(너무 많이 보거나), 너무 성급했습니다(중요한 디테일을 놓침).

4. 거대한 발견: "과잉 관찰"과 "과소 관찰"

연구진은 AI가 실패하는 주요 원인이 무엇을 보고 클릭하지 못해서가 아니라, 어떻게 봐야 하는지를 모르기 때문이라는 것을 발견했습니다. 저자들은 이를 **"과잉 관찰(Over-Observing)"과 "과소 관찰(Under-Observing)"**이라고 부릅니다.

학생이 시험을 치는 상황을 생각해 보세요:

과소 관찰: 학생이 문제를 훑어보고 바로 답을 추측해 버려, 문단 중간에 있는 결정적인 세부 사항을 놓치는 경우입니다.
과잉 관찰: 학생이 이미 내용을 이해했음에도 불구하고 같은 문단을 다섯 번이나 다시 읽으며 시간과 에너지를 낭비하는 경우입니다.

AI의 문제:

어떤 AI는 너무 적게 훑어봅니다. 마땅히 봐야 할 영상을 건너뛰어 오답을 냅니다.
어떤 AI는 너무 많이 봅니다. 관련 없는 영상들을 몇 분 동안 멍하니 바라보며, 실제로 과업에 도움이 되는 지식은 얻지 못한 채 시간만 낭비합니다.
인간의 차이점: 인간은 "스마트한 스캐너"입니다. 우리는 영상이 관련 있는지 확인하기 위해 2초 정도 빠르게 "훑어봅니다". 만약 관련이 있다면 더 길게 시청하고, 아니라면 바로 넘겨버립니다. AI 모델들은 대부분 이러한 "빠른 훑어보기" 필터가 부족합니다. 그들은 영상을 완전히 무시하거나, 아니면 끝까지 몰아서 보는 경향이 있습니다.

5. 그냥 더 잘하라고 말하면 안 될까?

연구진은 AI 모델에게 "덜 봐라" 또는 "더 봐라", 혹은 심지어 "인간이 보는 방식을 따라 해라"와 같은 간단한 지침을 주어 보았습니다.

결과: 효과가 없었습니다. "적게 보라"는 지침은 중요한 영상을 너무 많이 건너뛰게 만들었습니다. "더 많이 보라"는 지침은 시간을 낭비하게 만들었습니다.
결론: 이것은 단순히 더 나은 지침을 주는 문제가 아닙니다. AI 모델들은 자신의 주의력(attention)을 스스로 제어할 수 있는 능력 자체가 결여되어 있습니다. 그들은 언제 보고 언제 멈춰야 할지를 결정하지 못합니다.

요약

이 논문은 TikTok이나 YouTube 같은 앱을 위한 진정한 AI 비서를 만들고 싶다면, 정지된 화면으로 테스트하는 것을 멈춰야 한다고 말합니다. 우리는 멈추지 않고 움직이는 세상에서 어떻게 주의력을 관리할지를 가르쳐야 합니다. 현재의 최고 AI 모델들은 메뉴판을 아예 안 보거나, 아니면 메뉴의 모든 단어를 한 시간 동안 읽고 있는 사람과 같습니다. 그들은 아직 효과적으로 "훑어보는" 법을 배우지 못했습니다.

기술 요약: 숏폼 플랫폼에서의 리빙 스크린 네이티브(Living-Screen-Native) GUI 에이전트 벤치마킹

1. 문제 정의

현재의 그래픽 사용자 인터페이스(GUI) 에이전트는 정적인 가정을 기반으로 작동한다: 즉, 두 동작 사이에서 화면은 멈춰 있으며, 세상은 에이전트가 행동할 때만 변화한다는 가정이다. 이러한 패러다임은 실세계의 인터페이스, 특히 콘텐츠가 연속적인 시간 속에서 자율적으로 재생되는 숏폼 플랫폼을 포착하는 데 실패한다. 이러한 환경에서 유능한 사용자는 정보 습득과 시간 비용 사이의 균형을 맞추며 무엇을 볼 것인지, 얼ot큼 볼 것인지, 그리고 언제 멈출 것인지를 능동적으로 결정해야 한다.

기존의 벤치마크들은 비디오를 수동적인 입력(Video QA)으로 취급하거나, GUI를 정적인 스크린샷의 시퀀스로 취급(표준 GUI 에이전트)한다. 이는 에이전트가 관찰의 입도(granularity)를 능동적으로 선택하는 동안 환경이 독립적으로 진화하는 '리빙 스크린(living screen)' 영역을 놓치고 있다. 저자들은 이 간극을 리빙 스크린 네이티브 GUI 에이전트로 공식화하며, 이를 연속적인 시간에 진화하는 화면에서 작동하며 해당 진화의 어떤 시각적 슬라이스를 관찰할지 능동적으로 결정하는 에이전트로 정의한다.

2. 방법론: LIVINGSCREEN 벤치마크

이 설정을 구현하고 평가하기 위해, 저자들은 숏폼 플랫폼에서의 리빙 스크린 네이티브 에이전트를 위한 최초의 벤치마크인 LIVINGSCREEN을 도입한다.

2.1 환경 구축

플랫폼: Playwright를 사용하여 구축된, 현대적인 숏폼 애플리케이션(중국 플랫폼 모델링)의 고충실도 브라우저 기반 복제본.
상호작용: 에이전트는 저수준 액션 API(픽셀 좌표 클릭, 스와이프, 타이핑)를 통해 상호작용하며, 하위 DOM이나 비디오 파일에 대한 접근 없이 렌더링된 스크린샷 또는 화면 녹화만을 통해 관찰한다.
콘텐츠: 공공 데이터셋의 실제 숏폼 비디오로 구성되며, 메타데이터(제목, 해시태그, 댓글)와 롱테일 안전 위험을 위한 소량(<1%)의 합성 비디오가 추가된다.
피드 생성: 키워드로 비디오를 클러스터링하고 이를 무작위 방해 요소(distractors)와 혼합하여 현실적인 추천 스트림을 시뮬레이션한다.

2.2 태스크 분류 체계

본 벤치마크는 1,528개의 고유 비디오에 걸친 499개의 태스크를 포함하며, 3단계 계층 구조로 구성된다:

L1 (원자적 GUI 액션): 좋아요, 수집, 댓글 달기, 신고, 내비게이션(스와이프/탐색)과 같은 기초적인 프리미티브를 테스트한다.
L2 (교차 소스 이해): 비디오, 댓글, UI 단서 전반에서 증거를 통합하는 능력을 요구한다. 하위 태스크로는 맥락적 연관성, 이벤트 비교, 특징 분석, 시공간적 집계, 그리고 견고한 평가(대답 불가능한 질문 처리)가 포함된다.
L3 (폐쇄 루프 애플리케이션): 환경 등급 결과물을 달성하기 위해 인지, 추론, 행동의 전체 루프를 요구한다. 예시로는 논쟁적인 이벤트에 대한 팩트 체크, 콘텐츠 모더레이션(정책 위반 탐지), 선호도 시뮬레이션 등이 있다.

2.3 평가 지표

벤치마크는 두 가지 차원에서 에이전트를 평가한다:

정확도: 최종 환경 상태를 그라운드 트루스(예: 특정 비디오를 '좋아요' 했는지 또는 신고했는지)와 비교하거나 옵션 매칭을 통해 결정되는 **성공률(Success Rate, SR)**로 측정된다.
효율성:
- 단계 수(Number of Steps, NS): 에피소드당 평균 도구 호출 횟수(운영 비용).
- 시청 비율(Watch Ratio, WR): 에이전트에 의해 실제로 기록된 전체 피드 실행 시간의 비율(관찰 비용).
- 목표: 낮은 NS와 WR를 유지하면서 높은 SR을 달야내는 것.

2.4 에이전트 정식화

저자들은 표준 마르코프 결정 과정(MDP)을 수정한 Living-Screen-Native POMDP를 제안한다.

연속 진화 상태 ( $\Delta_1$ ): 에이전트가 유휴 상태일 때도(예: 재생 헤드가 진행 중일 때) 상태가 자율적으로 진화( $\Phi$ )하며, 이는 표준 GUI POMDP의 에이전트 주도 상태 전이와 구별된다.
에이전트 주도 관찰 ( $\Delta_2$ ): 관찰은 점 단위의 샘플링이 아니라 에이전트의 액션에 의해 매개변수화된다. 에이전트는 단일 스크린샷 또는 지속 시간 $\Delta t$ 를 가진 비디오 클립 중 선택하여 관찰할 시간 창 $W(a_k)$ 를 결정한다.

3. 실험 설정

저자들은 Gemini-3.5, Doubao-Seed 시리즈, Qwen-3.6 등을 포함한 최첨단 멀티모달 거대 언어 모델(MLLM) 세트를 평가하였다. 여기에는 네이티브 비디오 모델과 이미지 기반 모델(Claude, GPT-5 변형 등)이 포함된다. 모든 모델은 "생각 후 도구 호출(think-then-tool-call)" 형식을 사용하는 통일된 에이전트 아키텍처로 래핑되었으며, 최대 에피소드 길이는 30단계로 제한되었다.

4. 주요 결과

성능 격차: 평가된 어떤 모델도 비용-정확도 트레이드오프 측면에서 인간의 성능에 도달하지 못했다. 최고 수준의 모델들도 인간(전체 약 94%)에 비해 현저히 낮은 성공률(SR, 최고 모델 약 69%)을 보였으며, 종종 더 높은 관찰 비용을 발생시켰다.
발산하는 패러다임: 모델들은 일관되지 않은 전략을 보인다. 일부 모델은 높은 탐색(높은 NS, 파편화된 정보 수집)을 선호하는 반면, 다른 모델은 무거운 관찰(높은 WR, 긴 클립 시청)을 선호한다.
지배적인 실패 모드: 주요 실패 모드는 **과잉 및 과소 관찰(Over- and Under-Observation)**로 식별되었다:
- 과소 관찰: 에이전트가 충분한 증거를 수집하기 위해 비디오를 건너뛰거나 너무 짧게 훑어본다 (경로의 39~61%에 영향).
- 과잉 관찰: 에이전트가 무관한 비디오를 시청하거나 필요한 정보를 얻은 후에도 계속 시청한다 (경로의 25~43%에 영향).
- 공존: 9~24%의 경로에서 두 오류가 동시에 나타난다.
인간과의 비교: 인간은 "정보 포리지(information foraging)" 전략을 사용하여, 깊은 소비를 결정하기 전 관련성을 필터링하기 위해 적은 주의력을 들여 비디오를 "훑어보는(glance)" 데 시간을 할애한다(관찰의 52%). 현재의 모델들은 이러한 저렴한 정찰(scouting) 단계가 부족하여 비효적인 주의력 할당으로 이어진다.

5. 관찰 제어 분석

저자들은 이러한 실패가 인식의 부재(프롬프팅) 때문인지 아니면 능력의 결여 때문인지 조사했다.

프롬프팅 실험: 에이전트에게 "적게 시청하라", "더 많이 시청하라" 또는 "인간을 모방하라"는 전략을 지시하는 변형 모델들은 시청 비율(WR)을 성공적으로 변화시켰으나, 성공률(SR)을 개선하는 데는 실패했다.
결론: 과잉 및 과소 관찰은 단순히 프롬프팅으로 해결 가능한 인식의 문제가 아니라, 현재의 MLLM이 가진 관찰 제어에 관한 진정한 **능력 격차(capability gap)**를 나타낸다.

6. 의의 및 기여

본 논문은 세 가지 주요 기여를 주장한다:

정식화: "리빙 스크린 네이티브" 설정을 식별하고 공식화하여, 정적인 GUI 및 수동적 비디오 QA 태스크와 구분하였다.
벤치마크 공개: 이 설정을 위한 최초의 충실한 환경, 태스크 세트 및 효율성 지표를 제공하는 LIVINGSCREEN을 도입한다.
능력 격차 식별: 관찰 제어(특히 과잉 및 과소 관찰의 관리)를 미래의 GUI 에이전트 연구를 위한 중요하고 이전에 덜 연구된 축으로 밝혀냈다.

저자들은 LIVINGSCREEN을 진정한 리빙 인터페이스에 거주할 수 있는 에이전트로 나아가기 위한 디딤돌로 위치시키며, 미래의 발전은 모델이 단순히 무엇을 클릭할 것인가뿐만 아니라, 어떻게 그리고 얼마나 오래 관찰할 것인가를 마스터하는 데 달려 있음을 강조한다.

7. 한계점

저자들은 본 벤치마크가 실시간 추천 엔진이나 소셜 그래프 효과가 결여된 통제된 브라우저 복제본임을 인정한다. 데이터는 중국어로만 구성되어 있으며, 동적이고 다단계 태스크에 필요한 높은 주석 비용을 반영하여 499개의 태스크 규모는 중간 단계 수준이다. 또한, 자율 에이전트의 오용 가능성(허위 정보 유포 또는 회피 등)에 대한 윤리적 고려 사항을 언급하며, 실제 배포 시 인간 중심의 감독(human-in-the-loop)을 권고한다.