PIRA-Bench: A Transition from Reactive GUI Agents to GUI-based Proactive Intent Recommendation Agents

이 논문은 사용자가 명시적인 지시 없이도 시각적 입력을 통해 의도를 예측하고 추천하는 능동적 GUI 에이전트의 평가를 위해 PIRA-Bench 벤치마크와 PIRF 프레임워크를 제안합니다.

핵심

이 논문은 **"스마트한 비서가 어떻게 '사용자가 말하기 전에' 무엇을 원하는지 미리 알아차릴 수 있을까?"**라는 질문에 대한 답을 제시합니다.

기존의 AI 비서들은 우리가 "예약해 줘", "알림 설정해 줘"라고 명령을 내릴 때만 움직이는 수동적인 로봇이었습니다. 하지만 이 논문은 우리가 스마트폰이나 컴퓨터 화면을 보고 있을 때, 우리가 아직 말도 하지 않았는데도 "아, 이 사람은 지금 식당 예약을 하려는구나"라고 미리 추측해서 제안하는 능동적인 비서를 만들고자 합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제점: "지시받아야만 움직이는 비서" vs "눈치 빠른 비서"

• 기존 방식 (수동적): 비서가 당신 옆에 서 있는데, 당신이 "내일 오후 3 시에 미팅 예약해 줘"라고 말해야만 비서가 움직입니다. 만약 당신이 "내일 미팅이 있는데..."라고 말만 하고 끝내면, 비서는 아무것도 하지 않습니다. 사용자는 모든 세부 사항을 직접 말해줘야 하는 수고를 겪습니다.
• 새로운 방식 (능동적 - PIR): 비서가 당신의 화면을 계속 지켜보다가, 당신이 친구와 "이번 주말에 맛집 가자"라고 채팅하는 것을 봅니다. 그리고는 당신이 말하기 전에 **"그 맛집 예약해 드릴까요? 아니면 캘린더에 일정을 넣어드릴까요?"**라고 먼저 제안합니다.

2. 새로운 시험대: PIRA-Bench (비서 실력 측정 시험지)

연구진은 이 새로운 능력을 평가할 수 있는 **시험지 (PIRA-Bench)**를 만들었습니다. 이 시험지는 기존 것들과 완전히 다릅니다.

• 혼란스러운 상황 (노이즈): 실제 삶은 깔끔하지 않습니다. 친구와 채팅하다가 갑자기 유튜브를 보거나, 아무렇게나 스크롤을 내리는 등 쓸데없는 행동도 섞여 있습니다.
• 여러 가지 일 (멀티태스킹): 한 화면에서 공부도 하고, 쇼핑도 하고, 채팅도 하는 식으로 여러 가지 의도가 뒤섞여 있습니다.
• 개인 맞춤: 같은 상황을 봐도, 부자 고객에게는 "명품 아파트를 추천"해야 하고, 학생에게는 "합리적인 월세"를 추천해야 합니다.

이 시험지는 AI 가 "쓸데없는 행동 (노이즈) 에 속지 않고", "여러 가지 일을 구분해 내고", "사용자의 성향을 고려해" 올바른 제안을 할 수 있는지 테스트합니다.

3. 해결책: PIRF (비서의 두뇌 업그레이드)

기존 AI 는 화면이 복잡해지면 헛소리를 하거나 (할루시네이션), 아무것도 아닌데도 "예약해 드릴까요?"라고 자꾸 묻는 실수를 합니다. 이를 해결하기 위해 연구진은 PIRF라는 새로운 시스템을 제안했습니다.

이 시스템을 **가상의 '비서 팀'**으로 비유해 볼까요?

• 기억력 있는 팀장 (Dynamic Memory): 비서는 사용자의 성향 (부자/학생 등) 을 기억하고, 현재 진행 중인 여러 가지 일 (공부 중, 식당 예약 중 등) 을 실시간으로 메모장에 적어둡니다.
• 상황 판단 능력 (State Tracking): 화면을 볼 때마다 "아, 이건 새로운 일이 시작되는구나 (CREATE)", "아, 아까 하던 일로 돌아온 거구나 (RESUME)", "아, 이건 그냥 아무것도 아닌 스크롤이네 (IDLE)"라고 판단합니다.
• 자기 성찰 (Reflection & Auto-Deletion): 가장 중요한 부분입니다. 비서는 주기적으로 **"지금 내가 기억하고 있는 일들은 진짜로 필요한 거야? 아니면 이미 끝났거나 잊어버린 거야?"**라고 스스로에게 묻습니다. 필요 없는 기억은 자동으로 지워버려서 머리가 복잡해지는 것을 막습니다.

4. 실험 결과: "열심히 하는 것"보다 "적절한 때에 멈추는 것"이 중요하다

실험 결과, 최신 AI 모델들도 쓸데없는 행동 (노이즈) 을 보면 너무 민감하게 반응해서 엉뚱한 제안을 많이 했습니다. 마치 "아무것도 안 하는데도 비서가 계속 '뭐 도와드릴까요?'라고 물어보는 것"과 같습니다.

하지만 PIRF 시스템을 적용한 AI는 다음과 같이 변했습니다:

• 정확도 향상: 진짜 필요한 일을 찾아내는 능력은 유지하면서, 쓸데없는 제안은 줄였습니다.
• 가장 중요한 교훈: 가장 뛰어난 AI 는 "무조건 많은 일을 찾아내는 것"이 아니라, **"아무것도 필요 없을 때는 침묵하는 것 (Operational Restraint)"**을 배운 AI 였습니다.

요약

이 논문은 **"진짜 똑똑한 AI 비서는 사용자의 말보다 눈치를 더 잘 봐야 한다"**는 것을 증명합니다. 하지만 단순히 눈치를 보는 것만으로는 부족하고, **"쓸데없는 제안은 아예 하지 않는 절제력"**이 있어야만 진정한 비서가 될 수 있다고 말합니다.

마치 눈치 빠른 비서가 "주인님이 지금 피곤해 보이니 커피를 가져가야지"라고 생각할 때, 만약 주인님이 그냥 휴식 중이라면 커피를 가져가는 대신 조용히 기다리는 것이 진정한 지능이라는 뜻입니다.

기술 요약

1. 문제 정의 (Problem)

현재의 그래픽 사용자 인터페이스 (GUI) 에이전트는 주로 반응형 (Reactive) 패러다임에 기반하고 있습니다. 즉, 사용자가 명시적인 자연어 지시를 입력해야만 에이전트가 작업을 수행합니다. 그러나 진정한 지능형 AI 비서는 사용자가 직접 명령을 내리기 전에 지속적인 시각적 입력 (모바일 또는 데스크톱 스크린샷) 을 통해 사용자의 잠재적 의도를 예측하고 적시에 추천을 제공해야 하는 능동적 (Proactive) 패러다임으로 전환되어야 합니다.

이 전환을 가로막는 주요 도전 과제는 다음과 같습니다:

• 복잡한 사용자 행동: 실제 화면 활동은 선형적이지 않으며, 잡음 (무의미한 브라우징), 의미 없는 행동, 멀티스레드 태스크 전환 등이 혼재되어 있습니다.
• 간섭된 의도 (Interleaved Intents): 사용자는 여러 작업을 병행하며 (예: 친구와 식사 계획 논의와 동시에 강의 자료 공부), 에이전트는 이러한 교차된 의도를 분리하여 올바른 행동을 추천해야 합니다.
• 할루시네이션 (Hallucination): 잡음이 많은 환경에서 에이전트가 존재하지 않는 의도를 예측하거나, 아무런 행동이 필요 없는 상황에서도 불필요하게 개입하는 문제가 발생합니다.

2. 방법론 (Methodology)

이 논문은 PIRA-Bench라는 새로운 벤치마크와 이를 해결하기 위한 PIRF (Proactive Intent Recommendation Framework) 를 제안합니다.

가. PIRA-Bench (벤치마크)

• 데이터 구성: 100 개의 정밀하게 큐레이션된 GUI 궤적 (Trajectory) 으로 구성되며, 각 궤적은 평균 32 개의 연속된 스크린샷과 3 가지 다른 사용자 프로필 (User Profile) 이 매칭되어 있습니다.
• 평가 시나리오:
  1. 직접 의도 추천 (Direct Intent Recommendation): 시각적 맥락만으로 미래 행동을 추론 (다중 태스크 분리 능력 평가).
  2. 프로파일 의존적 예측 (Profile-Dependent Prediction): 시각적 맥락만으로는 모호한 경우, 사용자의 사회경제적 지위나 선호도에 기반하여 추천 (예: 부유한 사용자는 고급 아파트 구매, 학생은 저렴한 임대 추천).
  3. 잡음 거부 (Noise Rejection): 실행 가능한 의도가 없는 '순수 잡음' 구간에서 에이전트가 아무것도 추천하지 않도록 하는 능력 평가.
• 평가 지표:
  • F1avg: 유효한 의도가 있는 경우의 평균 F1 점수.
  • FPSnorm (Normalized False Positive Score): 잡음 구간에서 할루시네이션을 얼마나 억제하는지 측정 (0~1 범위, 1 이 완벽).
  • Final Score (Sfinal): F1avg × FPSnorm으로 계산되며, 예측 정확도와 운영적 억제력 (Operational Restraint) 을 모두 고려합니다.

나. PIRF (프로포지티브 의도 추천 프레임워크)

일반적인 멀티모달 대형 언어 모델 (MLLM) 이 긴 시각적 시퀀스를 처리할 때 발생하는 한계를 극복하기 위해 제안된 아키텍처입니다.

• 동적 메모리 모듈 (Dynamic Memory Module):
  • 고정된 사용자 프로필과 동적으로 업데이트되는 '스uspended Intents (일시 중단된 의도)' 리스트를 관리합니다.
  • 각 태스크 스레드를 추적하여 멀티태스킹 상황을 분리합니다.
• 상태 전이 액션 스페이스:
  • CREATE: 새로운 작업 시작 감지 시 새로운 스레드 생성.
  • RESUME: 일시 중단된 작업으로 복귀 시 해당 스레드 활성화.
  • UPDATE: 현재 작업의 진행 상황 반영.
  • IDLE: 잡음 (무의미한 스크롤 등) 감지 시 예측을 중단하고 아무것도 출력하지 않음 (할루시네이션 방지).
• 반성 및 자동 삭제 메커니즘 (Reflection & Auto-Deletion):
  • 매 시간 단계마다 메모리에 저장된 의도들이 더 이상 유효한지 반성합니다.
  • 완료되거나 폐기된 의도는 즉시 메모리에서 삭제하여 모델의 인지 부하를 줄이고 정확도를 유지합니다.

3. 주요 기여 (Key Contributions)

1. 능동적 의도 추천 (PIR) 작업 정의: 지시 수행 (Instruction-following) 에서 사용자의 잠재적 필요를 예측하는 (Intent-anticipation) 패러다임 전환을 주도했습니다.
2. PIRA-Bench 구축: 실제 세계의 복잡성 (교차된 태스크, 사용자 프로필, 의도적 잡음) 을 반영한 최초의 체계적인 평가 벤치마크를 구축했습니다.
3. PIRF 프레임워크 제안: 일반 MLLM 에 반복적 처리, 동적 메모리, 반성 기반 자동 삭제 메커니즘을 도입하여 긴 잡음 시퀀스에서도 안정적인 성능을 내는 베이스라인을 제시했습니다.

4. 실험 결과 (Results)

• Naive Baseline vs. PIRF:
  • 기존 MLLM 들 (Gemini, GPT-5, Qwen 등) 을 'Naive' 방식으로 평가했을 때, 높은 재현율 (Recall) 을 보였으나 정밀도 (Precision) 와 잡음 저항성 (FPSnorm) 이 매우 낮았습니다. 특히 GPT-5 는 83% 의 재현율을 보였으나, 잡음 구간에서도 과도하게 예측을 수행하여 (Over-proactivity) 최종 점수 (Sfinal) 가 낮았습니다.
  • PIRF 적용 시: 모든 모델에서 성능이 개선되었습니다. PIRF 는 모델이 잡음 구간에서 침묵하는 법을 배우게 하여 정밀도와 FPSnorm 을 크게 향상시켰습니다.
• 모델별 비교:
  • Gemini-3.1-Pro: 가장 높은 F1 점수 (56.58%) 를 기록했으나, 잡음에 대한 억제력 (FPSnorm) 이 Seed-1.8 보다 낮았습니다.
  • Seed-1.8: 재현율은 다소 낮았으나 (72.67%), 잡음 구간에서의 억제력이 가장 뛰어났습니다 (FPSnorm 50.36%). 이로 인해 최종 점수 (Sfinal 28.05) 에서 가장 높은 성능을 보였습니다. 이는 능동형 에이전트에게 '언제 행동하지 말아야 하는지'를 아는 것이 능력만큼 중요함을 시사합니다.
• Human Performance: 인간 평가자의 최종 점수는 90.35 로, 최상위 모델 (28.05) 보다 훨씬 높았습니다. 이는 인간이 잡음과 실제 의도를 구분하는 능력 (정밀도 98.76%) 에서 압도적으로 우월함을 보여주며, 현재 모델들의 주요 과제가 '감도'가 아닌 '판단력'임을 증명했습니다.
• Ablation Study (잡음 영향): 잡음이 제거된 'Clean' 환경에서는 모델들의 정밀도가 80~90% 이상이었으나, 잡음이 포함된 'Noised' 환경에서는 정밀도가 40% 이상 급락했습니다. 이는 현재 MLLM 이 시각적 잡음에 매우 취약함을 보여줍니다.

5. 의의 및 결론 (Significance)

이 논문은 GUI 에이전트의 발전 방향을 수동적 실행자에서 능동적 비서로 전환하는 중요한 이정표를 제시합니다.

• 실용성: 단순한 작업 수행을 넘어, 사용자가 명령을 내리기 전에 필요한 작업을 제안함으로써 사용자의 인지 부하를 줄이고 생산성을 높일 수 있습니다.
• 연구 방향: 향후 연구는 단순히 더 많은 작업을 수행하는 능력 (Recall) 을 높이는 것보다, 잡음 환경에서 불필요한 개입을 자제하는 능력 (Operational Restraint) 을 학습시키는 데 초점을 맞춰야 함을 강조합니다.
• 표준화: PIRA-Bench 는 능동형 에이전트의 성능을 평가하기 위한 표준적인 프레임워크를 제공하여, 더 견고하고 지능적인 개인 비서 개발을 촉진할 것입니다.