Proactive Agent Research Environment: Simulating Active Users to Evaluate Proactive Assistants

1. 연구 배경 및 문제 정의 (Problem)

• 수동적 평가의 한계: 기존의 대규모 언어 모델 (LLM) 기반 에이전트 연구는 대부분 사용자의 명시적 요청에 반응하는 '반응형 (Reactive)' 에이전트를 평가하는 데 집중해 왔습니다. 그러나 '능동적 (Proactive)' 에이전트는 사용자의 행동을 관찰하고 맥락을 추론하여 사용자의 요구를 예측하여 작업을 수행해야 합니다.
• 현실적 시뮬레이션 부재: 기존 평가 프레임워크는 앱을 단순한 평면적인 도구 호출 API 로 모델링하여, 실제 사용자가 겪는 상태 의존적 (State-dependent) 인터페이스 탐색 과정을 무시했습니다.
• 비대칭성 (Asymmetry) 의 결여: 실제 환경에서는 사용자가 앱 화면을 통해 제한된 기능만 접근할 수 있지만, 에이전트는 백엔드 API 를 통해 모든 기능에 직접 접근할 수 있습니다. 기존 연구는 이 사용자와 에이전트 간의 비대칭적 권한 차이를 반영하지 못해, 실제 배포 환경과 괴리가 있는 평가를 수행했습니다.
• 수동적 사용자 시뮬레이션: 기존 벤치마크는 사용자가 에이전트의 행동을 기다리는 수동적인 역할을 했으며, 에이전트가 개입할 때 사용자의 반응 (수용/거부) 을 시뮬레이션하는 동적 환경이 부족했습니다.

2. 제안 방법론: Pare 프레임워크 (Methodology)

저자들은 Pare (Proactive Agent Research Environment) 를 제안하여 능동적 에이전트를 평가하기 위한 새로운 환경을 구축했습니다.

2.1. 핵심 아키텍처 및 FSM 기반 설계

• 상태 의존적 앱 모델링: Pare 는 각 애플리케이션을 유한 상태 기계 (Finite State Machine, FSM) 로 모델링합니다.
  • 사용자 에이전트: 실제 사용자처럼 앱의 화면을 순차적으로 탐색해야 합니다. (예: 메시지 보내기 위해 앱 실행 → 대화 찾기 → 대화 열기 → 메시지 전송 등 상태 전이가 필요함). 현재 상태에 따라 사용 가능한 툴이 제한됩니다.
  • 능동적 에이전트: 모든 앱의 기능을 평면적인 (Flat) API 로 직접 호출할 수 있는 권한을 가집니다.
• 비대칭적 상호작용: 이 설계는 실제 모바일 환경에서의 비대칭성 (사용자는 UI 제한, 에이전트는 API 전체 접근) 을 정확히 반영합니다.

2.2. Stackelberg POMDP 형식화

• 상호작용을 Stackelberg 게임 (주도자 - 추종자 구조) 으로 정의합니다.
  • 사용자 (주도자): 먼저 행동을 취합니다.
  • 에이전트 (추종자): 사용자의 행동과 환경 이벤트를 관찰한 후, 사용자의 목표를 추론하여 제안 (Plan) 을 합니다.
  • 수용/거부: 사용자가 제안된 계획을 수용하면 에이전트가 작업을 실행합니다.
• 목표: 에이전트는 제안 수용률 (Acceptance Rate) 과 작업 성공률 (Success Rate) 을 동시에 극대화해야 합니다.

2.3. Observe-Execute 아키텍처

능동적 에이전트는 두 단계로 나뉘어 작동합니다:

1. Observe Mode (관찰 모드): 사용자의 행동과 환경 알림을 모니터링하며, 개입이 필요한 시점을 판단합니다. 읽기 전용 툴만 사용하며, 제안이 확정될 때까지 기다립니다.
2. Execute Mode (실행 모드): 사용자가 제안을 수용하면, 에이전트는 모든 앱의 API 에 접근하여 작업을 자율적으로 수행합니다.

2.4. Pare-Bench 벤치마크

• 규모: 143 개의 다양한 시나리오로 구성됨.
• 도메인: 커뮤니케이션, 생산성, 일정 관리, 라이프스타일 앱 등 4 가지 분야.
• 평가 항목: 맥락 관찰 능력, 목표 추론, 개입 타이밍, 다중 앱 오케스트레이션 능력.
• 생성 파이프라인: LLM 기반 에이전트를 사용하여 시나리오 (스토리, 초기 데이터, 이벤트 흐름, 검증 로직) 를 자동 생성하고, 인간 검증자를 통해 품질을 보장합니다.

3. 주요 기여 (Key Contributions)

1. Pare 프레임워크: 능동적 에이전트 평가를 위해 최초로 비대칭적 FSM 기반 환경을 도입했습니다. 이는 사용자가 상태에 따라 제한된 행동을 하고, 에이전트는 전역 API 를 사용하는 현실적인 시뮬레이션을 가능하게 합니다.
2. Observe-Execute 아키텍처: 사용자의 자율성을 보장하기 위해 '관찰 - 제안 - 승인 - 실행'의 두 단계 프로세스를 설계했습니다.
3. Pare-Bench: 143 개의 복잡한 다중 앱 시나리오를 포함한 새로운 벤치마크를 공개하여, 에이전트의 맥락 이해도와 개입 적절성을 종합적으로 평가할 수 있는 기준을 마련했습니다.

4. 실험 결과 (Results)

저자들은 7 개의 LLM (Claude 4.5, GPT-5, Gemini 3 등) 을 Pare-Bench 에서 평가했습니다.

• 성능: 최상위 모델 (Claude 4.5 Sonnet, Gemini 3 Flash) 도 약 42% 의 성공률에 그쳤습니다. 이는 능동적 에이전트 개발이 여전히 큰 과제를 안고 있음을 보여줍니다.
• 모델 크기별 차이:
  • 소규모 모델: 실행 (Execution) 단계에서 큰 병목 현상을 보였습니다. (예: Gemma 3 4B 는 성공률 3% 미만).
  • 대규모 모델: 정보 수집 (Read Actions) 을 더 많이 수행하여 목표 추론 정확도가 높았으나, 여전히 제안의 타이밍과 수용률에서 개선의 여지가 있었습니다.
• 제안 품질:
  • Claude: 제안 횟수는 적지만 수용률이 가장 높음 (78.2%). 불필요한 개입을 줄이는 능력이 뛰어남.
  • GPT-5: 제안 빈도가 가장 높았으나 (28.1%), 수용률은 중간 수준으로, 과잉 개입 (Over-eagerness) 경향을 보임.
  • 소규모 모델: 제안이 너무 이르거나 (Gather Context 비율 높음) 부정확하여 수용률이 낮음.
• 강건성 (Robustness):
  • 도구 실패 (Tool Failure): Claude 는 실패 확률이 40% 에 달해도 40-45% 의 성공률을 유지했으나, Llama 와 같은 소규모 모델은 성능이 급격히 저하됨.
  • 환경 노이즈: Claude 는 노이즈가 많아도 일관된 성능을 보인 반면, Gemini 와 GPT-5 는 노이즈 증가에 따라 성능이 저하됨.

5. 의의 및 결론 (Significance)

• 실제 배포 환경 반영: Pare 는 에이전트가 실제 사용자의 UI 탐색 과정을 시뮬레이션하는 사용자와 상호작용함으로써, 기존 평면적 API 기반 평가의 한계를 극복했습니다.
• 프라이버시 보호: 에이전트가 화면의 모든 시각 정보를 보는 것이 아니라, API 레벨의 행동 데이터만 관찰하도록 설계되어 프라이버시 경계를 자연스럽게 설정합니다.
• 자율성 보장: 'Observe-Execute' 구조는 에이전트가 사용자의 동의 없이 작업을 수행하는 것을 방지하여, 인간 중심의 능동적 보조 도구 개발을 촉진합니다.
• 미래 방향: 소규모 온디바이스 모델 (관찰용) 과 대규모 클라우드 모델 (실행용) 을 결합한 비대칭 아키텍처의 필요성이 제기되었으며, 이를 통해 프라이버시와 성능을 모두 잡는 능동적 에이전트 개발이 가능해질 것으로 기대됩니다.

이 논문은 능동적 AI 에이전트 연구에 있어 현실적인 평가 환경의 부재라는 핵심 문제를 해결하고, 향후 연구와 개발을 위한 표준적인 프레임워크와 벤치마크를 제공했다는 점에서 중요한 의의를 가집니다.