A Comprehensive Survey of Agents for Computer Use: Foundations, Challenges, and Future Directions

1. 문제 정의 (Problem)

컴퓨터 사용 에이전트 (ACU) 는 마우스 클릭, 터치 제스처, 키보드 입력 등 저수준의 동작을 통해 소프트웨어를 제어하여 사용자의 자연어 지시를 수행하는 시스템입니다. 최근 대규모 언어 모델 (LLM) 과 비전 - 언어 모델 (VLM) 의 발전으로 ACU 연구가 급격히 가속화되고 상업적 프로토타입도 등장하고 있습니다.

그러나 현재 ACU 는 일상적인 사용에 적용되기에는 성숙도가 부족합니다. 주요 한계점은 다음과 같습니다:

• 일반화 (Generalization) 부족: 동적인 UI 변경, 여러 애플리케이션 간의 전환, 복잡한 UI 환경 (예: 스프레드시트) 에서 오류가 빈번하게 발생합니다.
• 계획 및 추론 능력 제한: 복잡한 다단계 작업을 신뢰성 있게 실행하는 능력이 부족합니다.
• 학습 비효율성: 학습 비용이 높고, 시뮬레이션에 의존하거나 방대한 레이블 데이터가 필요합니다.
• 연구와 실제 환경의 괴리: 연구용 벤치마크는 단순화된 환경을 가정하는 반면, 실제 배포 환경은 동적이고 비정형적입니다.

2. 방법론 (Methodology)

저자들은 87 개의 ACU 관련 연구 논문과 33 개의 관련 데이터셋을 분석하기 위해 반구조화된 수집 프로세스를 사용했습니다.

• 데이터 수집: 2018 년부터 2024 년까지의 논문 (피어 리뷰 및 프리프린트 포함) 을 대상으로 키워드 검색과 눈덩이 표본 추출 (Snowballing) 기법을 적용했습니다.
• 선정 기준: 딥러닝 기반이어야 하며, 수동 조언이 아닌 자율적인 실행이 가능해야 합니다. (게임 플레이, 서버 제어, 코드 생성 에이전트, 소프트웨어 테스트 등은 제외)
• 분석 프레임워크: 기존 지능형 에이전트 이론 (Russell & Norvig, Sutton & Barto) 을 기반으로 **3 차원 분류 체계 (Taxonomy)**를 구축하여 문헌을 체계화했습니다.

3. 핵심 기여: 3 차원 분류 체계 (Key Contributions: Taxonomy)

논문의 가장 큰 기여는 ACU 를 다음과 같은 세 가지 관점에서 분류하는 통합 프레임워크를 제시한 것입니다 (그림 1, 4 참조):

1. 도메인 관점 (Domain Perspective): 에이전트가 작동하는 환경 (Web, Android, PC) 과 해당 환경의 인터페이스 특성 (HTML, 터치스크린, 윈도우 GUI) 을 분석합니다.
2. 상호작용 관점 (Interaction Perspective): 에이전트와 환경 간의 **관찰 공간 (Observation Space)**과 **행동 공간 (Action Space)**을 정의합니다.
   • 관찰: 스크린샷 (이미지), HTML/접근성 트리 (텍스트), 간접 정보 (네트워크 트래픽 등).
   • 행동: 마우스/키보드 좌표, UI 요소 직접 접근, 작업 맞춤형 명령, 실행 가능한 코드 생성.
3. 에이전트 관점 (Agent Perspective): 에이전트의 내부 구조와 학습 방식을 분석합니다.
   • 아키텍처: 기반 모델 (Foundation Agents, LLM/VLM 기반) vs 전문화 모델 (Specialized Agents, 커스텀 네트워크).
   • 정책 (Policy): 무기억 (Memoryless), 히스토리 기반 (History-based), 상태 기반 (State-based).
   • 학습 전략: 사전 학습 (Pre-training), 환경 학습 (RL, 행동 복제), 에피소드 개선 (In-context learning, 계획).

4. 주요 결과 및 발견 (Results & Findings)

87 개의 논문과 33 개의 데이터셋을 분석한 결과, 다음과 같은 트렌드와 6 가지 주요 연구 격차 (Research Gaps) 를 발견했습니다.

주요 트렌드:

• 전문 에이전트에서 기반 모델 에이전트로의 전환: 강화학습 (RL) 중심에서 LLM/VLM 기반의 추론 중심 에이전트로 패러다임이 이동 중입니다.
• 관찰 공간의 변화: 텍스트 (HTML 등) 기반 관찰에서 이미지 (스크린샷) 기반 관찰로 전환되고 있습니다.
• 행동 복제 (Behavioral Cloning) 의 증가: RL 대신 인간 행동 데이터를 학습하는 방식이 증가하고 있습니다.

6 가지 주요 연구 격차 (Limitations):

1. 불충분한 일반화: 구조적으로 일관성 없는 관찰 (예: 비현실적으로 정제된 HTML) 에 의존하여 실제 환경에서 성능이 저하됨.
2. 비효율적인 학습: 학습 비용이 높고 특정 환경에 적응하는 데 어려움이 있음.
3. 제한된 계획 능력: 복잡한 다단계 작업을 계획하고 실행하는 능력이 부족함.
4. 낮은 벤치마크 복잡도: 기존 벤치마크는 실제 인식 능력을 평가하지만, 작업의 복잡도 (인과적 의존성 등) 는 부족함.
5. 비표준화된 평가: 연구 간 비교가 불가능한 다양한 평가 지표 사용.
6. 연구와 실제 환경의 괴리: 연구 가정 (정적 환경) 과 실제 배포 조건 (동적, 비정형 환경) 간의 불일치.

5. 제안 및 미래 방향 (Recommendations & Future Directions)

이러한 격차를 해결하기 위해 저자들은 다음과 같은 6 가지 전략적 방향을 제안합니다:

1. 시각적 관찰과 저수준 제어: 일반화를 향상시키기 위해 HTML 과 같은 텍스트 입력 대신 **일관된 시각적 입력 (이미지)**과 마우스/키보드 저수준 제어를 우선시해야 함.
2. 적응형 학습: 정적 프롬팅을 넘어선 비용 효율적이고 확장 가능한 학습 전략 (예: 자기지도 학습 기반 미세 조정) 개발 필요.
3. 효과적인 계획 및 추론: 추론 중심 LLM(예: OpenAI o1) 의 발전과 신경 - 심볼릭 (Neuro-symbolic) 계획 알고리즘 통합을 통한 장기적 계획 능력 강화.
4. 현실적이고 복잡한 벤치마크: 실제 인식 능력과 높은 작업 복잡도 (인과적 의존성, 긴 시퀀스) 를 모두 포착하는 데이터셋 구축.
5. 표준화된 평가 기준: 작업 성공률 (Task Success Rate) 을 기반으로 한 표준 평가 프로토콜 채택.
6. 실제 배포 조건과의 정렬: 연구 가정과 실제 환경 (동적 UI, 프라이버시, 안전성) 간의 차이를 해소하는 연구 수행.

6. 의의 (Significance)

이 논문은 ACU 분야가 가진 분산된 연구들을 통합된 분류 체계로 묶어, 기술에 중립적인 관점에서 전체 지형을 파악할 수 있게 했습니다.

• 이론적 기여: 지능형 에이전트 이론을 컴퓨터 사용 도메인에 적용하여 공통된 어휘와 분석 프레임워크를 제공했습니다.
• 실용적 기여: 현재 ACU 기술이 직면한 근본적인 한계 (일반화, 계획, 평가 등) 를 명확히 지적하고, 실용적이고 강력한 범용 에이전트를 개발하기 위한 구체적인 로드맵을 제시했습니다.
• 향후 영향: 이 조사는 연구자들이 서로 다른 접근법 (RL, LLM, 비전 모델 등) 을 비교하고 상호 보완하여 차세대 컴퓨터 사용 에이전트의 성숙도를 높이는 데 기여할 것입니다.