기술 요약: 지연 시간 최적화를 위한 웹 에이전트 계획 및 스케줄링을 위한 에이전트 JIT 컴파일

문제 정의

컴퓨터 사용 에이전트 (CUA) 는 "타코 벨에서 가장 저렴한 품목을 주문한다"와 같은 자연어로 지정된 웹 기반 작업을 클릭, 입력, 스크롤과 같은 도구 호출 시퀀스를 생성하여 자동화합니다. 현재 구현은 일반적으로 각 반복마다 대규모 언어 모델 (LLM) 호출이 필요한 순차적인 검색 - 스크린샷 - 실행 루프를 따릅니다. 이 아키텍처는 다음과 같은 두 가지 주요 한계를 겪습니다:

1. 높은 지연 시간 및 비용: 각 단계에서 LLM 호출이 필요하다는 것은 상당한 실행 지연과 높은 추론 비용을 초래합니다.
2. 정확도 및 오류율: 최첨단 LLM 을 단순하게 적용하면 잘못된 도구 사용 시퀀스 (예: 잘못된 요소 클릭 또는 잘못된 필드에 입력) 및 실행 스케줄링 최적화 부족으로 인해 빈번한 오류가 발생합니다.

성능을 개선하기 위한 기존 시도들 (예: 공격적인 DOM 필터링 또는 소형 모델의 강화 학습) 은 여전히 정적 도구 세트와 순차적 실행에 의존하며, 실행 스케줄의 전체 공간 (병렬성 및 요청 헤지 포함) 을 탐색하거나 도구 호출 간의 비결정적 LLM 호출을 제거하지 못합니다.

방법론: 에이전트 JIT 컴파일

저자들은 고수준 자연어 지시를 계획 합성 시점에 최적화된 실행 가능 코드로 변환하는 에이전트 Just-In-Time (JIT) 컴파일 시스템을 제안합니다. "관찰 - 사고 - 행동" 루프를 실행하는 표준 에이전트와 달리, 이 시스템은 작업을 도구 호출과 추론을 조정하는 정적 코드 그래프로 컴파일하며, 추정 비용이 가장 낮은 변환을 선택합니다. 아키텍처는 세 가지 핵심 구성 요소로 구성됩니다:

1. 불변성 강제 도구 프로토콜

생성된 코드 계획의 정확성을 보장하기 위해, 시스템은 모든 도구가 사전 조건과 사후 조건(상태 불변성) 을 지정하는 프로토콜을 도입합니다.

• 구조: 도구는 실행 전 예상 상태 (pre), 실행 후 보장된 상태 (post), 그리고 디버깅을 위한 선택적 런타임 술어 (pre_check, post_check) 를 정의합니다.
• 검증: 이는 컴파일 시점에 구성적 검증을 가능하게 합니다. 도구 호출은 현재 상태가 그 사전 조건을 만족할 때만 유효합니다. 이 정적 검사는 잘못된 행동 시퀀스로 인한 오류 (예: 상세 페이지로 이동하기 전에 품목 주문 시도) 의 큰 범주를 제거합니다.
• 이점: 이 프로토콜은 지연 시간 - 정확도 파레토 프런티어를 이동시켜 유효한 계획 생성률을 크게 높입니다.

2. 비용 최적화 플래너 (JIT-Planner)

플래너는 여러 개의 후보 코드 계획을 병렬로 생성하고, 도구 프로토콜에 대해 이를 검증한 후 최소 비용 후보를 선택합니다.

• 병렬 생성: 여러 워커가 동시에 LLM 에서 코드 계획을 샘플링합니다.
• CFG 기반 검증: 각 계획은 제어 흐름 그래프 (CFG) 로 변환됩니다. 시스템은 그래프를 탐색하여 상태 흐름을 검증 (단계 $i$의 post 가 단계 $i+1$의 pre 를 만족하는지 확인) 하고 비용을 추정합니다.
• 비용 모델: 비용은 도구 호출 및 AI 평가 (ai_eval) 호출을 기반으로 누적됩니다. 비싼 LLM 호출이 포함된 중첩 루프를 억제하기 위해 중첩 패널티 ($\gamma$) 가 적용됩니다.
• 결과: 플래너는 추정 비용이 가장 낮은 유효한 계획을 선택하며, 종종 불필요한 LLM 호출을 순수 코드 논리로 대체합니다 (예: LLM 에게 묻는 대신 코드에서 최소 가격을 계산).

3. 비용 인지 스케줄러 (JIT-Scheduler)

스케줄러는 학습된 지연 시간 분포에 기반하여 주어진 계획에 대한 최적의 실행 전략을 결정합니다. 세 가지 전략을 평가합니다:

• 직렬: 순차적 실행.
• 병렬: $n$개 워커 간의 작업 병렬화.
• 헤지: $n$개의 중복 워커가 동일한 작업을 실행하고 첫 번째 유효한 결과를 반환하는 예측적 병렬 실행.
• 메커니즘: 몬테카를로 비용 추정을 사용하여, 시스템은 오프라인에서 수집된 특정 DOM 요소의 학습된 지연 시간 분포에서 샘플링합니다. 계획이 상호작용할 요소를 예측하고 각 전략에 대한 예상 지연 시간을 추정하여 평균 지연 시간이 최소인 전략을 선택합니다.

오프라인 캐싱

시스템은 두 가지 캐시를 채우는 오프라인 프로세스에 의존합니다:

1. 플래너 캐시: 실행 트레이스에서 합성된 재사용 가능하고 프로토콜을 준수하는 도구 코드를 고수준 작업에 매핑합니다.
2. 스케줄러 캐시: 역사적 실행 트레이스에서 적합된 페이지 스키마 요소를 지연 시간 분포에 매핑합니다.

주요 기여

1. 불변성 강제 도구 프로토콜: 상태 불변성을 포함하도록 표준 도구 인터페이스를 확장하여 도구 시퀀스의 정적 검증을 가능하게 하고 생성 오류를 줄입니다.
2. 비용 최적화 계획: 병렬 후보를 생성하고 CFG 탐색을 통해 검증하며 최소 비용 실행 경로를 선택하는 플래너를 도입하여 불필요한 LLM 호출을 효과적으로 제거합니다.
3. 비용 인지 스케줄링: 학습된 지연 시간 분포에 대한 몬테카를로 시뮬레이션에 기반하여 직렬, 병렬, 헤지 전략 간에 동적으로 선택하는 스케줄러를 구현합니다.
4. 엔드투엔드 시스템: 이러한 구성 요소를 자연어 작업을 최적화된 실행 가능 코드로 변환하는 JIT 컴파일러로 통합하여 표준 에이전트 루프를 넘어섭니다.

결과

시스템은 다양한 최첨단 LLM 을 사용하여 다섯 개의 웹 애플리케이션 (Dashdish, GitLab, Gomail, Omnizon, Reddit) 의 37 개 작업에 걸쳐 평가되었습니다.

• JIT-Planner 성능:

  • 표준 Browser-Use 베이스라인 대비 10.4 배의 속도 향상을 달성했습니다.
  • Browser-Use 대비 정확도를 +28% 개선했습니다.
  • 비용 추정이 계획을 효과적으로 순위 매긴다는 것을 입증했습니다: 최고 비용과 최저 비용 후보 간의 지연 시간 차이는 5.3 배의 분산을 보였습니다.
  • 불변성 프로토콜은 계획 생성 실패율을 80% 에서 43% 로 낮추었고, 주요 실행 모드를 도구 순서 위반에서 다른 유형으로 전환시켰습니다.

• JIT-Scheduler 성능:

  • OpenAI 의 CUA 대비 2.4 배의 속도 향상과 **+9%**의 정확도 개선을 달성했습니다.
  • 작업별로 최적의 전략을 적응적으로 선택함으로써 고정된 스케줄링 전략 (직렬, 병렬, 헤지) 보다 우수한 성능을 발휘했습니다. 예를 들어, 변동성이 큰 UI 요소 (예: 특정 버튼 찾기) 가 포함된 작업은 헤징의 이점을 받는 반면, 단순한 조회는 직렬 실행의 이점을 받는다는 것을 올바르게 식별했습니다.

• 복잡도 분석:

  • 속도 향상은 작업 카디널리티 (낮음, 중간, 높음) 및 길이에 걸쳐 일관적이었으며, 이는 이점이 작업별 휴리스틱이 아니라 단계별 LLM 추론 제거에서 주로 비롯됨을 나타냅니다.
  • 복잡한 탐색 패턴 (예: Reddit) 을 가진 애플리케이션은 최대 18.9 배의 가장 높은 속도 향상을 보인 반면, 더 간단한 흐름을 가진 애플리케이션은 낮지만 여전히 유의미한 개선을 보였습니다.

중요성 및 주장

이 논문은 에이전트 JIT 컴파일이 컴퓨터 사용 에이전트의 효율성과 신뢰성을 개선하는 유망한 방향을 제시한다고 주장합니다. 에이전트 계획을 컴파일 문제로 취급함으로써 시스템은 다음과 같은 이점을 제공합니다:

1. 계획과 실행의 분리: 탐욕적인 단계별 의사결정을 내리는 대신 런타임 전에 전체 실행 그래프를 최적화할 수 있게 합니다.
2. 비결정성 감소: 상태 불변성을 강제하고 작업을 코드로 컴파일함으로써 실행 중 비결정적 LLM 호출에 대한 의존도를 줄여 정확도를 높입니다.
3. 자원 사용 최적화: 비용 인지 스케줄링을 통해 웹 상호작용의 특정 지연 시간 특성에 적응하여 정적 전략보다 지연 시간과 정확도 간의 균형을 더 효과적으로 맞춥니다.

저자들은 이 접근 방식이 에이전트가 반복적으로 처리할 애플리케이션에 가장 적합하다고 지적합니다. 필요한 캐시를 구축하기 위해 도구 합성 및 트레이스 수집과 같은 오프라인 설정 비용이 필요하기 때문입니다. 그들은 UI 변경 (캐시된 도구를 손상시킬 수 있음) 과 높은 확률적 환경 (예: CAPTCHA) 에 대한 한계를 인정하지만, 불변성 프로토콜이 런타임 감지 및 폴백을 위한 메커니즘을 제공한다고 주장합니다.