기술 요약: cotomi Act

문제 정의

현재의 컴퓨터 사용 에이전트 (CUAs) 는 신뢰할 수 있는 조직 내 동료로 기능하는 것을 방해하는 이중적 한계에 직면해 있습니다. 첫째, 대규모 언어 모델 (LLM) 은 추론 능력이 향상되었음에도 불구하고, WebArena 와 같은 벤치마크에서 인간 기준치에 미치지 못하는 경우가 많으며, 장기간에 걸친 다단계 웹 작업에 필요한 신뢰성 측면에서 여전히 어려움을 겪고 있습니다. 둘째, 그리고 더 중요하게는 기존 에이전트들은 조직적 지식이 부족합니다. 이들은 암묵적 선호도, 미문서화된 워크플로우, 내부 용어, 또는 진행 중인 작업의 현재 상태에 대한 인식이 없이 작동합니다. 이로 인해 에이전트는 빈번한 명확화 질문을 요청하여 효율성을 떨어뜨리거나, 침묵 속에서 추측하여 오류를 범할 위험에 처하게 됩니다. 또한, 업무에 필수적인 지식—즉, 사람들이 실제로 어떻게 작동하는지에 대한 지식—은 정적 저장소에 거의 문서화되지 않아, 검색 증강 생성 (RAG) 만으로는 부족합니다.

방법론

본 논문은 실행을 위한 견고한 **에이전트 스케폴드 (Agent Scaffold)**와 학습을 위한 **행동 - 지식 파이프라인 (Behavior-to-Knowledge Pipeline)**이라는 두 가지 통합된 구성 요소를 통해 이러한 과제를 해결하는 브라우저 기반 에이전트인 cotomi Act를 제시합니다.

1. 에이전트 스케폴드 (실행)

스케폴드는 에이전트의 ReAct(추론 - 행동) 루프를 관리하며, 복잡한 웹 작업을 처리하기 위해 컨텍스트 창과 행동 공간을 최적화합니다. 이는 네 가지 핵심 메커니즘을 활용합니다:

• 적응형 지연 관찰 (Adaptive Lazy Observation): 에이전트는 각 단계에서 전체 접근성 트리를 제공하는 대신, 기본적으로 뷰포트에 표시되는 요소만 관찰하고 필요 시에만 전체 트리를 요청합니다. 이는 정확도를 유지하면서 지연 시간을 크게 단축 (작업당 471 초에서 184 초로 감소) 시킵니다.
• 언어 기반 차분 기반 기록 압축 (Verbal-Diff-Based History Compression): 컨텍스트 창을 비대하게 만드는 원시 과거 관찰 데이터를 유지하는 대신, 시스템은 자연어 설명으로 변경 사항을 대체 (언어적 차분) 하여 구식 기록을 교체합니다. 이는 토큰 비용을 3.8 배 줄이면서도 표준 차분 형식보다 의미적 컨텍스트를 더 잘 보존합니다.
• 거시적 행동 (Coarse-Grained Actions): 행동 공간은 일반적인 상호작용을 여전히 포괄하는 가장 높은 수준으로 추상화됩니다 (예: 픽셀 단위 스크롤 대신 scrollInto(element)). 이는 작업에 필요한 단계 수를 줄여 컨텍스트 오버플로우를 방지합니다.
• 테스트 시간 확장 (Test-Time Scaling): 시스템은 분산을 줄이고 장기간 작업을 처리하기 위해 **최고 N 개 행동 선택 (best-of-N action selection)**과 **작업 분해 (task decomposition, 독립적인 하위 목표를 위한 병렬 하위 에이전트 생성)**를 활용합니다.

2. 행동 - 지식 파이프라인 (학습)

조직적 지식을 획득하기 위해 cotomi Act 는 사용자의 웹 탐색 행동을 수동적으로 관찰하고 이를 구조화된 산출물로 추상화합니다.

• 캡처: 백그라운드 모니터는 사이트 수준의 행동, 탭 전환, 스크린샷을 기록하며, 노이즈를 줄이기 위해 차분 기반 압축을 사용합니다.
• 추상화: LLM 에 의해 구동되는 에이전트형 ETL(추출 - 변환 - 로드) 파이프라인이 이러한 이벤트를 처리합니다. 이는 원시 이벤트를 작업 수준 에피소드로 세분화하고, 이를 구조화된 레코드로 요약하며, 지식 산출물로 집계합니다.
• 공유 지식 작업 공간: 결과 산출물은 사용자와 에이전트 모두 접근 가능한 공유 작업 공간에 저장됩니다. 여기에는 다음이 포함됩니다:
  • 활동 타임라인: 사용자 활동을 기반으로 한 캘린더 뷰.
  • 작업 보드: 에이전트가 상태 업데이트를 제안하고 사용자가 이를 승인하는 공유 데이터베이스.
  • 위키 페이지: 행동에서 추출된 절차적 노트, 규칙 및 관례.
• 개인정보 보호: 시스템은 엄격히 옵트인 (opt-in) 방식이며, 산출물이 작업 공간에 기록되기 전에 개인 식별 정보 (PII) 마스킹이 적용됩니다.

3. 인간 - 에이전트 협업

작업 공간은 "경계 객체 (boundary object)" 역할을 합니다. 에이전트는 지시가 모호하거나 컨텍스트가 필요할 때 search_workspace 도구를 통해 이러한 산출물을 참조합니다. 중요하게도, 이 루프는 양방향입니다: 사용자는 에이전트가 유도한 지식을 검토, 편집, 승인할 수 있어 명시적인 동기화 없이도 현실과의 정렬을 보장합니다.

주요 기여

1. cotomi Act 시스템: 179 개 작업으로 구성된 WebArena 인간 평가 하위 세트에서 **80.4%**의 성공률을 달성한 브라우저 기반 에이전트입니다. 이는 보고된 인간 기준치인 **78.2%**를 상회합니다. 이는 적응형 지연 관찰, 언어적 차분 기록, 거시적 행동, 그리고 테스트 시간 확장의 특정 조합을 통해 달성되었습니다.
2. 행동 - 지식 파이프라인: 사용자의 웹 탐색을 수동적으로 관찰하여 원시 이벤트를 공유 작업 공간 내의 재사용 가능한 지식 산출물 (작업 보드, 위키, 타임라인) 로 점진적으로 추상화하는 새로운 접근법으로, 지속 가능한 학습과 투명한 정렬을 가능하게 합니다.
3. 실증적 검증: 에이전트가 행동에서 유도된 지식을 더 많이 축적할수록 하류 작업의 성공률이 향상됨을 보여주는 통제된 프록시 평가를 통해 관찰을 통한 학습의 유효성을 입증했습니다.

결과

• 실행 성능: WebArena 인간 평가 하위 세트에서 cotomi Act 는 **80.4%**의 성공률을 달성했습니다. 기본 스케폴드 (테스트 시간 확장 없이) 는 76.5% 에 도달했으며, 최고 N 개 선택과 작업 분해를 추가하면 3.9% 의 추가 향상을 보였습니다. 이 성능은 78.2% 의 인간 기준치와 OpAgent(71.6%) 와 같은 이전 최첨단 에이전트들을 능가합니다.
• 지식 영향: WorkArena-L1 을 사용한 통제된 연구에서, 행동 지식의 도메인 커버리지가 증가함에 따라 일반적으로 작업 성공률이 향상되었습니다.
  • 0% 커버리지의 경우, 기준 성공률은 약 51% 였습니다.
  • 100% 커버리지의 경우, 성공률은 최대 +10 퍼센트 포인트까지 향상되었습니다.
  • 연구는 낮은 커버리지에서 노이즈로 인해 원시 궤적이 성능을 저하시킬 수 있음을 지적했으나, 추상화된 형식 (스크립트 및 통찰) 은 안정적으로 유지됨을 확인했습니다.
  • 서비스 카탈로그 도메인의 특정 사례 연구에서는 에이전트가 사용자 행동에서 유도된 48 개의 절차적 스크립트를 획득한 후 성공률이 **약 75% 에서 약 99%**로 급증한 것을 보여주었습니다.

의의

본 논문은 cotomi Act 가 AI 에이전트를 위한 **조직적 기반 (organizational grounding)**의 실용적인 경로를 보여준다고 주장합니다. 표준화된 벤치마크에서 인간 성능을 능가할 수 있는 스케폴드와 일상적인 행동에서 암묵적이고 문서화되지 않은 워크플로우를 학습하는 메커니즘을 결합함으로써, 이 시스템은 "상태 없는 실행기"를 넘어 "상황에 맞는 동료"로 진화합니다. 그 의의는 양방향 루프에 있습니다: 에이전트는 사용자로부터 학습하지만, 사용자는 공유 작업 공간을 통해 에이전트의 지식 베이스를 큐레이션하여 수동 문서화가 필요 없이 자동화가 진화하는 조직적 현실과 정렬되도록 보장합니다.