기술 요약: X-OmniClaw

문제 정의

대형 언어 모델 (LLM) 의 진화는 자율적 작업 수행이 가능한 멀티모달 대형 언어 모델 (MLLM) 로의 전환을 향해 나아가고 있습니다. Doubao Phone 과 같은 기존 솔루션은 안드로이드 환경에서 앱 간 오케스트레이션의 공학적 실현 가능성을 입증했으나, 사용자 정의 로직과 커스터마이징에 대한 심층적인 제어는 종종 부족합니다. 반면, OpenClaw 과 같은 프레임워크는 강력하고 조종 가능한 실행을 제공하지만, 모바일 상호작용에 필요한 동적이고 실시간인 컨텍스트와 단절된 채 PC 측 실행에 중점을 두고 있습니다. 더 나아가, 현재 모바일 에이전트 아키텍처는 주로 RedFinger, Wuying 과 같은 클라우드 중심 패러다임에 의존하며, 에이전트는 가상화된 원격 환경에서 작동합니다. 이러한 접근 방식은 사용자의 실제 로컬 하드웨어 (센서, 카메라), 시스템 구성 및 개인 데이터와의 단절을 초래할 뿐만 아니라, 최종 사용자의 거버넌스와 커스터마이징 가능한 실행 프레임워크에 대한 필요성을 해결하지 못합니다.

방법론

X-OmniClaw 는 안드로이드 생태계를 위해 특별히 설계된 통합형 엣지 네이티브 모바일 에이전트를 도입합니다. 클라우드 중심 모델과 달리, 이의 핵심 로직은 사용자의 로컬 장치에 완전히 상주하며, 스마트폰을 멀티모달 데이터 스트림을 위한 영구 인터페이스로 활용합니다. 이 시스템은 Omni Perception, Omni Memory, Omni Action이라는 세 가지 공동 설계된 모듈이 긴밀하게 결합된 스택 위에 구축되었습니다.

1. Omni Perception (통합 멀티모달 입력)

이 모듈은 시스템의 감각 입력 역할을 하며, 화면 내 UI 상태, 실제 세계의 시각적 컨텍스트, 음성 입력이라는 세 가지 도메인을 통합합니다.

• 통합 입력 (Unified Ingress): 사용자 UI 상호작용, 시스템 위젯, 마이크 입력, 예약된 작업, 원격 게이트웨이 등 다양한 트리거를 단일 파이프라인으로 통합합니다. 저전력 상태에서도 예약된 작업을 위한 깨어남 경로를 유지하기 위해 안드로이드의 AlarmManager를 활용합니다.
• 통합 인식 (Integrated Perception): 카메라 스트림, 화면 투사, 실시간 음성 전사를 캡처하는 디커플링된 스트리밍 파이프라인을 사용합니다. 오디오 간섭을 처리하기 위해 장치 내 적응형 음향 에코 제거 (AEC) 기능을 포함합니다.
• 장면 기반 의도 이해: 비전 - 언어 모델 (VLM) 이 시각적 장면을 사용자 쿼리와 함께 해석합니다. 이를 통해 원시 입력을 구조화된 의미적 의도로 확장합니다. 쿼리가 장면에서 직접 답변할 수 있는 경우 즉시 응답하고, 그렇지 않으면 에이전트 루프를 위한 구조화된 형식으로 요청을 분해합니다.

2. Omni Memory (런타임 및 장기 컨텍스트)

이 모듈은 단기 작업 기억과 장기 개인 지식을 통합하여 작업 연속성과 개인화를 보장합니다.

• 작업 기억 (Working Memory): 여러 턴과 앱 전환에 걸쳐 스크린샷, 압축된 의미적 관찰, 실행 상태를 포함한 멀티모달 런타임 컨텍스트를 유지합니다. 이를 통해 에이전트는 컨텍스트를 잃지 않고 작업을 재개할 수 있습니다.
• 장기 기억 (Long-Term Memory): 갤러리 사진, 상호작용 궤적과 같은 로컬 개인 데이터에서 멀티모달 정보를 추출하여 영구적인 기억 아티팩트와 사용자 프로필로 정제합니다. 이러한 정보는 원시 이미지 대신 사진 내 객체와 장면을 식별하는 것과 같은 컴팩트하고 구조화된 의미 기록으로 변환됩니다.
• 기술 - 도구 조율: 기억 생성 (동기화, 요약) 과 소비 (검색, Q&A) 는 분리됩니다. 민감한 정보를 삭제하기 위해 메모리 기록 전에 안전 필터링 단계가 수행됩니다. 사용자는 기억 활성화 및 프로필 주입에 대한 명시적인 통제를 유지합니다.

3. Omni Action (하이브리드 그라운딩 및 실행)

이 모듈은 안드로이드 인터페이스의 이질성을 처리하기 위해 구조적 XML 메타데이터와 시각적 인식을 결합하여 작업을 실행합니다.

• 하이브리드 UI 이해: 시스템은 신뢰할 수 있을 때 XML 신호를 활용하지만, 구조적 단서가 약하거나 모호한 경우 (예: 광고가 많은 인터페이스) 장치 내 모델을 통한 시각적 그라운딩과 OCR 로 백업하는 동적 전략을 사용합니다.
• 행동 복제 및 궤적 재생: 원샷 실행 대신 시스템은 사용자가 재사용 가능한 '기술 (skills)'을 생성하도록 사용자 탐색을 기록합니다.
  • 복제 (Cloning): 사용자의 궤적 (예: "특정 비디오 템플릿으로 이동") 의 문자적 클릭이 아닌 의미적 의도를 캡처합니다. dumpsys 인트로스펙션을 통해 deeplink 및 intent 파라미터를 추출하여 불필요한 UI 재생을 우회합니다.
  • 재생 (Replay): 기술이 호출될 때, 시스템은 캡처된 deeplink 또는 의도를 사용하여 직접 목표 상태로 이동하려고 시도합니다. 직접 진입이 실패할 경우, 페이지를 복구하기 위해 다단계 백업 전략 (예: 태스크 스택 복원) 을 사용합니다.

주요 기여

• 엣지 네이티브 아키텍처: X-OmniClaw 는 클라우드 호스팅 가상 머신에서 장치 내 실행으로 패러다임을 전환하여 로컬 센서, 개인 데이터, 시스템 구성에 직접 접근하면서도 프라이버시를 유지합니다.
• 통합 인식 - 실행 프레임워크: UI 상태, 실제 세계 비전, 오디오를 단일 일관된 루프로 통합하여 분리된 스크린샷 기반 자동화를 넘어섭니다.
• 하이브리드 그라운딩 전략: 구조적 XML 과 시각적 인식을 결합함으로써 전통적인 방법이 실패하는 복잡하고 시각적으로 혼란스러운 모바일 환경에서 강력한 상호작용을 달성합니다.
• 궤적 복제 실행: 시스템은 행동 복제 및 deeplink 추출을 통해 복잡한 사용자 탐색을 재사용 가능한 고수준 기술로 변환하여 정밀한 직접 접근 실행을 가능하게 하고 취약한 단계별 재생에 대한 의존도를 줄입니다.

결과 및 시연

이 논문은 시스템의 능력을 검증하는 세 가지 시나리오를 제시합니다:

1. 실세계 코파일럿 어시스턴트:
   • 카메라 기반 실행: 에이전트가 카메라를 통해 제품을 식별하고 쇼핑 의도를 추론한 후, deeplink를 사용하여 타겟 앱 (예: 타오바오) 을 열고, VLM 기반 읽기를 통해 가격, 평점과 같은 구조화된 데이터를 스크롤하며 추출합니다.
   • ScreenAvatar 실행: 떠다니는 동반자가 실시간 화면 상태를 지속적으로 해석하고 실행 전략을 업데이트함으로써 긴 체인의 다단계 작업 (예: 일련의 문제 해결) 을 실행합니다.
2. 적극적인 개인화 서비스:
   • 기반 원터치 비디오: 시스템은 유휴 시간 동안 사진을 의미 기억으로 능동적으로 조직화합니다. 음성 명령이 들어오면 테마에 맞는 자산을 검색하고 deeplink를 사용하여 비디오 편집 앱 (CapCut) 으로 직접 이동한 후, 수동 탐색 없이 사진을 일괄 선택하여 비디오를 생성합니다.
3. 행동 복제 및 궤적 재생:
   • 인스턴트 포털: 시스템은 사용자가 복잡한 탐색 경로 (예: 미트안 내 특정 플래시 세일 페이지 도달) 를 기술로 복제할 수 있게 합니다. 이후 쿼리는 캡처된 deeplink 또는 백업 복원 방법을 통해 직접 실행을 트리거하여 다중 페이지 탐색을 우회합니다.

중요성 및 주장

저자들은 X-OmniClaw 가 차세대 모바일 네이티브 개인 비서를 위한 실용적인 아키텍처 청사진을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 격차 해소: 아키텍처 실행과 모바일 네이티브 자율성을 연결하여 에이전트가 디지털 작업을 위해 실제 세계 컨텍스트를 활용할 수 있게 합니다.
• 효율성 및 신뢰성 향상: 행동 복제와 하이브리드 그라운딩을 활용함으로써 다양한 모바일 중심 환경에서 상호작용 효율성과 작업 신뢰성을 개선합니다.
• 프라이버시 및 통제: 엣지 네이티브 설계는 클라우드 신원 불필요를 가능하게 하고 원시 데이터를 로컬에 유지하여 프라이버시 및 사용자 거버넌스에 대한 우려를 해소합니다.
• 개방형 연구: 이 프로젝트는 학술 연구를 위해 수행되었으며, 커뮤니티 주도 개발을 장려하기 위해 모든 코드와 자산을 오픈소스할 것을 약속합니다.

이 논문은 현재 시스템이 기존 프레임워크에서 발견되는 제어 가능성 및 투명성 문제를 해결하지만, 향후 작업은 자기 진화 실행 궤적, 동적 기억 진화 (의미적 통합 및 선택적 망각), 그리고 최적화된 장치 - 클라우드 시너지에 초점을 맞출 것이라고 결론짓습니다.