기술 요약: OmniAct – 범용 멀티모달 체화된 에이전트(Omnimodal Embodied Agents)의 발전

1. 문제 정의

본 논문은 비구조화된 실제 환경에서 장기적인 시간 지평(temporal horizons) 동안 안정적으로 작동할 수 있는 **지속 가능한 체화된 에이전트(persistent embodied agents)**를 구축하는 근본적인 과제를 다룹니다. 현재의 체화된 시스템들은 다음과 같은 세 가지 결정적인 한계로 인해 까다로운 시나리오에 배치될 때 어려움을 겪습니다.

1. 통합된 액션 공간의 부재: 기존 방식은 사이버 영역의 도구 호출(API, IoT)과 물리적 영역의 조작(로봇 제어, 내비게이션)을 별개의 파이프라인으로 취급합니다. 이러한 분리는 이질적인 도구들의 공동 오케스트레이션을 요구하는 자연스러운 인터리빙(interleaved) 명령을 처리할 때 취약하고 수동으로 제작된 인터페이스를 강제합니다.
2. 무제한적인 컨텍스트 누적: 상호작용 이력을 선형적으로 연결하는 에이전트 프레임워크는 장기 배포 시 컨텍스트가 급격히 증가하는 문제를 겪습니다. 이는 메모리 오버헤드 증가, 중요한 역사적 정보의 손실, 그리고 장기적인 사용자 선호도와 최근 상태 간의 의미론적 충돌을 초래합니다.
3. 오픈 루프 실행 실패: 시각-언어-행동(VLA) 모델이 발전했음에도 불구하고, 이들의 본질적인 오픈 루프 특성은 자율적인 복구를 방해합니다. 감지되지 않은 물리적 실패(예: 물체 잡기 미끄러짐, 내비게이션 오류)는 시스템이 인간의 개입 없이 실행 진행 상황을 검증하거나 재계획을 트리거할 메커니즘이 없기 때문에 돌이킬 수 없는 결함으로 이어집니다.

핵심 문제는 **일상적인 물리적 자율성(everyday physical autonomy)**을 달리는 것이며, 이를 위해서는 단일 작업 흐름 내에서 이질적인 사이버-물리 도구를 조정하고 장기적인 지평에서 물리적 실패로부터 자율적으로 복구할 수 있어야 합니다.

2. 방법론: OmniAct 프레임워크

저자들은 계획(planning), 메모리(memory), 검증(verification)을 전문화된 협력 모듈로 명시적으로 분리하는 계층적 비동기 아키텍처인 OmniAct를 제안합니다. 단일한 엔드 투 엔드(end-to-end) 모델에 의존하는 대신, OmniAct는 밀접하게 결합된 세 가지 구성 요소를 통합합니다.

A. 멀티모달 시맨틱 플래너 (Multimodal Semantic Planner)

이 모듈은 고수준 계획 정책($\pi$)을 인스턴스화합니다. 이 모듈은 멀티모달 입력(음성, 시각, 상태)을 융합하여 다음을 수행합니다:

• 의도 해석: 현재 도구 상태 및 시각적 관찰에 기반하여 모호한 사용자 명령을 접지(grounding)합니다.
• 작업 분해: 장기적인 명령을 실행 가능한 하위 목표(sub-goals)로 나눕니다.
• 스킬 라우팅: 사이버(IoT, 웹 API)와 물리(조작, 내비게이션) 도메인을 모두 아우르는 통합 인벤토리($\mathcal{T}$)에서 적절한 스킬($\tau_t$)을 선택합니다.
• 출력: 단일 단계 내에서 여러 스킬 호출의 병렬 디스patch를 지원하는 구조화된 JSON 명세(specification)를 생성합니다.

B. 비동기 시각적 선점(Asynchronous Visual Preemption)을 통한 폐쇄 루프 실행

VLA 정책의 오픈 루프 한계를 해결하기 위해, OmniAct는 비동기 시각적 선점 엔진을 채택합니다.

• 이중 스트림 실행: 이산적인(discrete) 사이버 명령은 결정론적 반환 코드(return codes)를 통해 검증됩니다. 연속적인 물리 명령은 자체적인 검증 신호 없이 제어 정책으로 전달됩니다.
• 의미론적 검증: 비동기 모니터가 주기적으로 시각 프레임을 샘플링하고 이를 시각-언어 모델(VLM)에 제출하여 실행 진행 상황과 물리적 안전성을 의미론적 수준에서 평가합니다(예: "물체를 여전히 잡고 있는가?", "로봇이 목표를 향해 이동 중인가?").
• 선점 및 재계획: 이상이 감지되면 시스템은 즉시 VLA 실행기를 중단하고, 실패 컨텍스트를 패키징하여 플래너에 제어권을 반환하여 재계획을 수행합니다. 이를 통해 치명적인 실패를 복구 가능한 지연(delay)으로 전환합니다.

C. 적응형 계층적 메모리 (Adaptive Hierarchical Memory)

선형적 성장 없이 장기적인 컨텍스트를 관리하기 위해, 이 프레임워크는 **이벤트 경계 압축(event-boundary compression)**에 의해 구동되는 3단계 메모리 계층 구조를 활용합니다.

1. 감각 메모리 (Sensory Memory): 최근 시각 프레임을 위한 가벼운 FIFO 큐로, 계획 컨텍스트와 분리되어 있습니다.
2. 에피소드 메모리 (Episodic Memory): 상호작용 이력은 의미론적 이벤트 경계(예: 하위 작업 완료)에서 압축됩니다. 원시 관측 시퀀스는 절차적 중복성을 제거하면서 의미적 내용과 상태 전이를 유지하는 컴팩트한 키프레임 요약본으로 응축됩니다. 이를 통해 컨텍스트가 원시 턴 수가 아닌 구별된 의미적 이벤트에 비례하여 성장하도록 하여 하위 선형적(sub-linear) 확장을 달성합니다.
3. 성찰 메모리 (Reflective Memory): 정적 사전 지식(도구 스키마)과 동적으로 축적된 경험을 저장합니다. 실패가 발생하면 시스템은 근본 원인과 교정 전략에 대한 구조화된 기록을 생성합니다. 이러한 성찰은 후속 계획 중에 검색되어, 고립된 오류 복구를 누적된 적응으로 변환합니다.

3. 실험적 평가

프레임워크는 구조적으로 구별되는 두 가지 로봇 플랫폼에서 40개의 실제 장기 작업을 통해 평가되었습니다:

• UR5e: 정밀한 테이블탑 조작을 위한 6-DoF 매니퓰레이터.
• Keenon: 실내 내비게이션을 위한 바퀴형 이동 로봇.
• 환경: 4개의 가전 IoT 기기 및 12개의 가상 도구 API와 협업.

작업은 세 가지 복잡도 수준으로 분류되었습니다:

• 레벨 1: 물리적 작업 전용 (저수준 제어).
• 레벨 2: 사이버-물리 결합 (IoT 협업).
• 레벨 3: 완전한 멀티모달 (음성, API, IoT 및 물리적 실행).

주요 결과

• 성능: OmniAct는 모든 복잡도 수준에서 베이스라인(Direct Policy, SayCan, Code as Policy, RoboBrain2)을 크게 상회하는 성능을 보였습니다. 레벨 3 작업에서, OmniAct는 조작(manipulation)에서 50.0%, 내비게이션(navigation)에서 **54.2%**의 엔드 투 엔드(E2E) 성공률을 달성하여 가장 우수한 베이스라인을 실질적으로 넘어섰습니다.
• 강건성: 프로토콜은 작업 복잡도가 증가함에 따라 성능이 완만하게 저하된 반면, 베이스라인은 급격한 성능 저하를 겪었습니다. 중간 단계의 실패를 감지하고 재계획하는 OmniAct의 능력은 오류의 연쇄 반응을 방지했습니다.
• 확장성 및 효율성:
  • 컨텍스트 성장: 원시 이력 연결이 160k 토큰 이상으로 선형적으로 증가하는 반면, OmniAct의 계층적 메모리는 누적된 이력 길이에 관계없이 거의 평탄한 토큰 소비 프로필(호출당 2.5k–10k 토큰)을 유지했습니다.
  • 제약 조건 충족: 장기 시나리오(10시간 이상, 40k+ 토큰)에서 OmniAct는 **86.67%**의 제약 조건 충족률을 달행하여, 슬라이딩 윈도우(13.33%) 및 원시 이력(66.67%) 방식보다 훨씬 뛰어난 성능을 보였습니다.
• 일반화 가능성: OmniAct는 미드 스케일 오픈 웨이트 모델(예: Qwen3-VL-30B-A3B)을 독점 모델(Gemini-3.1-Pro)의 성능에 필적하도록 격상시켰으며, 이는 추가 학습 없이도 아키텍처 오케스트레이션이 오픈 웨이트와 독점 시스템 간의 격차를 좁힐 수 있음을 입증합니다.

4. 의의 및 주장

본 논문은 지속 가능한 실제 세계의 자율성이 단일한 모델 스케일링을 요구하는 것이 아니라, 책임이 명시적으로 분리된 계층적 비동기 아키텍처를 요구한다고 주장합니다.

• 통합된 사이버-물리 제어: OmniAct는 이산적인 사이버 도구와 연속적인 물리 제어가 단일 이벤트 기반 루프 내에서 통합될 수 있음을 보여주며, 힘 센싱(force sensing) 없이도 이질적인 도구들의 원활한 협업을 가능하게 합니다.
• 장기 자율성을 위한 유계된 컨텍스트: 이벤트 경계 기반 압축과 성찰 메모리를 활용함으로써, 이 프레임워크는 에이전트가 컨텍스트 성장을 제한된 범위 내로 유지하면서도 실패로부터 자율적으로 복구하고 동적인 환경 변화에 적응할 수 있게 합니다.
• 모델 용량 대비 아키텍처 효율성: 결과는 계획, 메모리, 검증의 명시적 분리가 더 지속 가능한 체화된 배포를 위한 더 실행 가능하고 자원 효율적인 경로임을 시사합니다. 프레임워크의 구조화된 오케스트레이션은 미드 스케일 모델이 독점 모델 수준의 성능을 달성할 수 있게 하며, 이는 아키텍처의 명확성이 모델의 용량을 보완한다는 점을 강조합니다.

저자들은 그들의 접근 방식이 현재의 체화된 시스템의 근본적인 간극을 해결하며, 확장된 시간 지평 동안 비구조화된 환경에서 신뢰성 있게 작동할 수 있는 에이전트를 위한 견고한 토대를 제공한다고 결론짓습니다.