기술 요약: PHILIA – 지능형 로봇과의 장기적 물리적 공존에 대한 고찰

문제 정의

본 논문은 인간과 지능형 로봇 사이의 **장기적 물리적 공존(long-term physical coexistence)**을 달aging하는 과제를 다룹다. 최근 범용 및 특화된 로봇 정책의 발전으로 로봇의 역량은 확장되었으나, 정책 실행(policy execution)만으로는 진정한 지능형 로봇 동반자를 구현하기에 불충분하다. 현재 배치된 시스템들은 종종 로봇 전용 인터페이스를 통한 고립된 명령 실행에 의존하며, 이는 이질적인 로봇, 메모리, 사용자 인터페이스의 원활한 통합이 필요한 멀티 로봇 환경이나 장기적 공존 모델로 확장하는 데 한계가 있다.

나아가, 로봇의 역량은 근본적으로 서로 다른 시간적 및 의미론적 척도에서 작동한다:

• 저빈도, 고의미(Low-frequency, high-semantic): 언어 상호작용, 계획, 메모리, 의도 이해.
• 고빈도, 저수준(High-frequency, low-level): 인지, 내비게이션, 조작, 안전 필수 제어.

기존 패러다임은 이러한 계층 간의 분리에 어려움을 겪으며, 사용자 인터페이스나 로봇 정책과 같은 특정 구성 요소를 개선할 때 전체 시스템을 재설계해야 하는 경우가 많다. 저자들은 지속적인 "제어 평면(control plane, 의도, 메모리, 오케스트레이션 담당)"과 "로봇 로컬 런타임(robot-local runtimes, 실시간 실행 담당)"을 분리하는 아키텍처를 제안하며, 이를 통해 이질적인 형태(embodiment)를 가진 로봇들 전반에 걸쳐 구성적인 개선을 가능하게 한다.

방법론: PHILIA 아키텍처

저자들은 **로봇 게이트웨이 추상화(robot gateway abstraction)**를 중심으로 구축된 멀티 로봇 에이전트 아키텍처인 PHILIA를 소개한다. 이 시스템은 저빈도의 에이전트 추론과 고빈도의 로봇 실행을 분리하도록 설계되었다.

1. 시스템 아키텍처

PHILIA는 3계층 아키텍처를 채택한다:

• 사용자 인터페이스(User Interfaces): 상호작용을 위한 메시징, 음성 및 웹 애플리케이션.
• 에이전트 제어 평면(Agent Control Plane): 의도 이해, 메모리 검색, 도구 사용, 작업 구성 및 액터 해소(actor resolution)를 담당하는 지속적인 의미론적 계층. 이 계층는 완전히 의미론적 수준에서 작동하며, 저수준의 모터 명령 대신 구조화된 역량 요청(capability requests)을 방출한다.
• 로봇 로컬 게이트웨이(Robot-Local Gateways): 플랫폼별 미들웨어, 정책 및 제어 로직을 캡슐화한다. 이들은 구현 세부 사항을 숨기면서 압축된 고수준 역량 집합(관측, 작업 실행, 내비게이션, 음성, 상태 모니터링)을 노출한다.

2. 핵심 설계 추상화

• 로봇 게이트웨이 추상화: 에이전트 지능과 로봇별 구현을 분리하는 역량 중심 인터페이스. 각 게이트웨이는 지원되는 역량을 설명하는 런타임 매니페스트를 게시한다. 이를 통해 에이전트 제어 평면을 수정하지 않고도 새로운 로봇이나 정책을 통합할 수 있다.
• 구성적 시스템(Compositional System): 아키텍처는 사용자 인터페이스, 메모리 시스템, 로봇 형태, 정책 백엔드를 독립적인 모듈로 취급한다. 어떤 계층에서의 발전이라도 안정적인 역량 경계 뒤에서 통합될 수 있다.
• 교차 계획-실행(Interleaved Planning–Execution): 장기적 요청은 로봇과 비로봇 동작을 아우르는 워크플로우로 분해된다. 실행은 인지와 교차하며, 중간 관측 결과가 후속 결정을 위한 정보로 활용된다. 단순하고 제한된 요청(예: 정지 명령)은 명시적인 계획 없이 직접 실행된다.

3. 메모리 및 컨텍스트

• 에이전틱 메모리(Agentic Memory): OpenClaw의 마크다운 기반 프레임워크를 바탕으로 구축되었으며, 인간이 읽을 수 있는 파일에 지속적인 사용자 사실 및 선호도를 저장한다. 메모리는 작업 계획을 위한 의미론적 컨텍스트를 제공하기 위해 온디맨드로 검색되지만, 저수준 로봇 동작을 직접 제어하지는 않는다.
• 정책 메모리(Policy Memory): 장기적 과업에 대한 마르코프 결정 과정(MDP)의 한계를 해결하기 위해, PHILIA는 두 가지 메커니즘을 통해 정책에 역사적 컨텍스트를 주입한다:
  1. 고정 윈도우 역사적 액션 토큰: 마지막 128 타임스텝의 고유 수용 감각 데이터를 압축한다.
  2. 시각적 궤적 주입: 로봇의 기본 카메라 뷰에 과거 그리퍼 궤적을 투영하여 시각적 관측값에 시간적 이력을 직접 임베딩한다.

4. 정책 실행 및 훈련

시스템은 정책을 하나의 역량으로 취급한다. 다음을 활용한다:

• 파운데이션 모델(Foundation Models): 단순 조작을 위한 제로샷 실행기.
• 지도 미세 조정(SFT): 숙련된 데모를 사용하여 정교한 동작이 필요한 작업 수행.
• 오프라인 강화 학습(Offline RL): 실패 및 복구 상태에서의 정책 개선을 위해 어드밴티지 조건부 사후 훈련(advantage-conditioned post-training)을 사용한다. 이는 프레임 수준의 진행 신호에 대한 어드밴티지 추정기를 훈련하고, 액션 청크의 레이블 불일치를 해결하기 위해 청크 인식 이진화(chunk-aware binarization)를 적용하는 과정을 포함한다.
• 매끄러운 실행: 비동기 추론과 액션 청크 실행 간의 시간적 불일치를 완화하기 위해 훈련 시 실시간 청킹 및 런타임 궤적 필터링을 활용한다.

5. 내비게이션 및 안전

• 의미론적 내비게이션: 에이전트는 의미론적 장소 이름(예: "주방")에 대해 추론하며, 매핑, 위치 추정 및 경로 계획은 로봇 로컬 런타임 내에 캡슐화되어 유지된다.
• 안전 엔벨로프(Safety Envelope): 물리적 동작은 명시적인 실행 게이트를 통해 중재된다. 제어 평면은 게이트웨이 상태를 기반으로 권한 부여 및 준비 상태 확인을 강제한다. 액터 범위의 작업 중재(actor-scoped task arbitration)를 통해 로봇당 한 번에 하나의 동작 변경 역량만 활성화되도록 보장한다.

실험적 검증 및 결과

저자들은 대표적인 유즈케이스와 디스패치 벤치마크를 통해 Astribot S1 로봇에서 아키텍처를 검증한다.

1. 역량 기반 디스패치(Capability-Grounded Dispatch)

시스템은 4가지 의도 클래스(robot_task, robot_query, robot_control, non_robot)에 걸친 483개의 발화 세트를 7개의 서로 다른 언어 모델을 사용하여 평가했다.

• 라우팅 신뢰도: 경량 바이너리 게이트를 통해 모든 모델에서 F1 ≥ 0.96 및 재현율(recall) ≥ 0.98을 달성했다.
• 디스패치 정확도: 프런티어 모델(예: Claude 시리즈)은 로봇 요청에 대해 89~94%의 top-1 스킬 매칭 정확도를 기록했으며, 비로봇 발화에 대해서는 100%의 거부율을 보였다.
• 지연 시간(Latency): 5단계 계층형 라우팅 아키텍처(regex → 로컬 분류기 → 결정론적 라우터 → 그라운디드 라우터 → 에이전트 실행)는 정확도와 지연 시간의 균형을 맞춘다. 대부분의 단순 의도는 밀리초 단위로 해결되며, 복잡한 요청은 더 무거운 모델(예: Claude-opus-4.6를 사용한 전체 라우팅 시 p50 지연 시간 3.6초)을 사용한다.

2. 대표적 유즈케이스

논문은 물리적 행동에 에이전트 추론을 접지(grounding)하는 시스템의 능력을 입증한다:

• 추론 기반 행동(Reasoning-Grounded Action): 에이전트는 장면 관측과 외부 지식(예: 음식 카테고리, 칼로리 수치)을 결합하여 정책 실행(예: 카테고리나 칼로리 함량에 따라 음식 정리)을 가이드한다.
• 메모리 기반 행동(Memory-Grounded Action): 시스템은 장기적인 사용자 선호도(예: 아침 식사 습 습관)를 검색하여 정책을 다시 학습하지 않고도 작업 실행을 가이드한다.
• 멀리 로봇 협업(Multi-Robot Coordination): 단일 에이전트가 독립적으로 등록된 게이트웨이에 작업을 할당함으로써 여러 로봇을 제어한다 (예: "Alice는 테이블을 치우고, Bob은 쓰레기 봉투를 들어 올려").
• 플러그 앤 플레이 정책 실행(Plug-and-Play Policy Execution): 시스템은 에이전트 인터페이스를 수정하지 않고도 서로 다른 정책(예: Lumo-2 로봇의 "배낭 싸기")을 성공적으로 호출한다.

주요 기여

본 논문은 네 가지 주요 기여를 주장한다:

1. 에이전트-런타임 분리 아키텍처: 저빈도 의미론적 추론과 고빈도 로봇 실행의 분리를 통해, 이질적인 형태 전반에 걸쳐 확장 가능한 장기 운영을 가능하게 한다.
2. 로봇 게이트웨이: 에이전트 지능과 로봇별 구현을 분리하는 역량 중심의 추상화로, 로컬 실행 스택을 수정하지 않고도 다양한 로봇에 대해 의미론적 추론과 메모리가 일반화될 수 있도록 한다.
3. 구성적 시스템 설계: UI, 메모리, 형태, 내비게이션 및 정책의 발전이 독립적으로 통합되어 사용자 경험의 누적적 향상을 가져올 수 있는 프레임워크를 제공한다.
4. 실제 환경 검증: Astribot S1 로봇에 대한 아키텍처 시연을 통해, 로봇 로컬 정책이 안정적인 역량 계약을 유지하면서 지속적으로 개선될 수 있음을 보여준다.

의의 및 주장

저자들은 PHILIA를 기존의 VLA 정책이나 내비게이션 스택을 대체하는 것이 아니라, 이들을 단일 어시스턴트 정체성 아래에서 결합하는 **통합 런타임 계약(unifying runtime contract)**으로 포지셔닝한다.

• 확장성 및 진화: 이 아키텍처는 특정 하위 시스템(예: 더 나은 정책 또는 새로운 UI)의 개선이 전체 시스템의 재설계 없이 통합될 수 있는 "구성적" 사용자 경험을 가능하게 한다.
• 안전 및 제어: 에이전트를 구조화된 역량 요청으로 제한하고 저수준 안전 체크를 로봇 로컬 런타임 내에 유지함으로써, 자연스러운 상호작용의 풍부함을 유지하면서도 물리적 안전을 보장한다.
• 미래의 공존: 이 연구는 지능형 로봇이 어떻게 사람, 기계, 환경에 걸쳐 인지를 분산하며 장기적인 일상적 공존의 신뢰할 수 있는 개인화된 파트너가 될 수 있는지 탐구하기 위한 초대장이다.

저자들은 본 연구가 대규모 통제 벤치마킹보다는 아키텍처 설계와 대표적인 유즈케이스에 집중하고 있다는 점을 언급하며 한계를 인정했다. 향후 연구 방향으로는 장기적 신뢰성 정량화, 멀티 유저 권한 부여 평가, 그리고 S1 형태를 넘어선 크로스 플랫폼 일반화 검증 등을 꼽았다.