Multi-scale Mixture of World Models for Embodied Agents in Evolving Environments

기술 요약: MuSix – 체화된 에이전트를 위한 다중 스케일 혼합 세계 모델 (Multi-scale Mixture of World Models for Embodied Agents)

문제 정의

시각-언어 모델(VLM) 기반의 체화된 에이전트(Embodied agents)는 실제 세계의 비정상적(non-stationary) 환경에서 작동할 때 상당한 어려움에 직면합니다. 최근의 발전으로 지시 이행 능력은 향상되었으나, 이러한 에이전트들은 다중 스케일 추론(저수준의 물리적 역학 및 고수준의 추상적 추론의 통합)과 변화하는 조건에 대한 지속적인 적응 측면에서 어려움을 겪고 있습니다.

저자들은 기존의 혼합 전문가(Mixture of Experts, MoE) 아키텍처를 이 도메인에 적용할 때 발생하는 두 가지 구체적인 한계를 식별했습니다:

1. 혼합의 과제 (The Mixture Challenge): 전통적인 MoE 라우팅은 명시적인 "스케일(scale)" 개념이 결여되어 있습니다. 라우팅 결정이 식별 가능한 스케일에 결합되지 않은 채 잠재 표현(latent representations)을 기반으로 이루어지기 때문에, 테스트 시점에 특정 지식 입도(granularity)를 대상으로 한 타겟 업데이트가 불가능합니다.
2. 진화의 과제 (The Evolution Challenge): 균일한 업데이트 정책은 지식이 노후화되는 서로 다른 속도를 수용할 수 없습니다. 저수준 지식(예: 국소적 역학)은 빈번하게 변하는 반면, 고수준 추상화(예: 규칙)는 안정적으로 유지됩니다. 표준 MoE는 모든 전문가가 동일한 속도로 진화하도록 강제하며, 이는 효과적인 적응을 저해합니다.

방법론: MuSix 프레임워크

본 논문은 **스케일 인지형 혼합 및 진화(scale-aware mixture and evolution)**를 통해 세계 모델을 통합하는 프레임워크인 MuSix를 제안합니다. 핵심 혁신은 **해석 수준 이론(Construal Level Theory, CLT)**에서 영감을 얻은 경험적 거리(experiential distance), 즉 상황적 참신함의 스칼라 척도에 라우팅 결정을 근거하게 하는 것입니다. CLT는 심리적 거리가 인간 추론의 추상화 수준을 결정한다고 상정합니다. MuSix는 현재의 관찰과 축적된 경험 사이의 간극을 연속적인 스케일 공간으로 매핑함으로써 이를 실행에 옮깁니다.

1. 2단계 스케일 기반 라우팅

혼합의 과제를 해결하기 위해, MuSix는 라우팅을 두 단계로 분리합니다:

• 1단계: 메타 라우터 (스케일 결정): 연속적인 메타 라우터($MR$)는 **경험적 거리**($\delta$)를 연속적인 스케일 공간($S$)에 대한 가중치 함수로 매핑합니다.
  • 경험적 거리 ($\delta$): 현재 관찰 임베딩과 에피소드 내 에이전트의 과거 경험의 가중 분포 사이의 마할라노비스 거리(Mahalanobis distance)로 계산됩니다. 높은 $\delta$는 참신함을 나타내며, 낮은 $\delta$는 익숙함을 나타냅니다.
  • 스케일 인지 손실 (Scale-Aware Loss): 손실 함수($\mathcal{L}_{space}$)는 기대 스케일 크기를 $\delta$와 정렬하여, 익숙한 상황은 저스케일 모델(구체적 패턴)로 라우팅하고, 새로운 상황은 고스케일 모델(추상적 일반화)로 라우팅하도록 보장합니다.
• 2단계: 베이스 라우터 (세계 모델 선택): 메타 라우터의 스케일 가중치는 각 스케일별 베이스 라우터 점수와 통합되어, $G$개의 그룹으로부터 상위-$k$개의 세계 모델 서브셋을 선택합니다. 이를 통해 라우팅 결정의 스케일이 명시적으로 확보됩니다.

2. 스케일 내 및 스케일 간 지식 적응

진화의 과제를 해결하기 위해, MuSix는 테스트 시점 훈련(test-time training)을 위한 메커니즘을 도입합니다:

• 스케일 내 적응 (Intra-Scale Adaptation): 지식 증분(예측 오차로부터 유도됨)은 메타 라우터의 출력에 따라 그룹별로 배분됩니다. 결정적으로, **스케일 의존적 망각률(scale-dependent forgetting rates)**이 적용됩니다. 저스케일 그룹은 높은 망각률(빠른 갱신)을 가지며, 고스케일 그룹은 낮은 망락률(안정적인 추상화의 지속성)을 가집니다.
• 스케일 간 적응 (Inter-Scale Adaptation): 게이트형 교차 스케일 전이(gated cross-scale transfer) 메커니즘은 인접한 스케일 간에 지식이 양방향으로 흐를 수 있게 합니다. 게이팅 파라미터는 정보 흐름을 조절하여, 한 수준에서의 업데이트가 계층적 일관성을 유지하면서 인접 수준에 정보를 제공할 수 있도록 합니다.

주요 기여

1. MuSix 프레임워크: 경험적 거리에 근거하여 세계 모델의 동적 혼합 및 진화를 가능하게 하는 다중 스케일 혼합 세계 모델입니다.
2. 2단계 라우팅: 스케일 결정과 세계 모델 선택을 명시적으로 분리하여, 적절한 스케일에서 타겟 업데이트를 가능하게 하는 새로운 라우팅 아키텍처입니다.
3. 적응 메커니즘: 서로 다른 시간적 특성을 존중하는 스케일 내 및 스케일 간 적응 전략을 통해, 일시적인 세부 사항에 대한 빠른 적응과 안정적인 추상화의 보존을 동시에 달 수 있게 합니다.
4. 실증적 검증: 다중 스케일 추론 및 동적 적응 벤치마크를 통한 프레임워크의 효과성 입증.

실험 결과

저자들은 EmbodiedBench(다중 스케일 추론)와 HAZARD(재난 시나리오에서의 동적 적응)에서 MuSix를 평가했습니다.

• EmbodiedBench (Habitat): MuSix는 최신 기술인 SayCanPay 베이스라인(평균 성공률 34.39%) 대비 6.05 퍼센티지 포인트(p.p.) 향상된 성능(40.44%)을 달성했습니다. 특히 복잡한 추론(Cpx) 및 시각적 이해(Vis) 작업에서 상당한 이득을 보였습니다.
• HAZARD (화재/홍수): 화재 시나리오에서 MuSix는 FLARE 대비 1.49 p.p. 향상된 구조 가치(43.71 vs 42.22)를 기록했습니다. 홍수 시나리오에서는 구조 가치가 비슷했으나, MuSix는 피해 비율을 현저히 감소시켜(4.65 vs 6.60–7.49) 베이스라인보다 더 효율적인 행동을 보여주었습니다.
• 실제 로봇 공학: Franka Research 3 로봇 팔 실험에서 MuSix는 평균 성공률 측면에서 가장 강력한 베이스라인(SayCanPay, 56.2% vs 58.4%)과 대등한 성능을 보이면서도, 다양한 작업에 걸쳐 가장 높은 최악의 경우(worst-case) 성능을 달성했습니다.
• 절제 연구 (Ablation Studies): 메타 라우터를 제거했을 때 가장 큰 성능 저하가 발생하여, 2단계 라우팅의 필요성을 확인했습니다. 스케일 의존적 망각 또는 교차 스케일 전이를 비활성화하는 것 또한 일관되게 성능을 감소시켜, 적응 메커니즘의 유효성을 입증했습니다.

의의 및 주장

본 논문은 MuSix가 **스케일 인식(scale awareness)**과 **계층적 진화(hierarchical evolution)**를 도입함으로써 기존 MoE의 한계를 성공적으로 해결했다고 주장합니다. 경험적 거리에 근거한 라우팅을 통해, 에이전트는 다음과 같은 능력을 갖추게 됩니다:

• 주어진 상황에 적합한 추상화 수준을 동적으로 선택합니다.
• 전체 시스템을 방해하지 않고 특정 지식의 입도를 업데이트하여 치명적 망각(catastrophic forgetting)을 완화합니다.
• 국소적 변화에 대한 빠른 적응과 고수준 전략의 안정성 사이의 균로를 맞춥니다.

저자들은 프레임워크의 효과가 특정 세계 모델 아키텍처보다는 라우팅 메커니즘 자체에서 기인하며, 다양한 아키텍처 변형에 걸쳐 견고하게 작동했음을 언급했습니다. 다만, 프레임워크가 기반이 되는 VLM 백본의 한계를 물려받는다는 점과, 다양한 로봇 플랫폼에 걸친 광범위한 검증이 향후 필요한 단계임을 겸허히 인정하고 있습니다.