💻 computer science

CST-WM: A Causally Structured World Model for Embodied Visual Tracking

이 논문은 잠재 상태에서 로봇의 움직임과 대상 증거를 명시적으로 분리함으로써 동작 유발 환각을 방지하고, 이를 통해 로봇이 폐쇄나 자가 운동과 같은 까다로운 조건에서도 안정적인 시각적 추적과 대상 재획득을 위해 효과적으로 계획할 수 있도록 하는 인과적 구조의 월드 모델인 CST-WM을 소개한다.

원저자: Junyi Hu, Shuaihang Yuan, Yi Fang

게시일 2026-09-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junyi Hu, Shuaihang Yuan, Yi Fang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 북적이는 방을 지나가며 특정 인물을 따라가는 임무를 수행하고 있다고 상상해 보십시오. 목표는 단순해 보입니다. 그 사람을 시야에 유지하고 일정한 거리를 유지하는 것입니다. 하지만 기계에게 이것은 심오한 도전입니다. 로봇은 단순히 현재 보이는 것에 반응하는 것이 아니라, 미래를 예측해야 합니다. 로봇은 자신의 움직임이 다음에 무엇을 보게 될지를 어떻게 변화시킬지 예측해야 합니다. 만약 사람이 기둥 뒤로 걸어간다면, 로봇은 단순히 멈춰 서 있을 수 없습니다. 로봇은 다시 그 사람을 찾기 위해 왼쪽으로 움직일지 오른쪽으로 움직일지를 결정해야 합니다. 이를 위해서는 "내가 왼쪽으로 돌면 어떻게 될까?"와 "내가 오른쪽으로 돌면 어떻게 될까?"라는 가상의 시뮬레이션을 통해 어떤 경로가 사람을 계속 보이게 할 것인지 판단하는 일종의 선견지명이 필요합니다. 핵심적인 어려움은 로봇에게 자신의 행동이 세상을 바꾸고, 세상이 자신이 보는 것을 바꾼다는 점을, 그리고 행동 자체가 마법처럼 사람을 나타나게 만드는 것은 아니라는 점을 가르치는 데 있습니다.

뉴욕대학교 아부다비(NYU Abu Dhabi)의 연구진은 이 문제를 해결하기 위해 새로운 시스템을 개발했으며, 로봇이 타겟을 직접 제어할 수 있다고 착각하는 특정 결함을 해결했습니다. 연구진은 이들의 작업에서 '인과적 환각(causal hallucination)'이라고 부르는 현상을 식별했습니다. 이는 로봇의 예측 모델이 지름길을 학습할 때 발생합니다. 즉, 로봇이 왼쪽으로 회전하면 다음 프레임에서 타겟이 화면 오른쪽에 나타나는 경우가 많다는 것을 발견하고 이를 이용하는 것입니다. 모델은 로봇의 움직임이 카메라의 시점을 변화시켜 타겟을 드러냈다는 것을 이해하는 대신, 회전하는 동작 자체가 타겟을 직접적으로 나타나게 만든다고 잘못 학습합니다. 이는 단기적인 예측에는 잘 작동하지만, 타겟이 숨겨졌을 때는 처참하게 실패하는 미묘한 논리적 오류입니다. 로봇은 단순한 명령만으로 타겟을 소환할 수 있다고 믿고, 장애물을 돌아가려는 노력을 멈춘 채 그저 타겟이 다시 나타나기만을 기다리며 결국 영영 찾지 못하게 됩니다.

이를 해결하기 위해 연구진은 CST-WM, 즉 '인과 구조 세계 모델(Causally Structured World Model)'이라는 시스템을 만들었습니다. 연구진은 로봇의 세계 이해도를 서로 엄격한 순서로 소통하는 세 가지 별개의 분기(branch)로 나누어 이 시스템을 구축했습니다. 첫 번째 분기는 로봇 자신의 움직임과 위치를 추적합니다. 두 번째 분기는 타겟의 시각적 증거, 즉 사람이 보이는지 여부와 화면에서 얼마나 크게 보이는지에 온전히 집중합니다. 세 번째 분기는 일반적인 시각적 장면을 다룹니다. 핵심적인 혁신은 이 분기들이 상호작용하는 방식에 있습니다. 이 시스템은 로봇의 제어 명령이 타겟의 가시성에 간접적으로만 영향을 미칠 수 있도록 설계되었습니다. 명령은 먼저 로봇의 위치를 업데이트해야 하며, 그 후에야 새로운 위치가 타겟의 뷰를 업데이트할 수 있습니다. 모델은 제어 명령이 타겟의 가시성 상태로 직접 뛰어넘는 것을 물리적으로 차단합니다. 이를 통해 로봇은 "내가 움직이고, 카메라가 움직이며, 그 후에 타겟이 보인다"라는 진정한 인과 관계의 사슬을 학습하도록 강제됩니다.

연구진은 로봇이 움직이는 사람을 따라 복잡한 방을 통과해야 하는 복잡한 가상 환경에서 이 접근 방식을 테스트했습니다. 그들은 단순한 반응이나 표준 예측 모델에 의존하는 기존 방식들과 새로운 시스템을 비교했습니다. 결과에 따르면, 새로운 시스템은 특히 사람이 장애물 뒤로 사라지거나 카메라 프레임 밖으로 벗어났을 때 타겟을 시야에 유지하는 능력이 현저히 뛰어났습니다. 타겟을 놓쳤을 때, 새로운 시스템은 타겟을 다시 찾는 속도가 훨씬 빨랐으며 더 안전하고 일관된 거리를 유지했습니다. 로봇이 완전히 가려진 상황에서 회복해야 하는 테스트에서, 새로운 시스템은 약 84%의 성공률을 보인 반면, 차순위 방법은 약 71%의 성공률을 보였습니다. 또한 타겟을 다시 찾는 데 걸리는 시간을 여러 단계 단축했는데, 이는 빠르게 움직이는 환경에서 결정적인 이점입니다.

단순히 더 잘 따라가는 것을 넘어, 이 시스템은 자신의 예측에 대해 더 정직하다는 것을 입증했습니다. 연구진이 로봇의 내부적인 '생각'을 점검했을 때, 새로운 시스템은 기존 모델들과 같은 논리적 오류를 범하지 않는다는 것을 발견했습니다. 모델은 바퀴를 돌리면 숨겨진 사람이 즉시 보일 것이라고 가정하지 않았습니다. 대신, 사람이 보이기 위해서는 로봇이 물리적으로 새로운 위치로 이동해야 한다는 것을 올바르게 시뮬레이션했습니다. 이러한 구조적 정직함 덕분에 로봇이 경로를 계획할 때, 마법 같은 세상이 아닌 현실적인 이해를 바탕으로 행동을 선택할 수 있었습니다. 또한 시스템은 화면 속 인물의 크기만을 사용하여 효과적으로 거리를 추정하는 법을 배웠으며, 미터 단위의 정확한 거리를 측정하는 특수 센서 없이도 이를 수행했습니다. 이를 통해 사람은 움직이는 와중에도 1~3미터 사이의 안전한 추적 거리를 유지하며 속도를 조절할 수 있었습니다.

이 연구는 로봇이 움직이는 타겟을 진정으로 따라가기 위해서는 강력한 예측 엔진 그 이상의 것, 즉 세계가 작동하는 방식과 일치하는 구조가 필요하다는 점을 시사합니다. 로봇의 움직임을 타겟의 가시성과 분리하고 정보가 올바른 경로를 통해 흐르도록 강제함으로써, 연구진은 더 견고하고 신뢰할 수 있는 시스템을 만들어냈습니다. 이 시스템은 여전히 초기 탐지를 위해 탐지기에 의존하며 주로 시뮬레이션에서 테스트되었지만, 결과는 이러한 인과적 구조가 중요한 진전임을 보여줍니다. 이는 로봇에게 미래를 상상하는 방법은 그 상상하는 미래 내용만큼이나 중요하다는 것을 보여줍니다. 로봇이 정신적 지름길을 택하지 못하게 함으로써, 연구진은 로봇이 공유된 세상의 무질서하고 예측 불가능한 현실을 항해할 수 있는 더 나은 기회를 제공했습니다.

기술 요약: CST-WM: 체화된 시각적 추적을 위한 인과적 구조의 월드 모델

1. 문제 정의

체화된 시각적 추적(Embodied visual tracking)은 로봇이 자기중심적 관찰을 통해 움직이는 대상을 추적하면서, 가시성을 유지하고, 추종 거리를 조절하며, 복잡하고 부분적으로 관측 가능한 환경에서 안전을 확보하는 것을 요구한다. 핵심적인 도전 과제는 대상이 명확하게 보일 때가 아니라, 일시적인 폐쇄(occlusion), 시야 드리프트(field-of-view drift), 또는 대상이 방해 요소와 혼동될 수 있는 상황에서 발생한다. 이러한 시나리오에서 로봇은 신뢰할 수 있는 증거가 다시 확보되기 전에 미래의 대상 관측 가능성과 겉보기 크기(apparent scale)에 대해 예측적인 결정을 내려야 한다.

저자들은 기존의 행동 조건부 순차 예측 모델에서 나타나는 특정 실패 모드인 **인과적 환각(causal hallucination)**을 식별하였다. 표준적인 월드 모델에서는 로봇의 제어 행동과 대상 관련 관측 사이의 강한 상관관계로 인해, 모델이 현재의 행동으로부터 대상 증거에 대한 직접적인 인과 효과를 환각할 수 있다. 모델이 로봇의 움직임을 통해 관측을 변화시키는 물리적 메커니ism을 통해 행동이 미래의 대상 증거에 영향을 미치도록 허용하는 대신, 행동 정보를 대상 상태에 직접 주입하는 "지름길(shortcut)"을 택할 수 있다. 이는 추적 지향적 계획(planning)에 있어 잘못된 의미론을 가진 그럴듯한 미래 롤아웃(rollout)을 생성하며, 가시성을 유지하는 행동 시퀀스와 그렇지 않은 시퀀스를 구분하지 못하게 만든다.

2. 방법론: CST-WM

인과적 환각을 해결하기 위해 저자들은 계획 표현(planning representation)에 구조적 제약을 부과하는 CST-WM(Causally Structured World Model)을 제안한다.

2.1 인과적 분해 및 상태 표현

모델은 잠재 상태 $S_\ell$ 을 세 가지 별도의 브랜치로 분해한다:

대상-증거 브랜치 ( $H_\ell$ ): 현재 관측으로부터 유도된 압축된 표현으로, 탐지 신뢰도 점수(GroundingDINO 사용)와 정규화된 대상 영역(겉보기 크기/거리의 대리 지표 역할)으로 구성된다. 결정적으로, 이 브랜치는 완전한 외부 상태 추정치가 아니라 관측 가능성과 규모를 요약한 것이다.
로봇 브랜치 ( $x_\ell$ ): 행동의 이력을 통합하여 표현된 로봇의 운동학적 상태를 나타낸다.
관측 브랜치 ( $Z_\ell$ ): 사전 학습된 VAE를 통해 인코딩된 시각적 잠재 표현이다.

2.2 인과적 구조의 전이(Causally Structured Transition)

핵심 혁신은 대상-증거 브로치로의 직접적인 행동 주입을 방지하기 위한 전이 역학의 인수분해(factorization)이다. 전이는 다음과 같이 정의된다:
$p(H_{\ell+1}, x_{\ell+1}, Z_{\ell+1} | H_\ell, Z_\ell, x_\ell, a_\ell) = p(H_{\ell+1} | H_\ell, Z_\ell, x_\ell) \cdot p(x_{\ell+1} | x_\ell, a_\ell) \cdot p(Z_{\ell+1} | Z_\ell, H_{\ell+1}, x_{\ell+1})$

주요 아키텍처 제약 사항은 다음과 같다:

비누출 제약(Non-Leakage Constraint): 대상-증거 브랜치 $H_{\ell+1}$ 의 업데이트는 이전 상태와 로봇 상태에 의존하지만, 현재 행동 $a_\ell$ 은 명시적으로 제외한다. 수학적으로, $\frac{\partial \hat{H}_{\ell+1}}{\partial a_\ell} = 0$ 이다.
행동 경로(Action Pathway): 행동은 오직 간접적으로만 미래의 대상 증거에 영향을 미친다: $a_\ell \to x_{\ell+1} \to Z_{\ell+1}$ (그리고 이후 관측을 통한 $H_{\ell+1}$ ).
단일 계층 아키텍처(Single-Layer Architecture): 브랜치들은 고정된 순서(대상-증거 $\to$ 로봇 $\to$ 관측)로 업데이트되며, 행동을 포함하는 표현이 대상-증거 업데이트로 들어오는 것을 방지하기 위해 엄격한 마스킹을 적용한다.

2.3 훈련 및 계획

훈련: 모델은 $(O_\ell, a_\ell, O_{\ell+1})$ 튜플에 대해 확산 확률 모델(Diffusion Probabilistic Model, DDPM)을 사용하여 훈련된다. 시뮬레이터 전용 상대 거리 레이블에 의해 감독되는 보조 거리 인식 손실(auxiliary distance-aware loss)이 도입되어, 대상-증거 대리 지표와 실제 거리 사이의 상관관계를 개선한다. 이 감독 신호는 훈련 중에만 사용되며, 테스트 시에는 특권된 기하학적 신호가 제공되지 않는다.
계획: 시스템은 교차 엔트로피 방법(Cross-Entropy Method, CEM)을 사용하는 모델 예측 제어(Model Predictive Control, MPC)를 채택한다. 플래너는 학습된 역학을 사용하여 후보 행동 시퀀스를 롤아웃하며, 대상 가시성( $H_{vis}$ ), 적절한 겉보기 크기( $H_{area}$ ), 행동 유효성 및 안전성에 보상을 주는 가치 함수를 기준으로 점수를 매긴다. 최적의 시퀀스 중 첫 번째 행동이 재귀적 지평(receding-horizon) 방식으로 실행된다.

3. 주요 기여

인과적 환각의 정식화: 본 논문은 행동 조건부 월드 모델에서 제어 신호와 대상 증거를 혼동하는 구조적 실패인 "인과적 환각"을 식별하고 정식화하였다.
CST-WM 아키텍처: 대상-증거 브랜치로의 직접적인 행동 주입을 명시적으로 차단하여, 행동이 관측에 미치는 자가 운동(ego-motion)의 결과로서만 대상 증거가 진화하도록 보장하는 인과적 구조의 월드 모델을 제안하였다.
압축된 계획 지향적 표현: 기하학적 상태의 완전한 복구나 추론 시의 특권된 감독 없이도, 계획을 위해 관측 가능성과 규모를 요약하는 대상-증거 대리 지표(탐지 신뢰도 + 정규화된 영역)를 도입하였다.
포괄적인 평가: EVT-Bench 및 Habitat 3.0에서의 엄격한 평가를 포함하여, 표준 추적, 대상 상실 회복, 교차 데이터셋 전이, 그리고 오프라인 진단(롤아웃 충실도, 계획 가치 일관성, 누출 분석)을 수행하였다.

4. 실험 결과

저자들은 세 가지 설정에 걸쳐 반응형 베이스라인(예: TrackVLA, Uni-NaVid) 및 적응형 월드 모델(예: Navigation World Models)을 대상으로 CST-WM을 평가하였다:

표준 추적: EVT-Bench에서 CST-WM은 가장 높은 성공률(88.7%), 추적률(83.4%), 가장 낮은 충돌률(1.41%)을 달립다. Habitat 3.0에서는 베이스라인 대비 추종률(0.53), 거리 범위 성공(0.70), 에피소드 성공(0.61)을 개선하였다.
대상 상실 회복: 짧은/긴 폐쇄, 시야 외 드리프트, 방해 요소 교차 시나리오에서 CST-WM은 우수한 재획득 성공률(예: 짧은 폐쇄 시 0.84 vs 0.71)과 더 빠른 회복 시간을 보여주었다.
오프라인 진단:
- 롤아웃 충실도: CST-WM은 긴 지평(horizon)에 대해 베이스라인보다 낮은 잠재 예측 오차와 더 높은 대상 가시성 AUROC를 보였으며, 지평이 길어질수록 성능 격차가 벌어졌다.
- 계획-가치 일관성: 모델은 시뮬레이터 유도 후보 시퀀스 순위와 높은 상관관계(Spearman's $\rho$ = 0.68)를 달성하였으며, 이는 미래 행동에 대한 더 나은 비교 평가를 나타낸다.
- 누출 분석: 자코비안 기반 진단을 통해 대상-증거 브랜치로의 직접적인 행동 누출이 거의 제로( $\approx 0.001$ )로 감소했음을 확인하였으며, 반면 베이스라인은 상당한 누출을 보였다.

5. 의의 및 주장

본 논문은 체화된 시각적 추적을 위해 미래 예측 그 자체만으로는 불충분하며, 예측 구조 자체가 대상 증거가 계획에 들어오는 방식과 일치해야 한다고 주장한다.

저자들은 대상 증거가 직접적인 행동 주입 없이 업데이트되도록 인과적 구조를 강제함으로써, 모델이 인과적 환각과 관련된 의미론적 오류를 피할 수 있다고 주장한다. 이러한 구조적 정렬은 더 안정적인 추종, 더 나은 거리 제어, 그리고 폐쇄 상황에서의 더 신뢰할 수 있는 대상 재획득을 가능하게 한다. 결과는 제안된 인수분해가 다운스트림 제어 성능과 상상된 미래의 내부 품질을 모두 향상시킨다는 것을 시사한다.

저자들은 다음과 같은 점을 언급하며 자신들의 주장에 대해 겸허한 태도를 유지한다:

이 방법은 디텍터(GroundingDINO)에 의존하며, 디텍터가 실패하는 경우(예: 심한 블러, 극단적인 시점) 성능이 저하된다.
대상-증거 대리 지표는 미터 단위의 거리 추정치가 아니라 특정 범위(1~3m) 내에서 효과적인 규모 기반 대리 지표이다.
주요 증거는 시뮬레이션(EVT-Bench, Habitat 3.0)에서 오며, 정성적인 실제 환경 결과가 제시되기는 하지만, 대규모 물리적 로봇 통계는 보고되지 않았다.
비누출 제약은 계획 표현을 위한 구조적 요구 사항이지, 외부 휴머노이드 역학의 완전한 인과적 복구를 주장하는 것이 아니다.