기술 요약: EAGOR – 전방향(Omni-Direction)에서의 체화된 추론(Embodied reAsoninG)

1. 문제 정의

전방향(360°) 카메라를 장착한 체화된 에이전트(Embodied agents)는 주변 환경에 대한 전체적인 시야를 보유하며, 이는 지도 없는 내비게이션(map-free navigation)이나 능동적 시각 탐색(active visual search)과 같은 작업에서 유리합니다. 그러나 현재의 시각-언어 모델(Vision-Language Models, VLMs)은 일반적으로 ERP(Equirectangular Projection)를 사용하여 360° 데이터를 2D 평면 이미지로 투영하여 처리합니다. 이 방식은 다음과 같은 근본적인 기하학적 결함을 초래합니다:

• 왜곡 및 불연속성: ERP는 위도에 따른 왜곡과 심(seam) 불연속성(이미지의 왼쪽 끝과 오른쪽 끝이 만나는 지점)을 발생시키며, 이는 표준 VLM 아키텍처에 내재된 유클리드 가정을 위반합니다.
• 일관되지 않은 방향 추론: 360° 데이터는 평면상의 위치가 아닌 구체(sphere) 상의 시선 방향을 나타내기 때문에, 이를 2D로 투영하면 에이전트가 이동하거나 회전할 때 일관되지 않은 방향 추정치를 생성하게 됩니다. 예측된 타겟 방향은 특히 심(seam)을 통과할 때 누적된 보간 오류로 인해 시간이 지남에 따라 표류(drift)하는 경향이 있습니다.
• 모션 일관성 부족: 기존 방법들은 방향 추론을 매 프레임 단위의 인식 문제로 취급하여, 에이전트의 자가 운동(ego-motion)과 관련된 타겟 위치에 대한 연속적이고 모션 일관적인 믿음(belief)을 유지하지 못합니다.

핵심 과제는 백본 모델의 태스크별 학습 없이도, 기하학적으로 인지 가능한 전방향 추론을 수행할 수 있는 VLM을 구현하는 것입니다.

2. 방법론: EAGOR 프레임워크

저자들은 EAGOR(Embodied reAsoning in Omni-Direction)를 제안합니다. 이는 훈련이 필요 없는(training-free) 기하학 인지형 프레임워크로, 의미론적 인지(semantic perception)와 기하학적 상태 추정(geometric state estimation)을 분리합니다. EAGOR는 타겟 좌표를 ERP 이미지 공간에서 직접 예측하는 대신, 문제를 **구체 상에서의 재귀적 베이지안 추정(recursive Bayesian estimation on the sphere)**으로 재정의합니다.

핵심 구성 요소:

1. 의미론적 증거 추출 (Semantic Evidence Extraction):

   • 동결된(frozen) VLM(예: Qwen-2.5-VL, Gemma-3)이 현재의 파노라마 관측값 $I_t$와 타겟 쿼리를 처리합니다.
   • VLM은 특정 픽셀 위치에 타겟이 나타날 가능성을 나타내는 ERP 이미지 상의 타겟 조건부 응답 맵 $\ell_t(u, v)$를 생성합니다.
   • 이 2D 응답은 구형 도메인으로 "리프팅(lifted)"됩니다. 픽셀 좌표는 방위각($\theta$)과 고도($\phi$)로 매핑되어 구 $S^2$ 상의 방향 가능도 필드(directional likelihood field) $\ell_t(\omega)$를 형성합니다.
   • 가산적 축적(additive accumulation)을 용이하게 하기 위해, 이 필드는 로그 가능도 필드 $r_t(\omega) = \log(\ell_t(\omega) + \epsilon)$로 변환됩니다.

2. 구면 조화 믿음 필드 (Spherical Harmonic Belief Field, SH-BF):

   • EAGOR는 타겟이 방향 $\omega$에 존재할 누적 로그 사후 확률을 나타내는 지속적인 믿음 상태 $f_t(\omega)$를 유지합니다.
   • 이 믿음은 **구면 조화 함수(Spherical Harmonics, SH)**를 사용하여 표현되며, 이는 $S^2$ 상에서 연속적이고 회전 등변(rotation-equivariant)적인 기저를 제공합니다. 믿음은 다음과 같이 표현됩니다:
     $$f_t(\omega) = \sum_{\ell=0}^{L} \sum_{m=-\ell}^{\ell} c_{\ell m}^{(t)} Y_{\ell}^{m}(\omega)$$
     여기서 $c_{\ell m}^{(t)}$는 SH 계수이며 $L=7$은 대역 제한(bandlimit)입니다.

3. 재귀적 베이지안 업데이트 (Recursive Bayesian Update):
   프레임워크는 관측, 전파, 융합의 루프로 작동합니다:

   • 관측(Observation): 현재의 로그 가능도 $r_t(\omega)$를 SH 기저에 투영하여 관측 계수 $b_{\ell m}^{(t)}$를 얻습니다.
   • 전파(Propagation): 이전 사후 믿음 계수 $c_{\ell m}^{(t-1)}$를 위그너 D-행렬(Wigner-D matrices)($D_{mm'}^{\ell}(R_t)$)을 사용하여 현재 에이전트 프레임으로 회전시킵니다. 여기서 $R_t$는 에이전트의 회전(예: 요 변화량 $\Delta\psi_t$)입니다. 이를 통해 전파된 사전 확률 $\tilde{c}_{\ell m}^{(t)}$를 얻습니다.
   • 융합(Fusion): 새로운 사후 확률은 로그 공간에서 전파된 사전 확률과 현재 관측값을 가산적으로 결합하여 계산됩니다:
     $$c_{\ell m}^{(t)} = \tilde{c}_{\ell m}^{(t)} + b_{\ell m}^{(t)}$$
   • 디코딩(Decoding): 최종적인 에고센트릭(egocentric) 타겟 방향 $\hat{\omega}^*_t$는 믿음 필드의 구면 평균(Fréchet mean)을 계산함으로써 복원되며, 이는 1차 SH 계수로부터 분석적으로 도출될 수 있습니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 식별합니다:

1. 표현 격차 확인: 저자들은 로봇 동작에는 구체 상에서의 모션 일관적인 방향 믿음이 필요하며, 현재의 ERP 기반 표현 방식은 드리프트와 왜곡을 겪기 때문에 이 요구를 충족하지 못한다는 점을 강조합니다.
2. EAGOR 프레임워크: 백본 VLM을 미세 조정(fine-tuning)하지 않고도 정확한 전방향 추론을 가능하게 하는, VLM 출력을 구체 상의 확률적 가능도로 취급하는 훈련 불필요(training-free) 기하학 인지형 프레임워크를 제안합니다.
3. 구면 조화 믿음 필드 (SH-BF): ERP 아티팩트를 피하고 직접적인 재귀적 베이지안 추정을 지원하며, 연속적이고 회전 일관적인 방향 믿음을 전파하기 위한 새로운 표현 방식입니다.
4. 포괄적 검증: 시뮬레이션(Habitat) 및 실제 레그드 로봇(legged robot) 배포를 통한 광범위한 평가를 통해, 기존 베이스라인 대비 내비게이션 및 시각 탐색 작업에서 우수한 성능을 입증했습니다.

4. 실험 결과

EAGOR는 두 가지 벤치마크 데이터셋(HOS, OSR-Bench), 시뮬레이션 내비게이션 작업(Waypoint Following, Map-Free Navigation), 그리고 Unitree-Go2 로봇을 이용한 실제 실험에서 평가되었습니다.

• 능동적 시각 탐색 (HOS & OSR-Bench):

  • EAGOR는 다양한 VLM 백본(3B ~ 12B 파라미터)에 대해 일관되게 베이스라인을 능가했습니다.
  • HOS 데이터셋에서 평균 상대적 이득 **+34.4%**를 달しまいました.
  • OSR-Bench에서는 **+45.6%**의 상대적 이득을 달성했습니다.
  • 특히, 7B 파라미터 모델(Qwen2.5-VL)을 탑재한 EAGOR는 단독 72B 모델 및 12B 모델보다 뛰어난 성능을 보여주며, 기하학적 추론이 모델 크기를 보완할 수 있음을 입로 증명했습니다.
  • 수렴에 필요한 뷰(view)의 수를 1.4배 줄였습니다.

• 지도 없는 내비게이션 (Habitat-Sim):

  • EAGOR는 내비게이션 성공률을 +14.6% 개선했습니다 (베이스라인 82% 대비 94%).
  • 경로 스텝(path steps)을 17.7% 줄였고, 평균 각도 오차(MAE)를 24.5% 감소시켰습니다.
  • 결정적으로, 베스트 베이스라인 대비 시간적 불일치(방향 드리프트)를 6.5배 감소시켜, 심(seam) 교차 및 급격한 회전 중에도 정확도를 유지했습니다.

• 실제 환경 검증:

  • 레그드 로봇에 배치된 EAGOR는 센서 노이즈, 자가 운동, 일시적인 타겟 가려짐 상황에서도 일관된 타겟 방향 믿음을 유지하며, 드리프트 현상을 겪는 ERP 기반 베이스라인보다 우수한 성능을 보였습니다.

• 절제 연구 (Ablation):

  • 대역 제한 $L=7$이 각도 해상도(~25°)와 깁스 현상(Gibbs ringing) 아티팩트 방지 사이의 최적의 균형을 제공함을 확인했습니다.
  • 이 프레임워크는 베이스라인 대비 약 0.6배의 추론 시간 오버헤드만 추가하며, GPU 메모리 증가도 미미합니다.

5. 의의 및 주장

본 논문은 EAGOR가 체화된 AI의 결정적 한계인 '현재 VLM이 360° 환경에서 기하학적으로 일관된 공간 추론을 유지하지 못하는 문제'를 해결한다고 주장합니다. 픽셀 좌표 예측에서 **구형 믿음 추정(spherical belief estimation)**으로 전환함으로써, 이 프레임워크는 에이전트의 움직임 하에서도 방향 추정치가 안정적으로 유지되도록 보장하며, 이는 신뢰할 수 있는 지도 없는 내비게이션과 능동적 탐색의 전제 조건입니다.

저자들은 이 접근 방식이 **훈련이 필요 없다(training-free)**는 점을 강조합니다. 즉, 특정 데이터셋에 대해 재학습이나 미세 조정을 요구하지 않고도 기존 VLM의 성능을 향상시킨다는 것입니다. 이는 "기하학 인지적" 추론이 대규모 시각-언어 모델의 역량을 체화된 환경에서 끌어올릴 수 있음을 보여주며, 더 작은 모델이 수정되지 않은 더 큰 모델보다 뛰어난 성능을 낼 수 있음을 입증합니다.

인정된 한계점:
저자들은 EAGOR가 의미론적 가능도를 얻기 위해 VLM에 의존하므로, 오탐지(false detection), 희귀 타겟, 다중 인스턴스 혼동과 같은 지각 오류에 민리할 수 있다고 언급했습니다. 재귀적 믿음 축적이 일부 모호성을 완화하는 데 도움을 주지만, 시스템의 성능은 궁극적으로 타겟을 올바르게 식별하는 VLM의 능력에 의해 제한됩니다. 향후 연구로는 접지된 탐지(grounded detection) 및 다중 센서 정식화(multi-sensor formulation)를 포함하는 것이 제안되었습니다.