기술 요약: 휴머노이드 시각 탐색을 위한 360° 상상

문제 정의

휴머노이드 시각 탐색 (HVS) 은 구체화된 에이전트들이 특정 객체 (휴머노이드 객체 탐색, HOS) 나 이동 가능한 경로 (휴머노이드 경로 탐색, HPS) 를 찾기 위해 몰입형 360° 파노라마 환경을 능동적으로 탐색하도록 요구합니다. 수동적 지각과 달리, HVS 는 에이전트가 가려진 정보를 드러내기 위해 '머리'(카메라) 를 재배향해야 하는 폐쇄 루프 지각 - 행동 사이클을 요구합니다.

Thinking in 360°(Yu et al., 2025) 와 같은 최신 최첨단 접근법들은 HVS 를 누적된 사고 연쇄 (Chain-of-Thought, CoT) 추론을 사용하는 멀티모달 대규모 언어 모델 (MLLM) 이 주도하는 단일화된 작업으로 취급합니다. 이러한 방법들은 세 가지 주요 병목 현상에 시달립니다:

1. 인지 과부하: 복잡한 3D 공간 이해와 행동 계획을 단일 모델에 결합하면 현재 MLLM 에게 상당한 추론 부담을 초래합니다.
2. 암시적 추측: 공간적 관계를 명시적으로 모델링하지 않으면, 에이전트는 보이지 않는 영역의 배치를 암시적으로 추측해야 하므로 수동적이거나 부정확한 탐색으로 이어집니다.
3. 데이터 확장성: 이러한 단일화된 에이전트를 훈련시키려면 비용이 많이 들고 고품질인 멀티턴 CoT 궤적 주석이 필요하며, 이는 대규모로 큐레이션하기 어렵고 다양하고 자연스러운 (in-the-wild) 시나리오로의 일반화를 방해합니다.

방법론: 분리된 아키텍처

본 논문은 탐색 과정을 확률적 Imaginator(상상자) 와 실행 Actor(행위자) 라는 두 가지 전문화된 구성 요소로 분리하는 Imagining in 360° 프레임워크를 제안합니다.

1. Imaginator (확률적 공간 사전 생성기)

Imaginator 는 누적 추론 체인을 유지하는 대신, 관찰된 영역과 관찰되지 않은 영역의 의미론적 배치를 단일 단계로 예측함으로써 360° 환경을 명시적으로 모델링하도록 설계되었습니다.

• 작업: 제한된 좁은 시야 (NFoV) 관찰과 자연어 지시를 입력으로 받아, Imaginator 는 다음을 포함하는 구조화된 블록을 출력합니다:
  • [관찰됨]: 현재 또는 이전에 가시적이었던 랜드마크.
  • [상상됨]: 보이지 않는 영역에 존재할 가능성이 높은 객체에 대한 확률적 예측 (예: "계단: (-45, -10)").
• 확률적 샘플링: 단일 결정론적 추측 대신, Imaginator 는 온도 샘플링을 통해 여러 공간 가설을 생성합니다. 이는 가려진 환경의 고유한 불확실성을 포착합니다.
• 출력: 공간 사전의 분포를 나타내는 제안 목록 (예: "확인 제안 (φ, µ)") 이 순위가 매겨진 형태로 제공됩니다.

2. Actor (실행 에이전트)

Actor 는 물리적 탐색을 담당하며, 기성 MLLM 이나 미세 조정된 탐색 모델 중 어느 것이든 될 수 있습니다.

• 통합: Actor 는 현재 NFoV 관찰, 과거 기억, 그리고 Imaginator 가 생성한 공간 제안을 입력으로 받습니다.
• 추론: 이러한 사전 지식을 바탕으로 Actor 는 제안된 배치가 시각적 기억과 얼마나 일치하는지 평가하여 추론 체인을 생성합니다.
• 행동: Actor 는 새로운 좌표로의 회전 (Rot) 이나 최종 대상 뷰의 제출 (Sub) 중 다음 행동을 출력합니다.

3. 확장 가능한 데이터 엔진

핵심 혁신 중 하나는 수동 궤적 주석 없이 훈련 데이터를 생성할 수 있는 능력입니다.

• 의사 레이블링: 저자들은 강력한 교사 모델 (Qwen3-VL-235B) 을 활용하여 완전한 360° 파노라마에 레이블을 지정합니다.
• 합성 궤적: 이러한 완전하게 주석이 달린 파노라마에서 합성적으로 궤적을 샘플링하여, 각 인스턴스당 1~8 개의 NFoV 관찰만 노출시키고 50% 의 대상은 시야 밖으로 유지합니다.
• 규모: 이 자동화된 파이프라인은 약 20,000 개의 다양한 장면에서 약 192 만 개의 고품질 단일 단계 공간 추론 샘플을 생성하여, 궤적 수준 CoT 큐레이션의 비용을 우회합니다.

4. 추론 파이프라인

추론 중 Imaginator 는 각 단계당 $K$개의 후보 좌표를 생성합니다:

• 가장 확신 있는 예측을 위한 하나의 탐욕적 앵커 ($T=0$).
• 다양한 가설을 포착하기 위한 $K-1$개의 확률적 샘플 ($T>0$).
• 이러한 절대 좌표는 Actor 를 위한 상대 회전 행동으로 변환됩니다. 온도 감소 일정이 탐색 단계에 적용되어, 시각적 증거가 축적됨에 따라 광범위한 탐색에서 집중된 예측으로 전환됩니다.

주요 기여

1. 분리된 HVS 패러다임: 본 논문은 직관적 공간 상상을 행동 계획에서 분리함으로써 시각 탐색을 재정의합니다. 이를 통해 에이전트는 포괄적인 논리적 체인뿐만 아니라 건전한 공간적 가정에 기반하여 더 능동적이고 자신감 있게 탐색할 수 있습니다.
2. 확률적 Imaginator: 건축 배치와 같은 직관적 공간 사전 (priors) 을 학습하고 확률적 추정으로 Actor 를 안내하는 전문 모델을 도입하여 공간 불확실성에 효과적으로 대비합니다.
3. 확장 가능한 데이터 엔진: 수동 궤적 레이블 없이 약 192 만 개의 샘플로 훈련을 확장할 수 있는 완전 자동화 파이프라인으로, 비싼 전문가 주석 없이도 자연스러운 환경에서 견고한 성능을 가능하게 합니다.

실험 결과

이 프레임워크는 다양한 오픈 소스, 독점, 및 미세 조정된 MLLM 을 대상으로 H*Bench에서 평가되었습니다.

• 성능 향상: 분리된 파이프라인은 단일화된 베이스라인을 크게 능가합니다.
  • Qwen3-VL (235B): HOS 성공률이 **23.62%**에서 **65.04%**로 증가했으며, HPS 는 **21.44%**에서 **38.25%**로 증가했습니다.
  • HVS-3B (RL 미세 조정 베이스라인): Imaginator 와 통합되었을 때 HOS 에서 성공률이 **48.04%**에서 **62.75%**로 급증했습니다.
  • 독점 모델: Gemini-2.5 Pro 는 HOS 에서 55.00% 에서 66.10% 로 개선되었습니다.
• 효율성: 결합된 파이프라인은 검색 분포를 전환하여, 대부분의 검색이 13 단계 내에 수렴하는 반면, 베이스라인은 종종 10 단계 실패 한계에 도달합니다. 추론 지연 시간은 픽셀 수준 상상 베이스라인 (FLUX 등) 의 2030 초 대비 단계당 약 2.5 초로 감소했습니다.
• 절대 실험 (Ablation Studies):
  • 구조화된 배치 컨텍스트를 제거하면 성능이 베이스라인 이하로 떨어지므로, 명시적 전역 공간 모델링의 필요성이 확인되었습니다.
  • 확률적 샘플링 ($T>0$) 이 결정론적 탐욕적 디코딩 ($T=0$) 보다 우수하여 공간 불확실성 포착의 중요성이 입증되었습니다.
  • 확장 법칙은 Imaginator 의 사전 훈련 데이터가 0 에서 192 만 개로 증가함에 따라 단조로운 개선을 보여줍니다.

중요성과 주장

본 논문은 **Imagining in 360°**가 구체화된 에이전트들이 관찰되지 않은 공간에 접근하는 방식을 근본적으로 변화시킨다고 주장합니다. 픽셀 수준 재구성이나 단일화된 CoT 추론에 의존하는 대신 언어 공간에서 공간적 사전 지식을 명시적으로 모델링함으로써, 이 프레임워크는 다음과 같은 이점을 제공합니다:

• 인지 부담 감소: 공간 배치 예측이라는 어려운 작업을 행동 계획에서 분리합니다.
• 확장성 가능: 자동으로 수백만 개의 훈련 샘플을 생성하여 데이터 병목 현상을 해결함으로써, 비싼 전문가 주석 없이도 고성능 HVS 를 접근 가능하게 합니다.
• 견고성 향상: 에이전트가 일반적으로 공간적 불확실성이나 환각으로 인해 실패하는 복잡하고 자연스러운 환경에서 우수한 성능을 입증합니다.

저자들은 현재 프레임워크가 오픈 루프 실행 패러다임 (Actor 가 Imaginator 에 피드백을 제공할 수 없음) 에서 작동하지만, 논리적 행동 계획으로 생성적 공간 사전 지식을 기반으로 하는 보완적 아키텍처를 성공적으로 수립했다고 결론지으며, 이는 휴머노이드 시각 탐색을 위한 확장 가능하고 효율적인 미래 방향을 제시합니다.