기술 요약: UESF-Bench 및 SeekFollow-VLA

문제 정의

EVT-Bench와 같은 기존의 인간 추적(human following)을 위한 임보디드 AI 벤치마크는 일반적으로 에피소드 시작 시점에 타겟 인물이 가시 영역 내에 존재한다고 가정합니다. 이러한 단순화는 실제 환경의 핵심 요구사항을 간과합니다. 즉, 에이전트는 처음에 보이지 않는 곳에 있는 언어로 묘사된 타겟을 먼저 찾아낸 다음, 동적인 환경에서 지속적인 추적으로 매끄럽게 전환해야 합니다.

기존 연구들은 인간 탐색(human search)과 인간 추적(human following)을 별개의 작업으로 취급하며, 종종 강력한 환경적 사전 지식이나 명시적인 단서에 의존합니다. 또한, 이들은 상호작용의 연속성, 특히 암시적 단계 전환(implicit phase transitions) 문제를 해결하지 못합니다. 에이전트는 탐색에서 추적으로 언제 전환할지, 그리고 반대로 타겟을 일시적으로 놓쳤을 때 탐색을 재개할지 아니면 국소적 회복(local recovery)을 시도할지를 자율적으로 결정해야 합니다. 본 논문은 **임보디드 시각적 탐색 및 추적(Embodied Visual Seek-and-Follow)**을 하나의 융합된 자연어 지시에 기반하여, 에이전트가 의미론적 유도 탐색, 신뢰할 수 있는 행동 전환, 그리고 방해 요소(distractors) 속에서의 지연된 정체성 그라운딩(identity grounding)을 모두 처리해야 하는 통합된 작업으로 정식화합니다.

방법론: SeekFollow-VLA

이러한 과제를 해결하기 위해 저자들은 통합된 탐색 및 추적을 위해 설계된 VLA(Vision-Language-Action) 프레임워크인 SeekFollow-VLA를 제안합니다.

아키텍처

• 백본(Backbone): 모델은 사전 학습된 VLM인 Qwen3-4B를 백본으로 활용합니다.
• 시각적 인코딩(Visual Encoding): 에고센트릭(egocentric) RGB 관측치를 처리하기 위해 듀얼 타워 시각 인코더(DINO-V3 및 SigLIP)를 사용합니다. 특징(feature)은 통일된 해상도(384×384)로 추출되어 융합됩니다. 세부 사항과 효율성의 균선, 시스템은 슬라이딩 윈도우 메커니즘을 사용합니다: 현재 프레임을 위한 미세한 토큰과 과거 프레임($k=31$)을 위한 거친 토큰을 사용합니다.
• 멀티모달 융합(Multimodal Fusion): 시각적 토큰은 교차 모달리티 프로젝터를 통해 언어 잠재 공간으로 투영되며, 융합된 지시문 토큰과 결합됩니다.

액션 헤드 설계

핵심 혁신은 탐색과 추종 사이의 암시적 전환을 관리하기 위한 세 가지 대안적 액션 헤드 아키텍처를 조사하는 데 있습니다:

1. 싱글 헤드(Single Head): 공유된 MLP가 멀티모달 표현을 웨이포인트(waypoint)로 직접 매핑합니다. 이는 베이스라인 역할을 하지만, 탐색과 추적이라는 서로 다른 목적 사이에서 "모드 혼동(mode confusion)"이 발생할 위험이 있습니다.
2. 단계 인식 라우터가 포함된 듀얼 헤드(Dual Heads with Phase-Aware Router): 두 개의 별도 헤드(탐색 및 추적)가 최종 웨이포인트 예측 목적 함수로부터만 학습된 라우팅 가중치를 사용하여 결합됩니다.
3. 태스크 구동형 라우터가 포함된 듀얼 헤드(Dual Heads with Task-Driven Router - 제안 방식): 이 변형은 라우팅 프로세스에 대한 명시적인 감독(supervision)을 도입합니다. 라우팅 가중치 외에도, 라우터는 그라운드 트루스 단계 레이블($z_T$)에 의해 감독되는 태스크 유형 로짓($g_T$)을 예측합니다.
   • $z_T = 0$ (탐색): 타겟이 처음으로 성공적으로 발견될 때까지 (에이전트로부터 1.7m 이내에 있고 에이전트를 향하고 있는 상태로 정의).
   • $z_T = 1$ (추적): 그 이후.
   • 손실 함수(Loss Function): 훈련 목적 함수는 웨이포인트 예측 손실($L_{wp}$)과 가중치 $\beta_{nav} = 10$이 적용된 보조 단계 인식 교차 엔트로피 손실($L_{stage}$)을 결합합니다. 이는 모델이 모드 간의 올바른 태스크 인지 라우팅을 학습하도록 명시적으로 장려합니다.

주요 기여

1. 태스크 정식화: 본 논문은 임보디드 환경에서 처음에 보이지 않는 언어로 묘사된 타겟을 찾고, 명시적인 단계 신호 없이 지속적인 추적으로 전환해야 하는 통합된 태스크로서 '임보디드 시각적 탐색 및 추적'을 정의합니다.
2. UESF-Bench: 저자들은 143만 개의 샘플과 770개 이상의 환경, 4,800개 이상의 다양한 아바타를 포함하는 대규모 데이터셋인 **통합 임보디드 탐색 및 추적 벤치마크(Unified Embodied Seeking and Following Benchmark)**를 구축했습니다. 이는 단일 인원 및 다수 인원(혼잡한) 시나리오를 모두 다루며, 이 특정 작업에 대한 통합된 평가 표준의 부재를 해결합니다.
3. SeekFollow-VLA 프레框架: 잠재적 단계 추론과 전환 모델링을 가능하게 하여, 탐색과 추종 행동 사이의 모드 혼동을 효과적으로 줄이는 태스크 구동형 라우팅 메커니즘을 특징으로 하는 VLA 프레임워크입니다.
4. 실증적 검증: 광범 한 실험을 통해 태스크 성공률(TSR), 충돌률(CR), 추적 비율(FR), Search SPL 지표를 사용하여 태스크 구동형 듀얼 헤드 설계가 싱글 헤드 및 단계 인식 듀얼 헤드 베이스라인보다 특히 도전적인 다인원 환경에서 성능이 크게 우수함을 입증했습니다.

실험 결과

실험은 TSR, CR, FR 및 Search SPL 지표를 사용하여 UESF-Bench 테스트 세트에서 수행되었습니다.

• 단일 인원 설정:

  • DualHead-TD는 0.35의 TSR을 달성하여, SingleHead(0.04)와 DualHead-PA(0.05)를 크게 앞질렀습니다.
  • 또한 가장 높은 FR(0.92)과 Search SPL(0.53)을 기록했습니다.
  • 결과는 행동적 모호성을 해결하고 탐색 효율성을 높이기 위해 명시적인 태스크 구동형 감독이 필수적임을 나타냅니다.

• 다인원 설정:

  • 방해 요소의 간섭으로 인해 전반적인 성능은 하락했으나, DualHead-TD는 다른 베이스라인들의 0.04와 비교하여 가장 높은 TSR(0.20)을 유지했습니다.
  • DualHead-TD는 Search SPL 0.55를 달성하여, 혼잡한 장면에서도 우수한 타겟 식별 및 탐색 효율성을 보여주었습니다.
  • DualHead-PA가 약간 더 높은 FR(0.85 vs 0.82)을 보였지만, DualHead-TD의 우수한 TSR과 Search SPL은 성공적인 전환과 타겟 회복이 중요한 통합된 태스크에서 그 유효성을 강조합니다.

• 라우팅 역학(Routing Dynamics): 라우터 가중치의 시각화를 통해 Task-Driven Router가 명확한 기능적 분리를 학습했음을 확인했습니다: 탐색 중에는 거의 100%에 가까운 가중치를 할당하고, 타겟 발견 시 추종 헤드로 급격히 전환하며, 그 이후에는 안정성을 유지합니다.

의의 및 주장

본 논문은 UESF-Bench가 임보디드 환경에서 언어 가이드 기반의 통합된 인간 탐색 및 추적을 위한 최초의 대규모 벤치마크라고 주장합니다. 타겟의 초기 가시성 가정을 넘어섬으로써, 본 연구는 더 현실적인 형태의 임보디드 상호작용을 다룹니다.

저자들은 탐색과 추종을 독립적인 작업으로 취급하는 것은 실제 상호작용의 연속성을 포착하지 못한다고 주장합니다. 제안된 SeekFollow-VLA는 명시적인 태스크 구동형 라우팅을 갖춘 통합 프레임워크가 견고한 인간-로봇 상호작용에 필요한 암시적 단계 전환과 지연된 정체성 그라운딩을 효과적으로 관리할 수 있음을 보여줍니다. 결과는 복잡한 임보디드 태스크를 위해, 특히 방해 요소가 있는 환경에서 단계 전환을 명시적으로 모델링하는 아키텍처적 귀납 편향(inductive bias)이 성능에 매우 중요하다는 것을 시사합니다.