기술 요약: TAVIS – 모방 학습을 위한 자아 중심 능동 시선 및 예측적 시선 벤치마크

문제 제기

시각-운동 조작을 위한 모방 학습 (IL) 이 급격히 발전해 왔으나, 대부분의 기존 벤치마크와 방법은 고정된 제 3 자 시점 또는 광각 카메라에 의존합니다. 최근 독립적인 시스템들이 자체 시선을 제어하는 정책 (능동 시선) 이 조작 성능을 향상시킨다는 것을 입증했음에도 불구하고, 이 분야에는 공유된 평가 인프라가 부재합니다. 현재 벤치마크 (예: LIBERO, RLBench, CALVIN) 는 고정된 카메라를 전제로 하며, 능동 시선을 통제된 변수로 분리할 수 없습니다. 또한, 기존 능동 시선 아티팩트는 종종 특정 실제 로봇 설정에 하드웨어적으로 고정되어 있어 시스템 간 비교를 방해합니다. 결과적으로, 커뮤니티는 능동 시선이 어떤 작업 유형에서, 어떤 조건 하에서 무엇을 기여하는지 체계적으로 정량화할 수 없습니다. 또한, 현재 어떤 벤치마크도 학습된 정책이 **예측적 시선 (anticipatory gaze)**을 획득하는지 측정하지 않습니다. 이는 의도를 신호하기 위해 손 움직임에 앞서 시선이 이동하는 인간과 같은 행동으로, 인간 - 로봇 상호작용 (HRI) 에서의 가독성을 위한 핵심 차원입니다.

방법론

저자들은 IsaacLab과 IsaacLab-Arena를 기반으로 구축된 시뮬레이션 기반 평가 인프라인 TAVIS(Tilburg Active Vision Imitation Learning) 를 소개합니다. TAVIS 는 두 가지 보완적인 작업 스위트와 두 가지 인간형 몸통 구현체 (GR1T2 및 Reachy2) 를 통해 능동 시선의 역할을 분리하도록 설계되었습니다.

1. 작업 스위트

• TAVIS-Head(전역 탐색): 전역 탐색, 혼란 해소, 의도 신호를 위해 머리 방향 전환 (팬/틸트 목) 이 필요한 다섯 가지 작업을 포함합니다. 작업에는 conditional-pick(신호 카드를 보는 것), wait-then-act(시간적 모니터링), clutter-pick-cube, clutter-pick-lift, 그리고 multi-shelf-scan이 포함됩니다.
• TAVIS-Hands(국소 가림): 가림으로 인해 머리 움직임만으로는 부족하여 손목 장착 카메라가 필요한 세 가지 작업을 포함합니다. 작업에는 peeking-box(상자의 열린 면 결정), occluded-reach(스크린 뒤로 도달), 그리고 blocked-clutter-pick-cube(머리 카메라가 가려진 상태에서 물체 위치 찾기) 가 포함됩니다.

2. 데이터 수집 및 프로토콜

• 시연: 약 2,200 개의 에피소드가 Meta Quest 3 를 사용한 1 인칭 원격 조정을 통해 수집되었습니다. 운영자는 로봇의 팔과 목 (시선) 을 동시에 제어합니다.
• 쌍을 이룬 기록: 핵심적으로, 모든 에피소드는 머리 장착 카메라(능동) 와 고정 작업 공간 카메라(수동) 를 동시에 기록합니다. 이는 시연, 장면 배치, 궤적 등 모든 다른 요소를 일정하게 유지하면서 카메라 모드만이 변수인 쌍을 이룬 비교를 가능하게 합니다.
• 분할 할당: 벤치마크에는 일반화 및 기억에 대한 강인성을 테스트하기 위해 분포 내 (ID) 분할과 분포 외 (OOD) 분할 (ood-spatial은 물체 배치용, ood-init-pose는 로봇 초기화 자세용) 을 포함합니다.

3. 평가 원시 요소

TAVIS 는 세 가지 특정 평가 축을 도입합니다:

• Headcam vs. Fixedcam: 동일한 궤적에서 능동 시선과 수동 시선을 사용하는 정책 성능의 직접적인 비교.
• GALT(Gaze-Action Lead Time, 시선 - 행동 선도 시간): 인지 과학 및 HRI 에 기반한 새로운 지표입니다. 이는 머리가 최종 고정 ($t_{head}$) 에 도달하는 시간과 잡기 완료 ($t_{hand}$) 사이의 시간 간격을 정량화합니다. 양의 GALT 는 예측적 시선을 나타냅니다. 이 지표는 명령된 동작 (고유 수용감) 에서만 파생되므로 실제 로봇 평가로 이식 가능합니다.
• ID/OOD 분할: 보간과 외삽을 구분하기 위해 능동 시선으로 확장된 LIBERO-Pro 패러다임.

주요 기여

1. TAVIS 벤치마크: 두 가지 작업 스위트, 두 가지 로봇 구현체, 그리고 통합된 19 차원 표준 동작 공간을 갖춘 구성 가능한 플랫폼입니다. LeRobot v3.0 형식으로 약 2,200 개의 쌍을 이룬 헤드캠/고정캠 시연 에피소드를 공개합니다.
2. 새로운 평가 원시 요소:
   • 능동 시선의 이점을 분리하기 위한 쌍을 이룬 헤드캠 대 고정캠 프로토콜.
   • 로봇 학습과 인지 과학/HRI 문헌 간의 격차를 해소하는 예측적 시선을 정량화하는 운동학적 지표인 GALT.
   • 일반화를 스트레스 테스트하기 위한 통제된 ID/OOD 분포 분할.
3. 기선 분석: Diffusion Policy와 $\pi_0$(시각 - 언어 - 행동 모델) 를 사용한 실험이 능동 시선 IL 의 첫 체계적 비교를 제공합니다.

실험 결과

저자들은 TAVIS 에서 다중 작업 및 단일 작업 정책을 훈련하고 다음과 같은 결과를 보고했습니다:

• 능동 시선의 이점은 작업 조건부입니다: 능동 시선은 일반적으로 성능을 향상시키지만, 이득은 균일하지 않습니다. TAVIS-Head 에서 헤드 장착 카메라는 고정 카메라보다 성능이 우수했습니다 (예: GR1T2 의 conditional-pick에서 +28 퍼센트 포인트). 그러나 작업 공간이 이미 완전히 관찰 가능한 작업에서는 이득이 미미하거나 부정적이었습니다 (예: GR1T2 의 wait-then-act에서 -23pp 의 퇴보). 헤드 카메라가 구조적으로 정보가 없는 TAVIS-Hands 에서는 손목 카메라가 필수적이었으며, ID 설정에서 70~77% 의 성공률을 달성했습니다.
• 다중 작업 훈련: 다중 작업 정책은 단일 작업 기선보다 우수했으며, 특히 TAVIS-Hands 스위트에서 그랬습니다. 이는 능동 시선이 작업 간 공유 표현의 혜택을 받음을 시사합니다.
• 분포 변화에 대한 민감성: 정책은 통제된 OOD 변화 하에서 급격히 저하되었습니다. TAVIS-Head 의 경우, 성공률은 ood-init-pose 교란 하에서 43.0%(ID) 에서 6.6% 로 떨어졌습니다. 특정 OOD 시나리오에서는 헤드 장착 카메라가 고정 카메라보다 저하가 더 심하여, 자세 변화에 대한 능동 시선 정책의 취약성을 강조했습니다.
• 예측적 시선 획득: 명시적인 GALT 최적화 없이 모방을 통해만 훈련된 정책들이 예측적 시선을 획득했습니다. 학습된 정책의 중앙값 GALT 는 인간 원격 조정자 기준 (약 23 초의 선도 시간) 과 유사했으며, 대부분의 작업에서 편차는 약 710% 이내였습니다. 이는 시선과 행동의 시간적 결합이 고품질 모방의 발현적 속성임을 시사합니다.

중요성 및 주장

이 논문은 TAVIS 를 능동 시선 연구의 현재 병목 현상을 극복하기 위한 필수 인프라로 위치시킵니다. 통제된 변수를 갖춘 공유 벤치마크를 제공함으로써, 이전에는 서로 다른 하드웨어 및 작업 정의로 인해 비교할 수 없었던 다양한 시스템의 공정한 비교를 가능하게 합니다.

저자들은 TAVIS 가 다음을 입증한다고 주장합니다:

1. 능동 시선은 유익하지만 보편적인 업그레이드가 아닌 작업 조건부라는 점.
2. 현재 IL 정책은 특히 능동 시선에 의존할 때 분포 변화 하에서 취약하다는 점.
3. 순수 모방만으로도 인간 행동을 반영하는 예측적 시선 패턴을 학습할 수 있으며, 이는 가독성 있는 로봇 에이전트 훈련을 위한 원격 조정 데이터의 사용을 검증한다는 점.

이 벤치마크는 확장 가능하도록 설계되어, 자아 중심 능동 시선의 한계를 더 깊이 탐구하기 위해 새로운 로봇, 작업, OOD 축 (예: 시각적 질감, 장면 수준의 변화) 을 추가할 수 있습니다.