Hierarchical Policies from Verbal and Egocentric Human Signals for Natural Human-Robot Interaction

문제 정의

현재 인간-로봇 상호작용(HRI)을 위한 로봇 정책은 인간의 의도를 전달하기 위해 거의 전적으로 언어 지시에 의존하고 있습니다. 언어는 유연하지만, 인간 의사소통의 전체 스펙트럼을 포착하기에는 부족할 때가 많습니다. 자연스러운 상호작용에서 인간은 언어적 요청을 구체화하기 위해 시선(eye gaze), 가리키는 제스처, 진행 중인 활동과 같은 비언어적 신호에 자주 의존합니다. 언어에만 의존하는 것은 사용자에게 매우 상세하고 장황한 설명(예: "초록색 렌치의 왼쪽에 위치한 육각형 끝부분이 있는 금속 프로파일을 주세요")을 강요하며, 이는 인지적 부담을 주고 부정확할 수 있습니다. 반대로, 기존의 비언어적 접근 방식은 모듈형 파이프라인을 통해 처리될 때 일시적이거나 약한 신호(예: 짧은 시선 처리)를 처리하는 데 어려움을 겪는 경우가 많습니다. 핵심 과제는 실시간으로 연속적인 언어 및 비언어적 신호를 결합하여 의도를 추론하고 행동을 자연스럽게 실행할 수 있는 로봇 프레임워크를 개발하는 것입니다.

방법론: EDITH 프레임워크

저자들은 인간의 1인칭 시점(에고센트릭 컨텍스트), 시선, 그리고 음성을 로봇의 제어 정책에 통합하도록 설계된 로봇 프레임워크인 EDITH를 제시합니다. 이 시스템은 하드웨어 구성과 계층적 정책 아키텍처라는 두 가지 주요 구성 요소로 이루어져 있습니다.

1. 하드웨어 시스템
EDITH는 인간 사용자가 착용하는 Project Aria 안경을 활용합니다. 이 안경은 다음을 스트리밍합니다:

• 에고센트릭 컨텍스트 ($C^{ego}_t$): 1인칭 RGB 이미지.
• 시선 좌표: 비디오 프레임 위에 투영된 실시간 아이 트래킹 데이터.
• 음성: API를 통해 언어 지시문($\ell_t$)으로 전사된 오디오.
  이러한 신호들은 타임스탬프를 통해 로봇의 고유 수용 감각 상태 및 카메라 관측값($o_t$)과 동기화되어 정렬된 멀티모달 스트림을 생성합니다.

2. 계층적 정책 아키텍처
인간 신호의 풍부함과 노이즈를 처리하기 위해, EDITH는 고수준 플래너($\pi_h$)와 저수준 실행기($\pi_l$)로 구성되고 비동기 작업 큐($Q$)에 의해 연결된 계층적 정책을 채용합니다.

• 고수준 정책 ($\pi_h$): 시각-언어 모델(VLM)인 Gemini-3.1-Flash-Lite를 사용하여 구현되었습니다.

  • 입력: 인간의 에고센트릭 컨텍스트의 슬라이딩 윈도우를 처리합니다. 입력은 시선 마커가 프레임 위에 오버레이되고 음성이 시간 정렬된 캡션으로 추가된 비디오 클립으로 렌더링됩니다.
  • 기능: $\pi_h$는 인간의 의도를 추론하고 이를 일련의 하위 작업(subtasks)으로 분해합니다.
  • 출력: 각 하위 작업은 세밀한 지시문(예: "빨간색 손잡이가 있는 드라이버를 집으세요")과 키프레임($C^{key}$)의 쌍으로 구성됩니다. 키프레임은 비언어적 신호(예: 시선 고정 또는 가리키는 제스처)가 가장 명확하게 표현된 입력 스트림 내의 특정 프레임입니다. 이는 언어만으로는 해결할 수 없는 모호함을 시각적으로 구체화하여 의도를 확립합니다.
  • 메커니즘: 하위 작업은 작업 큐 $Q$에 추가됩니다. 의도가 감지되지 않으면 큐는 변경되지 않습니다.

• 저수준 정책 ($\pi_l$): 사전 학습된 시각-언어-행동(VLA) 모델($\pi0.5$)을 미세 조정하여 구현되었습니다.

  • 입력: 로봇의 현재 관측값($o_t$), 큐의 헤드에 있는 하위 작업 지시문, 그리고 관련 키프레임을 받습니다.
  • 기능: $\pi_l$은 저수준 로봇 행동($a_t$)과 완료 확률($p_t$)을 예측함으로써 하위 작업을 실행합니다.
  • 메커니즘: $p_t$가 임계값을 초과하면 하위 작업은 큐에서 제거되고 다음 작업이 실행됩니다.

3. 학습 전략

• 데이터 수집: 인간 연기자(Aria 안경 착용)가 로봇 텔레오퍼레이터와 상호작용하는 시연 데이터를 수집합니다. 텔레오퍼레이터는 인간의 멀티모달 신호에 따라 요청을 수행합니다. 궤적은 하위 작업으로 분할되며 세밀한 지시문, 키프레임, 완료 확률과 함께 주석이 달립니다.
• 모달리티 드롭아웃(Modality Dropout): 저수준 정책이 하나의 모달리티에만 의존하는 것(예: 텍스트가 충분하다는 이유로 키프레임을 무시하는 것)을 방지하기 위해, 저자들은 학습 중에 모달리티 드롭아웃 전략을 사용합니다. 동일한 확률로 다음 중 하나를 수행합니다: (i) 두 모달리티를 모두 유지하거나, (ii) 지시문을 불충분한 버전으로 교체하거나(키프레임에 의존하도록 강제), (iii) 키프레임을 빈 이미지로 교체합니다(지시문에 의존하도록 강제).

주요 결과

저자들은 세 가지 도전적인 HRI 작업인 머핀 서빙(Muffin-Serving), 텀블러 분류(Tumbler-Sorting), **도구 전달(Tool-Passing)**에서 EDITH를 평가했습니다. 모든 작업에서 언어 지시는 의도적으로 불충분하게 설정되었으며, 로봇이 비언어적 단서를 해석해야 했습니다.

• 성능: EDITH는 평균 **성공률(SR) 59.7%**와 **작업 진행도(TP) 84.7%**를 달연했습니다.
• 베이스라인 비교:
  • 언어 전용 베이스라인(엔드 투 엔드 $\pi^{lang}_l$ 및 계층적 $\pi^{lang}_h + \pi^{lang}_l$)은 평균 SR이 6.5% 미만으로 낮은 성능을 보였습니다.
  • 키프레임 메커니즘 없이 에고센트릭 컨텍스트를 사용하는 엔드 투 엔드 정책($\pi^{ego+lang}_l$)은 일관성 없는 성능을 보였으며, 특히 인간의 주의가 간헐적일 때(예: 도구 전달) 크게 실패했습니다.
• 절제 연구(Ablation Studies):
  • 키프레임을 제거했을 때 성공률이 약 50% 하락하여, VLM의 환각(hallucination)과 모호한 문구 생성을 방지하기 위한 시각적 근거(grounding)의 필요성을 입증했습니다.
  • 에고센트릭 컨텍스트를 제거했을 때(로봇 뷰 키프레임만 사용) 시차(parallax) 문제로 인해 약 34% 하락했습니다. 이는 가리키는 제스처가 로봇의 관점에서는 모호하지만 인간의 관점에서는 명확하기 때문입니다.
• 강건성: EDITH는 인간이 주의가 분산되었을 때(예: 휴대폰을 확인하는 경우)에도 성능을 유지한 반면, 엔드 투 엔드 베이스라인은 성능이 크게 저하되었습니다.
• 사용자 연구: 16명의 참가자를 대상으로 한 연구에서 EDITH는 언어 전용 베이스라인에 비해 지시 작업 부하(정신적 요구, 노력, 좌절감)를 유의미하게 줄였습니다 ($p < 0.001$). 사용자들은 상세한 언어적 설명보다 짧은 발화와 제스처를 통해 의도를 전달하는 것이 훨씬 쉽다고 느꼈습니다.

의의 및 주장

이 논문은 EDITH가 비언어적 신호를 언어 지시와 함께 활용함으로써 자연스러운 인간-로봇 상호작용을 가능하게 한다는 가능성을 보여준다고 주장합니다. 주요 기여는 다음과 같습니다:

1. 에고센트릭 신호의 통합: 텍스트 기반 인터페이스의 한계를 넘어, 로봇 행동을 구체화하기 위해 연속적인 1인칭 뷰와 시선을 성공적으로 포착하고 활용합니다.
2. 계층적 설계: 의도 추론(고수준)과 행동 실행(저수준)의 분리, 그리고 키프레임의 사용을 통해, 모듈형 파이프라인이나 엔드 투 엔드 모델이 어려움을 겪는 노이즈가 많고 일시적인 비언어적 신호를 효과적으로 처리합니다.
3. 사용자 부담 감소: 사용자가 자연스러운 비언어적 단서에 의존할 수 있게 함으로써, 로봇과 소통하는 데 필요한 인지 부하를 크게 낮춥니다.

저자들은 윈도우 기반 처리에 따른 지연 시간(latency)과 학습 데이터와 신체적 특성(예: 키)이 크게 다른 사용자에 대한 일반화 능력 저하 등의 한계를 인정하며, 향-다양한 데이터 수집 및 실시간 스트리밍 VLM에 대한 후속 연구를 제안합니다.