기술 요약: UNCOM – 탁상 시나리오를 위한 제로샷 컨텍스트 인식 명령 이해

문제 제기

현재 가정용 서비스 로봇은 비전문가 사용자와의 원활한 범용 상호작용 능력이 부족한 경우가 많습니다. 전통적인 로봇은 진공청소와 같은 단일 작업을 수행하는 반면, 원활한 인간 - 로봇 상호작용 (HRI) 은 자연어와 제스처 단서를 결합한 풍부한 다중 모달 인간 의사소통을 이해해야 합니다. 기존 솔루션은 두 가지 주요 병목 현상에 직면해 있습니다:

1. 모놀리식 엔드 - 투 - 엔드 모델: 비전 - 언어 - 행동 (VLA) 아키텍처는 직접적인 입력 - 제어 매핑을 제공하지만 높은 계산 오버헤드, "블랙박스" 의사결정, 그리고 설명 가능성 부족으로 고통받습니다.
2. 모듈식 심볼릭 프레임워크: 투명성은 있지만, 이러한 접근법은 종종 폐쇄 어휘 객체 감지기와 수동으로 코딩된 의미 그래프에 의존하여, 실제 가정 환경에서 발견되는 다양하고 비구조화된 객체로 일반화되는 능력을 제한합니다.

또한 전통적인 시스템은 자연어에서의 모호성 (예: "이것"이나 "저것"과 같은 지시적 참조) 에 직면하며, 작업별 훈련 데이터나 사전 정의된 객체 모델을 광범위하게 필요로 합니다.

방법론

본 논문은 탁상 시나리오에서 제로샷 작동을 위해 설계된 새로운 하이브리드 프레임워크인 UNCOM(명령 이해) 을 제시합니다. UNCOM 은 작업별 훈련 데이터나 사전 정의된 객체 모델에 의존하지 않고 음성, 제스처, 장면 컨텍스트를 통합하여 구조화되고 실행 가능한 지시를 추출합니다.

시스템 아키텍처

이 시스템은 복잡한 하위 작업에 대한 기초 딥러닝 모델과 제스처 감지를 위한 단일 전문 모델을 활용하는 파이썬 기반의 모듈식 파이프라인을 사용합니다:

• 음성 전사: 자동 음성 인식 (ASR) 을 위해 Whisper-large-v3-turbo를 사용합니다.
• 명령 이해: 전사된 텍스트를 객체, 동작, 목표라는 구조화된 의미 요소로 구문 분석하기 위해 **Phi-4 (mini-instruct)**를 사용합니다. 이는 구체적 실체와 지시적 참조 (예: "이것", "저것") 를 구분합니다.
• 제스처 감지: 가리키기 제스처를 감지하기 위해 MediaPipe Hand Landmarker를 사용합니다. 시스템은 검지 끝에서부터 손가락 끝까지의 가리키기 벡터를 정의하고 z 좌표를 사용하여 활성 손을 결정합니다.
• 객체 감지 및 분할:
  • GroundingDINO (tiny): 이름으로 객체를 식별하거나 여러 객체가 설명과 일치할 때 모호성을 해결하는 데 사용되는 오픈 어휘 감지기입니다.
  • Segment Anything Model (SAM): 목표 객체와 목표 위치의 정확한 픽셀 영역을 분할하는 데 사용됩니다.
  • DINOv2: 장면 이해를 지원하기 위해 깊이 추정 및 일반 객체 감지에 사용됩니다.
• 공간 추론:
  • 상대적 목표 (예: "사과 옆") 의 경우, 시스템은 테이블을 분할하고 보로노이 다이어그램을 적용하여 공간을 셀로 분할한 후 점유 맵을 생성합니다. 그런 다음 공간 기술자에 해당하는 비점유 셀을 선택합니다.
  • 지시적 목표 (가리키기만 하는 경우) 의 경우, 용기를 감지하려고 시도하며, 용기가 발견되지 않으면 가장 가까운 빈 보로노이 셀을 선택합니다.

실행

출력은 픽셀 단위 분할 및 3D 좌표를 포함한 구조화된 표현 (객체 - 동작 - 목표) 입니다. 이 데이터는 TIAGo 및 TIAGo++ 로봇에서 **MoveIt!**을 사용하여 시연된 작업 실행 하위 시스템으로 전달되어 픽 - 앤 - 플레이스 작업을 수행합니다. 시스템은 객체의 6DoF 포즈를 계산하며, 복잡한 형태의 제한 사항이 있음을 noted 하되, 알려지지 않은 객체의 경우 중심점 추정으로 대체합니다.

주요 기여

1. 제로샷 하이브리드 아키텍처: 가정용 데이터셋에 대한 미세 조정 없이 다중 모달 명령을 해석하기 위해 기초 모델 (Phi-4, GroundingDINO, DINOv2) 과 전문 제스처 모델 (MediaPipe) 을 결합한 프레임워크입니다.
2. 해석 가능성과 모듈성: 모놀리식 VLA 모델과 달리 UNCOM 은 명령을 구조화된 표현으로 명시적으로 구문 분석하여 투명성을 높이고 심볼릭 로봇 프레임워크와의 통합을 가능하게 합니다.
3. 강건한 모호성 해결: 시스템은 언어적 지시와 가리키기 제스처 및 공간 추론 (보로노이 분할) 을 융합하여 모호성을 효과적으로 해결하며, 다양한 가리키기 스타일과 객체 참조를 지원합니다.
4. 벤치마크 데이터셋: 저자들은 객체 참조, 방해 요소, 혼잡, 그리고 목표 유형 (절대적 대 상대적) 의 변형을 포함하는 22 개의 탁상 시나리오에 걸친 159 개의 비디오로 구성된 데이터셋을 공개했습니다.

결과

이 시스템은 인간 - 로봇 상호작용 시나리오의 실제 데이터셋에서 평가되었습니다:

• 성공률: UNCOM 은 인간 강사가 의도한 객체, 동작, 목표를 올바르게 식별하는 데 82.39% 의 성공률(159 건 중 131 건) 을 달성했습니다.
• 로봇 시연: 시스템은 방해 요소, 여러 유사한 객체, 그리고 지시적 참조를 처리하는 것을 포함한 6 가지 특정 시나리오에 걸쳐 TIAGo 및 TIAGo++ 로봇에서 픽 - 앤 - 플레이스 작업에 성공적으로 배포되었습니다.
• 오류 분석: 주요 병목 현상은 절차적 논리가 아닌 기초 딥러닝 구성 요소에서 확인되었습니다:
  • MediaPipe: 모션 블러에 매우 민감하여 손 감지 누락을 초래했습니다.
  • Whisper: 비원어민 화자 (예: "bowl"과 "ball"을 혼동) 와 관련하여 전사 오류가 간혹 발생했습니다.
  • 비전 모델: GroundingDINO, SAM, DINOv2 는 견고한 성능을 보였으며, 오류는 종종 문맥 단서를 통해 수정 가능했습니다.

의의

본 논문은 UNCOM 이 기초 모델의 유연성과 심볼릭 프레임워크의 설명 가능성 사이의 간극을 메우는 모듈식 제로샷 HRI 접근법의 유효성을 입증한다고 주장합니다. 명령 이해를 실행과 분리함으로써 시스템은 재학습 없이 다양한 로봇 구현체와 환경에 걸쳐 적응할 수 있습니다. 저자들은 현재 성능이 상용 딥러닝 모델의 견고성에 의해 제한되지만, 아키텍처는 확장 가능한 기반을 제공한다고 강조합니다. 향후 작업은 노이즈에 대한 모델 견고성 향상, 언어 지원 확대, 그리고 로봇이 사용자와 명확화를 위해 대화할 수 있도록 모호성 해결 루틴을 통합하는 데 초점을 맞춥니다.