Eye-Tracking-Driven Control in Daily Task Assistance for Assistive Robotic Arms

기술 요약: 보조 로봇 팔의 일상 과업 지원을 위한 시선 추적 기반 제어

문제 정의
현재의 시선 추적 기반 보조 로봇 팔 제어 시스템은 3D 시선 추정 정확도와 복잡한 다중 객체 환경에서의 사용자 의도 해석 측면에서 상당한 어려움에 직면해 있다. 전통적인 방식은 종종 객체에 대한 사용자의 머리 위치를 추정하는 데 의존하는데, 이는 머리의 움직임, 안경 흘러내림, 그리고 보정 오류에 취면하기 쉽다. 또한, 여러 가지 일상 과업을 구분하고 고정밀 3D 시선 추적 없이도 견고하게 객체를 선택할 수 있도록 보장하는 것은 여전히 어려운 과제이다. 잘못된 예측은 상호작용의 좌절과 시스템에 대한 신뢰도 저하를 초래할 수 있다. 따라서 머리 추적에 대한 의존도를 낮추면서도 중증 신체 장애인이 독립적으로 일상 과업을 선택하고 수행할 수 있게 하는 제어 프레임워크가 필요하다.

방법론
저자들은 객체 국지화(localization)의 관점을 사용자의 시점에서 로봇 장착 카메라( "eye-in-hand" 구성)로 전환하는 공유 제어(shared-control) 프레임워크를 제안한다. 이 설계는 사용자의 위치에 대한 3D 추정의 필요성을 제거하여 머리 움직임으로 인한 오류를 완화한다.

• 입력 모달리티: 시스템은 웨어러블 시선 추적 안경과 로봇 장착 RGB-D 카메라만을 활용한다. 사용자는 객체에 부착된 과업별 픽토그램을 응시하는 체류 시간(dwell-time) 방식을 통해 상호작용한다.
• 과업 선택: 과업 픽토그램은 특징점 마커(fiducial markers) 역할을 한다. YOLOv12n 객체 탐지 모델이 이러한 픽토그램과 연관된 객체를 식별한다. 시스템은 음료 마시기, 식사하기, 조명 켜기/끄기 등의 과업을 지원한다.
• 데이터 전송 (특징 매칭): 사용자의 시선 장면으로부터 선택된 객체의 데이터를 로봇 카메라로 전송하기 위해, 시스템은 특징 매칭(feature matching)을 사용한다. 저자들은 다양한 OpenCV 특징 검출기(AKAZE, BRISK, ORB, SIFT)와 매처(Brute-Force, FLANN)를 평가하였다.
  • 알고리즘 선택: "인 더 와일드(in-the-wild)" 테스트와 비교 분석을 통해, FLANN-AKAZE가 매칭된 특징의 수, 계산 시간, 그리고 이상치(outlier)에 대한 견고함 사이의 균형을 제공하는 최적의 알고즘으로 선정되었다.
• 폴백 메커니즘 (Fallback Mechanism): 사용자 뷰와 로봇 뷰 사이에서 객체 클래스가 일치하지 않는 경우(예: 폐쇄 또는 탐지 오류로 인한 경우)를 처리하기 위해, 이중 접근 폴백 시스템이 구현되었다.
  1. 비교 접근법: 양쪽 카메라 뷰의 바운딩 박스 컷아웃(bounding box cutouts)을 매칭한다. 클래스가 일치하면 객체가 확정된다.
  2. 인 더 와일드 검색: 클래스가 누락되거나 불일치하는 경우, 시스템은 전체 로봇 시야 내의 특징들을 클러스터링하여 매칭된 특징의 밀도가 가장 높은 영역을 찾아낸다.
• 좌표 변환: 객체가 선택되면, "eye-in-hand" 구성의 알려진 운동학적 체인(kinematic chain)을 사용하여 해당 위치를 추정함으로써, 로봇이 사용자의 머리 좌표 없이도 파지(grasp) 계획을 세울 수 있도록 한다.

주요 기여

1. 알고리즘 비교: 보조 로봇 팔 데이터 전송을 위한 특징 매칭 알고리즘의 맞춤형 비교를 수행하여, 이 특정 사례에 가장 적합한 FLANN-AKAZE를 식별하였다.
2. 오픈 소스 프레임워크: "eye-in-hand" 구성을 활용하여 머리 움직임 문제를 해결하고, 표준 시선 추적 안경과 로봇 장착 카메라만을 필요로 하는 오픈 소스 시선 추적 기반 로봇 제어 프레임워크를 제공한다.
3. 평가 및 교훈: 다양한 조명 및 폐쇄 조건 하에서의 특징 매칭에 관한 핵심 과제를 밝혀내는 종합적인 평가를 수행하였다. 저자들은 시스템 성능을 최적화하기 위한 바운딩 박스 크기 조정 보정, 특징 매칭 임계값, 그리고 비율 테스트(ratio test) 파라미터에 관한 구체적인 "교훈(lessons learned)"을 제공한다.

결과
프레임워크는 컵, 포크, 병을 포함하는 세 가지 특정 테스트 케이스(SU Case)를 통해 실험실 환경에서 평가되었다 (완벽한 탐지, 라벨 불일치, 사용자/로봇 시야 차이 등 다양한 조건 포함).

• 과업 선택 성공률: 시스템은 최대 **97.9%**의 측정치(특히 SU Case 3.1)에서 객체 및 과업 선택을 정확하게 해석하였다. 평가 전반에 걸친 평균 과업 선택 성공률은 약 **95.67%**였다.
• 응답 시간: 객체 선택부터 메시지 전송까지의 평균 시간은 260.3 ms (표준편차 88.5 ms)였다.
• 메시지 전송: "과업 전송률"(전송된 메시지로 이어진 시도의 비율)은 44.9%에서 57.8% 사이로 나타났다. 저자들은 잘못된 메시지를 보내는 것이 안전하지 않거나 의도하지 않은 로봇 동작을 유발할 수 있으므로, 낮은 전송률이 오히려 바람직하다고 언급하였다.
• 견고성: 폴백 메커니즘은 객체 클래스가 불일치하거나 폐쇄된 시나리오를 성공적으로 처리하였으나, 사용자와 로봇이 서로 상당히 다른 장면을 보고 있는 경우(SU Case 3)에는 성능이 저하되었다.

의의 및 주장
본 논문은 이 프레임워크가 요구되는 센서 입력의 복잡성을 줄임으로써 휠체어 장착 로봇 팔을 제어하기 위한 적절한 설정을 제공한다고 주장한다. 객체 국지화를 사용자의 머리 위치로부터 분리함으로써, 시스템은 머리 움직임이 불가피한 실제 일상 환경에서 더욱 견고한 솔루션을 제공한다. 최첨단 객체 탐지 모델(YOLOv12n)의 통합과 프레임워크의 오픈 소스 특성은 새로운 과업 및 객체로의 적응을 가능하게 한다.

저자들은 본 시스템이 통제된 환경 내에서 높은 정확도를 보여주지만, 이는 실제 환경 적용을 위한 기초적인 단계임을 강조한다. 이들은 현재 제한된 객체 클래스에 의존하고 있다는 점과, 더 복잡한 일상 환경에서의 테스트가 필요하다는 한계를 인정한다. 이 연구는 최종적인 상용 제품이 아니라, 자율 로봇 보조를 통해 중증 신체 장애인의 독립성과 안전성을 높이기 위한 모듈식의 적응 가능한 토대로 제시된다.