⚡ electrical engineering

A Cross-Domain Orthogonal Spherical Interface for Bidirectional Haptic Human Robot Interaction

본 논문은 교차 도메인 투명 아키텍처와 생체 모방형 텍스타일 제조 기술을 활용하여 단일 유연 표면에 다중 모드 감지와 양방향 햅틱 피드백을 시너지 효과를 내며 통합함으로써, 다양한 인간-로봇 상호작용 응용 분야를 위해 고충실도 손 포즈 추정, 변형 재구성 및 힘 추정을 가능하게 하는 장갑이 필요 없는 구형 햅틱 인터페이스인 FusionTouch를 제시한다.

원저자: Wenbo Ding, Shoujie Li, Xingting Li, Chenxin Liang, Xie Xuanbing, Wei Hou, Zijian Lin, Chongxi Jiao, Mingshan He, Junwei Li, Jie Pan, Chuqiao Lyu, Xueqian Wang, Yifan Wang

게시일 2026-08-06

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wenbo Ding, Shoujie Li, Xingting Li, Chenxin Liang, Xie Xuanbing, Wei Hou, Zijian Lin, Chongxi Jiao, Mingshan He, Junwei Li, Jie Pan, Chuqiao Lyu, Xueqian Wang, Yifan Wang

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇과 대화를 하거나, 가상 세계를 실제로 '느낄' 수 있는 비디오 게임을 하는 모습을 상상해 보세요. 수년 동안 이를 위한 최선의 방법은 전선과 센서로 뒤덮인 첨단 장갑을 착용하는 것이었습니다. 하지만 여름에 두꺼운 장갑을 끼는 것이 얼마나 번거로운지, 또는 장갑이 손가락의 자연스러운 움직임을 어떻게 방해하는지 생각해 보세요. '햅틱(haptics)' 분야의 과학자들—이는 단순히 촉각과 우리가 사물을 느끼는 방식에 대한 멋진 용어입니다—은 인간과 기계가 말 그대로 악수를 할 수 있는 더 나은 방법을 만들기 위해 노력하고 있습니다. 그들이 직면한 큰 과제는 마치 모든 사람이 소리를 지르는 북적이는 방 안에서 대화를 나누려는 것과 비슷합니다. 부드럽고 말랑말랑한 표면에 마이크(듣기 위한 것)와 스피커(말하기 위한 것)를 바로 옆에 두려고 하면, 신호들이 서로 뒤섞이고 엉망이 되기 때문입니다. 이 논문은 이 복잡한 문제를 해결하기 위해 장갑이 전혀 필요 없는 새로운 종류의 '스마트 스킨'을 발명함으로써 이 문제를 다룹니다.

**퓨전터치(FusionTouch)**를 소개합니다. 칭화대학교와 다른 기관의 연구진은 부드럽고 투명하며 공기가 들어간 해변용 비치볼처럼 보이지만, 실제로는 당신의 손을 위한 첨단 인터페이스인 장치를 만들어냈습니다. 손을 장갑 안에 강제로 집어넣는 대신, 퓨전터치는 따뜻하게 빛나는 구체를 잡는 것처럼 손을 단순히 그 안에 얹기만 하면 되는 구형 껍질 형태입니다. 마법은 과학자들이 서로 충돌하지 않고 동일한 재질을 통과할 수 있도록 서로 다른 종류의 '에너지'를 통과시키는 방법을 알아냈을 때 일어납니다. 그들은 영리한 트릭을 사용했습니다. 바로 신호를 색상과 유형별로 분리한 것입니다. 가시광선은 카메라가 손의 모양을 볼 수 있도록 통과하고, 눈에 보이지 않는 근적외선은 미세한 마커를 추적하고 표면을 가열하여 온기를 전달하는 데 사용됩니다. 한편, 특수한 투명 코팅은 전기 신호를 전달하여 미세한 찌릿함을 느끼게 하며, 내부의 공기압은 구체의 질감을 딱딱하거나 부드럽게 만들 수 있습니다.

이 논문은 이러한 '교차 도메인(cross-domain)' 설계가 놀라울 정도로 잘 작동한다는 것을 보여줍니다. 신호들이 서로 간섭하지 않기 때문에, 이 장치는 두 가지 일을 동시에 수행할 수 있습니다. 즉, 당신이 어디를 어떻게 누르고 있는지 정확히 '느끼는' 동시에, 열기, 부드러운 전기 자극, 또는 표면의 탄성 변화와 같은 다양한 감각으로 당신의 손에 '대답'할 수 있습니다. 테스트 결과, 이 시스템은 놀라운 정확도(오차 단 0.36도)로 손의 위치를 파악했으며, 0.093 뉴턴의 정밀도로 누르는 힘을 측정했습니다. 또한, 손이 공을 누르는 모양을 단 1.28 밀리미터의 중앙 오차 내로 성공적으로 재구성해 냈습니다.

연구진은 이 장치가 실제 업무를 처리할 수 있는지 확인하기 위해 세 가지 매우 다른 시나리오에서 테스트를 진행했습니다. 첫째, 사람이 멀리 떨어진 곳에서 로봇 팔을 제어하는 **로봇 원격 조종(robotic teleoperation)**에 사용되었습니다. 퓨전터치를 통해 작업자는 로봇이 물체에 닿는 지점을 정확히 느낄 수 있었고, 이를 통해 수건을 접거나 쌀알을 집는 것과 같은 작업을 더 빠르고 실수 없이 완수할 수 있었습니다. 둘째, 이 장치를 가상 현실(VR) 설정에 연결했습니다. 여기서 장치는 가상의 뜨거운 사과를 따뜻하게 느끼게 하거나 가상의 공을 탱글탱글하게 느껴지게 하여, 일반적인 컨트롤러가 할 수 없는 물리적 실재감을 디지털 세계에 더해주었습니다. 마지막으로, 이 장치를 로봇 팔에 부착하여 등 마사지를 수행했습니다. 로봇은 사람의 등에 누르는 압력을 감지하여 자동으로 조절할 수 있었으며, 피부를 따뜻하게 하고 부드러운 전기 자극을 주어 마사지를 더욱 사실적으로 느끼게 했습니다.

이 논문은 좋은 햅틱 피드백을 얻기 위해 반드시 장갑이 필요하다는 생각에 명시적으로 반박합니다. 저자들은 장갑이 종종 불편하고, 개인마다 맞춤형 핏이 필요하며, 자연스러운 손 움직임을 방해할 수 있다는 점을 발견했습니다. 휴식을 취할 때 손이 자연스럽게 굽어지는 모양에 맞춰 구형 구조를 사용함으로써, 퓨전터치는 이러한 문제들을 피합니다. 또한 그들은 하나의 표면에 감지와 피드백을 혼합하는 것이 불가능하다는 생각도 배제했습니다. 즉, 신호를 서로 다른 '도메인'(빛, 전기, 공기)으로 분리하면 신호가 섞이지 않고도 고품질의 감지와 풍부한 피드백을 모두 가질 수 있음을 증명했습니다.

결과는 인상적이지만, 논문은 이것이 새로운 프로토타입이라는 점을 주의 깊게 언급하고 있습니다. 이 시스템은 통제된 테스트와 특정 시연에서는 잘 작동하지만, 저자들은 가열 및 진동을 특정 지점에서 더 정밀하게 느끼게 만드는 것과, 많은 튜브와 전선이 필요하지 않도록 장치를 무선화하는 것과 같은 해결해야 할 과제가 여전히 남아 있다고 인정합니다. 그들은 이 접근 방식이 미래의 인터페이스를 설계하는 일반적인 전략이 될 수 있다고 제안하지만, 이것이 아직 최종적이고 완벽한 해결책이라고 주장하지는 않습니다. 대신, 퓨전터치를 인간과 로봇이 물리적 공간을 공유하며 자연스럽고 편안하며, 놀라울 정도로 마법같이 서로를 느끼고 반응할 수 있게 하는 유망한 새로운 방법으로 제시하고 있습니다.

기술 요약: FusionTouch – 양방향 햅틱 인간-로봇 상호작용을 위한 교차 도메인 직교 구형 인터페이스

문제 정의

고정밀 센싱과 능동적 햅틱 피드백을 단일 유연 기판 내에 통합하는 것은 인간-로봇 상호작용(HRI) 분야의 근본적인 과제로 남아 있습니다. 현재의 솔루션들은 다음과 같은 상당한 트레이드오프를 안고 있습니다:

햅틱 글로브: 손가락 움직임을 포착하는 데는 탁월하지만, 배선 복잡성이 높고, 채널 간 전기적 결합이 발생하며, 피드백 모달리티가 제한적(주로 진동에 국한됨)이고, 장시간 사용 시 피로를 유발하고 자연스러운 손가락 움직임을 제약하는 인체공학적 한계가 있습니다.
시각-촉각 센서(Visuotactile Sensors): 배선은 줄어들었으나 고해상도 변형 감지가 가능하지만, 대개 풍부한 멀티모달 햅틱 피드백 기능이 없는 전용 센서로 작동합니다. 동일한 기판 위에 액추에이터를 통합하려 할 경우, 센싱 채널과 구동 채널 사이의 신호 크로스토크(crosstalk)가 다시 발생하게 됩니다.

핵심 문제는 고품질의 센싱, 멀티모달 피드백, 그리고 편안한 상호작용을 동시에 달면서도, 인접한 기능적 채널 간의 작업 관련 크로스토크를 최소화할 수 있는 컴팩트한 글러브 프리(glove-free) 인터페이스의 필요성입니다.

방법론

1. 생체 역학적 설계 근거

저자들은 20명의 자원봉사자가 20가지의 일상적인 조작 태스크를 수행하는 생체 역학 연구(240,677 프레임)와 휴식 시 손 자세 분석을 실시했습니다.

결과: 인간의 손은 21개의 자유도를 가짐에도 불구하고, 자연스럽게 이완된 상태에서 구형 껍질 형태에 부합하는 굽은 자세를 취합니다. 일상적인 작업 중 손 자세의 99%는 15cm 이내의 컴팩트한 구형 영역 안에 존재합니다.
설계: 이를 바탕으로 FusionTouch는 손의 자연스러운 휴식 자세를 지원하는 글러브 프리 구형 인터페이스로 설계되었습니다. 이는 개별 맞춤형 피팅의 필요성을 없애고 근육 부하를 줄여줍니다.

2. 교차 도메인 직교 아키텍처

신호 크로스토크 문제를 해결하기 위해, FusionTouch는 광학적 접근성 중심의 교차 도메인 직교 아키텍처를 채택했습니다. 구성 요소를 단일 전기 층에 쌓는 대신, 기능을 서로 다른 물리적 도메인에 분산시켰습니다:

광학 도메인 (가시광선): 손의 실루엣 관찰 및 제스처 트래킹에 사용됩니다.
광학 도메인 (근적외선 - NIR): 마커 기반의 변형 센싱 및 광열(photothermal) 피드백의 매개체로 사용됩니다. 스펙트럼 분리 층을 통해 가시광선 경로와 NIR 경로를 명확히 구분합니다.
전기 도메인: 패턴화된 투명 인듐 주석 산화물(ITO) 전극은 전기 촉각 자극을 제공하면서도 광학적 투명성을 유지합니다.
공압 도메인: 내부 공기압이 쉘(shell)의 기계적 강성과 순응성을 조절합니다.

크로스토크 완화: 시스템은 잔류 결합을 해결하기 위해 다음을 적용합니다:

온도 변화에 따른 ITO의 저항 변화를 보상하기 위한 전류 조절형 전기 촉각 드라이버.
전역 조명 변화에 민감하지 않도록 마커의 기하학적 그래프 표현법을 사용하여 변형 재구성 수행.
쉘의 기계적 특성 변화를 보상하기 위해 힘 지각 네트워크에 실시간 내부 압력 입력값 반영.

3. 제작

과일(예: 피살리스, 망고스틴)과 종이 랜턴의 기하학적 구조에서 영감을 얻어, 저자들은 팬-섹터(fan-sector) 텍스타일 공정을 개발했습니다.

3D 구형 표면을 평면의 꽃잎 모양 세그먼트로 컨포멀 매핑(conformally mapped)합니다.
각 세그먼트는 프로그래밍 가능한 재봉 기계를 사용하여 직물, ITO 필름, 비직조 보강재를 통합하여 제작됩니다.
마커를 위해 적외선 불투명 잉크를 인쇄하며, 세그먼트들을 가장자리 결합(edge-bonded)하여 폐쇄된 구체를 형성합니다.
교체 가능한 직물 보호층을 통해 위생을 보장하고 교차 오염을 방지합니다.

4. 멀티모달 인지 알고리즘

FusionTouch는 통합된 센싱 파이프라인을 활용합니다:

표면 변형 재구성: 2단계 코스-투-파인(coarse-to-fine) 그래프 네트워크가 NIR 마커 패턴을 처리하여 3D 표면 기하 구조를 재구성합니다.
접촉력 추정: 듀얼 브랜치 그래프 기반 네트워크가 NIR 마커 이미지와 내부 공압 데이터를 융합하여 3축 접촉력을 추정합니다.
손 포즈 추정: 가시광선(손 실루엣)과 NIR(마커 변형) 이미지를 융합하여 12개의 선택된 손가락 관절 각도를 회귀하는 2-브랜치 ResNet-18 네트워크를 사용합니다.

주요 기여

글러브 프리 구형 폼 팩터: 손의 운동학에 근거하여 손가락을 가두지 않고도 자연스럽고 제약 없는 상호작용을 지원하는 새로운 인터페이스 기하 구조.
교차 도메인 직교 설계: 단일 투명 기판 위에서 멀티모달 공존을 가능하게 하고 크로스토크를 줄이기 위해 센싱과 피드백을 광학(가시광/NIR), 전기, 공압 도메인으로 분리하는 전략.
생체 모방형 모듈형 제작: 이질적 재료(ITO, 하이드로젤, 마커)가 통합된 폐쇄형 구형 스킨을 제작할 수 있는 텍스타일 기반 제조 공정.
통합 멀티모달 인지: 단일 공유 표면 인터페이스를 사용하여 고정밀 손 포즈 추정, 3D 표면 재구성, 접촉력 추정을 동시에 달성하는 알고리즘.

실험 결과

성능 지표

손 포즈 추정: 12개 관절에 대해 **0.36°**의 평균 절대 오차(MAE)를 달축성했으며, 예측값의 99.9%가 실제 값의 5° 이내에 있었습니다. 듀얼 모달리티 융합은 단일 모달리티 입력 대비 정확도를 21% 향상시켰습니다.
표면 변형 재구성: 중앙값 점 대 표면 오차(point-to-surface error) 1.28 mm 및 Chamfer-distance RMSE 1.77 mm를 달성했습니다.
접촉력 추정: 전체 MAE 0.093 N (RMSE 0.172 N)을 달성했습니다. 공압 데이터 포함 시 오차가 크게 감소했습니다 (MAE 기준 0.161 N에서 0.093 N으로 감소).
피드백 모달리티: 국부적 전기 촉각, 광열(개방 루프 시 44.97°C ~ 88.20°C, 폐쇄 루프 시 48°C로 제한), 공압 강성 조절 및 진동 촉각 피드백을 성공적으로 시연했습니다.

응용 데모

로봇 텔레오퍼레이션: FusionTech는 UR5 암과 X-Hands 제어를 가능하게 했습니다. 햅틱 피드백을 통해 태스크 완료 시간(예: 컵 걸기, 수건 접기)이 5~13초 단축되었으며, 잡기 및 놓기 태스크의 첫 시도 성공률이 76%에서 88%로 증가했습니다 ( $p=0.027$ ).
가상 현실 (VR): 시스템은 수동적(중력 보상 드래깅) 및 능동적(궤적 기반) 상호작용을 모두 지원하며, 전기 촉각 및 열적 큐를 통해 접촉 위치와 강도를 전달합니다.
로봇 보조 마사지: UR5 암에 장착된 FusionTouch는 순응형 엔드 이펙터, 힘 센서, 피드백 모듈 역할을 동시에 수행했습니다. 안정적인 접촉력(슬라이딩 시 ~5 N, 태핑 시 ~10 N)을 유지하면서 열 및 전기 촉각 자극을 제공했습니다.

의의 및 주장

본 논문은 FusionTouch가 멀티모달 인지와 햅틱 피드백을 통합하는 공유 표면 인터페이스를 설계하기 위한 일반화 가능한 전략이라고 주장합니다. 그 의의는 다음과 같습니다:

패러다임 전환: 단방향 센싱 또는 피드백 장치에서, 인간의 의도를 포착하고 접촉 정보를 동시에 렌더링하는 양방향 물리적 통신 플랫폼으로의 이동.
인체공학: 인터페이스 기하 구조를 손의 자연스러운 휴식 자세와 일치시키는 것이 편안함(상용 글로브의 40.54% 대비 84.82%)을 크게 개선하고 피로를 줄인다는 것을 입증.
통합: 고정밀 센싱과 풍부한 멀티모달 피드백이 기존의 글로브 기반 시스템이 가진 밀집된 전기 배열이나 크로스토크 문제 없이 단일 소프트 투명 표면에서 공존할 수 있음을 증명.

저자들은 FusionTouch를 단순한 특정 작업용 센서나 액추에이터가 아니라, 텔레오퍼레이션, VR, 재활에 적용 가능한 범용 플랫폼으로 정의합니다. 또한 잔류 결합, 능동 냉각의 부재, 외부 연결 의존성 등의 한계를 인정하며 이를 향후 연구 과제로 제시했습니다.