From Vision to Assistance: Gaze and Vision-Enabled Adaptive Control for a Back-Support Exoskeleton

기술 요약: 비전에서 보조로: 시선 및 비전 기반의 적응형 제어를 적용한 요 지원 엑소스켈레톤

문제 정의
요통은 여전히 만연한 직업 관련 질환이며, 척추 부하를 재분배하기 위한 능동형 요 지원 엑로스켈레톤이 해결책으로 제안되고 있다. 그러나 능동형 엑로스켈레톤의 효과는 적시의 맥락 인식형 보조를 제공하는 데 결정적으로 달려 있다. 기존의 제어 전략은 일반적으로 반응형 사용자 신호(예: IMU, EMG 또는 가해진 토크)나 제어 루프에 직접적인 정보를 제공하지 못하는 정적 비전 시스템에 의존한다. 이러한 접근 방식은 작업 환경을 인지하는 능력이 부족하여, 사용자의 신뢰도, 편안함 및 장기적인 수용성을 저하시킬 수 있는 시점 부적절한 보조를 초래할 수 있다. 구체적으로, 현재의 시스템은 사용자가 단순히 물체를 보기 위해 몸을 굽히는 것과 실제로 물체를 잡기 위해 몸을 굽히는 것을 구분하는 데 어려움을 겪으며, 이로 인해 중요한 리프팅 단계에서 토크 전달이 지연되는 결과를 낳는다.

방법론
저자들은 맥락 인식형 보조를 가능하게 하기 위해 에고센트릭(egocentric) 비전과 착용형 시선 추적을 통합한 능동형 요 직업용 엑로스켈레톤을 위한 비전 게이티드(vision-gated) 제어 프레임워크를 제안한다. 시스템 아키텍처는 세 가지 주요 구성 요소로 이루어진다:

1. 인지 모듈(Perception Module): Tobii Pro Glasses 3에 장착된 1인칭 카메라를 활용하여 시스템은 RGB 프레임과 시선 좌표를 스트리밍한다. 미세 조정된 YOLOv9 검출기는 물체를 "Grasped(잡음)" 또는 "Not Grasped(잡지 않음)"로 분류한다. 사용자의 시선 고정(fixation)을 이미지 평면에 매핑함으로써, 시스템은 사용자가 잡은 물체에 시선을 고정하고 있는지 판단하기 위한 이진 지표($\chi^+_t$ 및 $\chi^-_t$)를 생성한다. 시간적 필터링 로직(dwell ratio를 포함한 슬라이딩 윈도우)은 이러한 지표를 견고한 이진 비전 게이트($\mathbb{1}_{box}$)로 변환하여, 전환이 일시적인 변동이 아닌 의도적인 파지(grasp) 이벤트를 반영하도록 보장한다.

2. 유한 상태 머신(Finite-State Machine, FSM): FSM은 네 가지 상태를 통해 작업 진행을 관리한다: (0) 상자 없이 서 있음, (1) 집기 위해 몸을 굽힘, (2) 상자를 들고 서 있음, (3) 놓기 위해 몸을 굽힘. 상태 전환은 몸통 기울기 임계값($\theta_{stand}$, $\theta_{bend}$)과 비전 게이트에 의해 트리거된다. 결정적으로, 비전 게이트는 시스템이 자세에만 의존하는 대신, 파지 상태에 따라 "집기 위해 몸을 굽힘"에서 "상자를 들고 서 있음"으로의 전환(상태 1 $\to$ 2)을 자율적으로 트리거하고, 해제(상태 3 $\to$ 0)를 관리할 수 있게 한다.

3. 가변 어드미턴스 제어(Variable Admittance Control): 컨트롤러는 어드미턴스 법칙을 통해 보조 토크($\tau_{ass}$)를 전달한다. 참조 토크는 몸통 토크($\tau_w$)와 상자 토크($\tau_{box}$)의 가중 합이다. $\tau_{box}$의 포함 여부는 비전 모듈에 의해 게이팅된다. 시스템은 운동 속도에 따라 "Soft"(백드라이버블, $K=0$)와 "Hard"(강성, $K \ge K_{min}$) 모드 사이를 전환하는 가변 강성 전략을 채택하며, 유연한 전환을 위해 부드러운 전이를 사용한다.

실험 프로토콜
15명의 건강한 자원봉사자를 대상으로 4kg 무게의 상자를 이용한 반복적인 스투핑(stooping) 하중 리프팅 시험을 수행하는 사용자 연구가 실시되었다. 연구는 세 가지 조건을 비교하였다:

• EC1: 엑로스켈레톤 미착용 (베이스라인).
• EC2: 자세 기반 제어(비전 없음)를 적용한 엑로스켈레톤.
• EC3: 비전 게이티드 제어를 적용한 엑로스켈레톤.
  참가자들은 편향을 방지하기 위해 EC2와 EC3에서의 비전 활성화 여부를 알지 못했다. 성능은 객관적인 토크 분석과 물리적 요구도, 유연성, 신뢰도, 편안함을 평가하는 13개 항목의 리커트 척도 설문지를 통해 평가되었다.

주요 결과

• 인지 정확도: YOLO 기반의 파지 검출은 **92.35%**의 매크로 평균 F1-score(정밀도: 92.84%, 재현율: 91.86%)를 달ino했다.
• 물리적 요구도: 통계 분석(Friedman test, $p < 0.001$) 결과, 비전 게이티드 조건(EC3)은 엑로스켈레톤 미착용 베이스라인(EC1) 및 자세 전용 엑로스켈레톤(EC2) 모두에 비해 인지된 물리적 요구도를 유의미하게 감소시켰다. EC3 점수는 EC2(평균 2.13)보다 현저히 높았다(평균 3.60).
• 사용자 경험: 모든 주관적 지표(유연성, 신뢰도, 편안함, 상호 이해도)에 대해, 비전 게이티드 모드는 자세 전용 모드보다 유의미하게 우수한 성능을 보였다(Holm 보정 후 Wilcoxon signed-rank tests, $p < 0.05$). 효과 크기는 컸다 (물리적 요구도에 대한 Kendall's $W = 0.752$; 순위-이항 상관계수는 종종 $\ge 0.80$였다).
• 제어 성능: 정량적 분석 결과, 비전 게이팅은 더 빠르고 강력한 보조를 가능하게 했다. 시스템은 실제 파지와 토크 발생 사이의 지연을 줄였으며, 특히 굽힘에서 들어 올리기로 전환되는 중요한 단계에서 그러했다. 참가자들은 보조를 받기 위해 특정 자세 임계값에 도달할 필요가 없었는데, 이는 시스템이 파지 이벤트를 기반으로 작업을 예측했기 때문이다.

의의 및 주장
본 논문은 에고센트릭 비전과 시선 추적을 능동형 요 지원 엑로스켈레톤의 제어 루프에 통합하는 것이 시스템의 반응성, 인체공학, 안전성 및 사용자 수용성을 크게 향상시킨다고 주장한다. 순수하게 반응적인 자세 기반 제어에서 선제적인 맥락 인식형 보조로 전환함으로써, 제안된 프레임워크는 기존 엑로스켈레톤의 "맹목성(blindness)" 문제를 해결한다. 결과는 비전 게이티드 보조가 인간-로봇 협업의 자연스러움을 개선하여, 산업 현장에서 능동형 엑로스켈레톤의 도입에 필수적인 요소인 신뢰와 편안함을 증진시킨다는 것을 시사한다.

한계 및 향에 연구
저자들은 본 연구가 단일 상자 유형과 알려진 무게를 사용하는 통제된 실험실 환경에서 수행되었음을 인정한다. 향후 연구에서는 온라인 무게 추정이나 동적 적응을 통해 가변적인 페이로드를 다루어야 한다고 언급하였다. 또한, 현재 연구는 요 부위 지원에 집중되어 있으며, 향다의 연구는 스쿼팅(squatting) 및 걷기와 같은 다양한 작업을 지원하기 위해 요 부위와 고관절의 협응 제어를 통합하는 것을 목표로 한다.