기술 요약: 변형 가능 선형 물체 조작을 위한 보조 원격 조작 (AssistDLO)

문제 제기

로프와 케이블과 같은 변형 가능 선형 물체 (DLO) 의 조작은 무한 차원의 구성 공간, 복잡한 비선형 동역학, 그리고 본질적인 비구동성 (underactuation) 으로 인해 로봇 공학에서 상당한 어려움을 안고 있습니다. 완전 자율 솔루션이 특수 작업에서는 발전해 왔지만, 모델링되지 않은 물리적 상호작용과 복잡한 자기 교차로 인해 비구조화 환경에서는 종종 실패합니다. 따라서 안전한 수행을 위해 원격 조작이 여전히 중요한 접근법으로 남아 있습니다. 그러나 표준 원격 조작은 신체성 불일치, 2D 피드 시 특히 심화된 깊이 인식 저하, 그리고 양손 협조에 필요한 높은 인지 부하로 고통받고 있습니다. 단순한 인간 명령과 자율 명령의 선형 혼합에 의존하는 전통적인 보조 원격 조작 방법들은 종종 국소 DLO 기하학을 무시하는 "기하학적 자석"으로 작용합니다. 이는 잡히지 않은 로프 구간의 의도치 않은 변위를 초래하여 그립이 확립되기 전에 위상 구조를 변경하고 엉킴을 악화시킬 수 있습니다. furthermore, 다양한 수준의 운영자 전문성과 DLO 의 서로 다른 물리적 특성 (예: 강성, 길이) 에 대해 어떤 보조 전략이 가장 효과적인지에 대한 분석이 부족합니다.

방법론: AssistDLO 프레임워크

저자들은 운영자의 능력을 대체하기보다 증강하도록 설계된 양손 보조 원격 조작 프레임워크인 AssistDLO를 제안합니다. 이 시스템은 실시간 다중 뷰 상태 추정, 시각적 보조 (VA), 그리고 제어 장벽 함수 (Control Barrier Functions) 기반의 기하학 인식 공유 자율성 컨트롤러 (SA-CBF) 를 통합합니다.

1. 인식 파이프라인

이 프레임워크는 양쪽 손목에 장착된 RGB-D 카메라 ($C_l, C_r$) 에 의해 구동되는 모델 프리 (model-free) 시각 인식 파이프라인을 활용합니다.

• 추적 추출: 시스템은 SAM 2 를 사용하여 인스턴스 분할을 수행하고, HSV 색상 임계값 처리로 정제하여 견고한 2D 이진 마스크를 생성합니다. 보로노이 기반의 골격화 방법이 희소 윤곽 집합을 추출하며, 이는 정제되어 DLO 를 나타내는 깔끔한 1D 골격 그래프로 형성됩니다.
• 다중 뷰 융합: 두 카메라로부터의 3D 점 집합은 로봇 정방향 운동학을 사용하여 공통 작업 프레임으로 변환됩니다. 깊이 모호성과 가려짐을 해결하기 위해, 시스템은 이러한 점 집합을 합집합 연산을 통해 융합한 후, 볼록 그리드 다운샘플링을 수행하여 DLO 의 비모수적 고밀도 3D 상태 표현 ($R_t$) 을 생성합니다.

2. 원격 조작 인터페이스

운영자는 HMD 와 핸드 컨트롤러를 사용하여 가상 현실 (VR) 환경에서 상호작용합니다.

• 시각적 보조 (VA): 시스템은 정규화된 3D DLO 점 집합 ($R_t$) 을 운영자의 VR 작업 공간에 직접 렌더링합니다. 이는 로봇의 제어 명령을 변경하지 않고도 입체적 깊이 단서와 운동 시차를 제공하여 상황 인식을 향상시킵니다.
• 동작 보조: 시스템은 운영자의 의도를 추론하여 DLO 상의 목표 그립 포인트를 선택합니다. 그런 다음 엔드 이펙터를 안내하기 위해 공유 자율성 컨트롤러를 적용합니다.

3. 공유 자율성: SA-CBF 대 SA-LB

핵심 혁신은 SA-CBF 컨트롤러이며, 이는 기준선인 SA-LB(선형 혼합) 와 대조됩니다.

• 의도 추정: 시공간 히스테리시스 필터는 운영자의 손 위치에 기반하여 DLO 상의 목표 점을 선택하여 위상 연속성을 보장하고 로프 줄 사이에서의 불규칙한 점프를 방지합니다.
• SA-LB (기준선): 인간 입력과 자율 목표 간의 선형 보간을 사용합니다. 논문은 이것이 문맥 무관한 인력자 (attractor) 로 작용하여 잡히지 않은 로프와 교차하여 변위를 초래할 수 있다고 지적합니다.
• SA-CBF (제안): 제어 장벽 함수 (CBF) 를 사용하여 동적이고 기하학 인식적인 "안전 깔때기"를 구성합니다. 작업 공간 위에 높이 필드 장벽 ($z_b$) 이 정의되어 테이블 위에서는 자유로운 이동을 허용하지만, 유효한 로프 점에 중심을 둔 좁은 깔때기를 통해서만 하향 운동을 제한합니다. 이는 로봇이 로프를 수평으로 쓸어내거나 주변 구역을 변위시키지 않고 수직으로 접근하도록 보장합니다. 컨트롤러는 인간의 의도를 추적하면서 CBF 제약을 만족하는 최적의 안전한 속도를 찾기 위해 2 차 계획법 (Quadratic Program, QP) 을 풉니다.

실험적 평가

22 명의 참가자(12 명의 초보자, 10 명의 전문가)가 양손 매듭 풀기 작업을 수행하는 사용자 연구가 수행되었습니다. 이 연구는 네 가지 제어 모드인 순수 원격 조작 (PT), 시각적 보조 (VA), SA-LB, 그리고 SA-CBF 를 평가했습니다. 물리적 변화에 대한 견고성을 테스트하기 위해 길이와 휨 강성 (stiffness) 이 서로 다른 네 가지 구별된 로프가 사용되었습니다.

주요 결과

• 전체 성능: SA-CBF 는 전체 성공률 (85.23%) 에서 가장 높은 성과를 보였으나, PT(76.14%) 대비 개선은 인구 수준에서 통계적으로 유의하지 않았습니다. 반면, SA-LB 는 PT(72.73%) 보다 약간 더 낮은 성과를 보여 문맥 무관한 선형 혼합의 위험성을 강조합니다.
• 전문성 의존적 효과:
  • 초보자: SA-CBF 는 성공률을 70.83%(PT) 에서 87.50% 로 크게 향상시켰습니다. 이는 "기술 평등화자"로 작용하여 작업 완료 시간과 신체적 요구를 극적으로 줄였습니다.
  • 전문가: 전문가들은 보조 없이도 대부분의 조건에서 높은 성능 (>80%) 을 유지했습니다. 그들은 동작 보조보다 시각적 보조 (VA) 를 선호했으며, SA-CBF 나 SA-LB 를 사용할 때 권한 상실과 갈등 증가를 보고했습니다.
• DLO 특성 의존적 효과:
  • 강성 로프: SA-CBF 는 장력과 마찰로 인해 정밀 그립이 어려운 더 단단한 로프 (Red 와 Orange) 에서 가장 효과적이었습니다. 가장 단단한 로프를 사용하는 초보자에게 100% 성공률을 달성했습니다.
  • 연성/긴 로프: 길고 매우 연성인 로프 (Blue) 의 경우, 로프가 자주 손목 카메라 시야를 벗어나기 때문에 동작 보조는 제한적인 효과만 보였습니다. 이러한 경우, 국소 인식이 불충분할 때 필요한 전역 시각적 문맥을 제공하는 VA 가 더 효과적이었습니다.
• 주관적 지표: 초보자들은 SA-CBF 를 매우 도움이 되고 안전하다고 평가했습니다. 전문가들은 VA 를 이해성과 통제력 측면에서 가장 높게 평가한 반면, 물리적 개입은 좌절감을 준다고 평가했습니다.

중요성과 기여

이 논문은 효과적인 DLO 원격 조작이 고정된 보조 전략에 의존할 수 없다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 새로운 프레임워크: AssistDLO 는 다중 뷰 상태 추정과 CBF 기반 공유 자율성 컨트롤러를 통합하여 기하학적 위반을 방지하면서도 운영자의 권한을 보존합니다.
2. 문맥 인식 제어: SA-CBF 방법은 DLO 에 대해 단순한 인력자 (자석) 보다 기하학 인식적 제약 (깔때기) 이 우월함을 보여주며, 의도치 않은 위상 변화를 방지합니다.
3. 실증적 통찰: 이 연구는 보조가 적응적이어야 함을 입증한 근거 기반 설계 지침을 제공합니다:
   • **동작 보조 (SA-CBF)**는 초보자와 단단한 물체에게 필수적이며 안전망과 기술 평등화자 역할을 합니다.
   • **시각적 보조 (VA)**는 전문가에게 선호되며, 국소 인식이 불충분한 길고 연성인 물체에서 더 효과적입니다.
4. 한계점 및 향후 작업: 저자들은 겸손하게 시스템이 단일 구별 가능한 DLO 를 가정하며 손목 카메라의 시야에 의해 제한된다고 인정합니다. 향후 작업은 운영자 숙련도와 물체 행동에 대한 실시간 추정을 기반으로 보조 모드 간의 적응적 중재에 초점을 맞춰야 한다고 제안합니다.

결론적으로, 이 논문은 변형 가능 물체에 대한 공유 자율성은 사용자 인식적이고 재료 인식적이어야 하며, 정적 혼합 전략을 넘어 동적이고 문맥 민감적인 개입으로 나아가야 한다고 주장합니다.