💻 computer science

Learning-based Force Sensing and Impedance Matching for Safe Haptic Feedback in Robot-assisted Laparoscopic Surgery

본 논문은 비선형 도구-조직 상호작용의 실시간 모델링을 통해 힘 렌더링 오차를 95% 줄이고 햅틱 "킥백(kickback)" 현상을 제거함으로써, 로봇 보조 복강경 수술에서 햅틱 피드백의 정확도와 안전성을 크게 향상시키는 비선형 임피던스 매칭 접근법(NIMA)을 제시한다.

원저자: Aiden, Mazidi, Majid Roshanfar, Amir Sayadi, Javad Dargahi, Jake Barralet, Liane S. Feldman, Amir Hooshiar

게시일 2026-02-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aiden, Mazidi, Majid Roshanfar, Amir Sayadi, Javad Dargahi, Jake Barralet, Liane S. Feldman, Amir Hooshiar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇 팔을 조종하여 정교한 수술을 수행하는 첨단 비디오 게임을 하고 있다고 상상해 보세요. 현재 대부분의 버전에서는 화면을 통해 로봇이 무엇을 하는지 볼 수는 있지만, 로봇이 무엇을 만지고 있는지 느낄 수는 없습니다. 이것은 마치 두꺼운 겨울 장갑을 끼고 신발 끈을 묶으려는 것과 같습니다. 텐션을 느낄 수 없기 때문에 얼마나 세게 당겨야 할지 추측해야만 합니다.

이 논문은 외과의사에게 잃어버린 촉감을 안전하고 정밀하게 되찾아주는 "마법 장갑" 역할을 하는 NIMA(비선형 임피던스 매칭 접근법, Nonlinear Impedance Matching Approach)라는 새로운 시스템을 소개합니다.

이 시스템이 어떻게 작동하는지 쉬운 개념으로 나누어 설명하겠습니다.

1. 문제점: "유령" 힘 (The "Ghost" Forces)

로봇이 환자의 몸속(작은 구멍을 통해)으로 수술 도구를 움직일 때, 도구는 그 구멍의 가장자리에 쓸리게 됩니다. 이것이 마찰력을 만들어냅니다.

비유: 무거운 상자를 바닥에 밀고 있다고 상상해 보세요. 당신은 상자가 바닥에 쓸리는 마찰력을 느낍니다. 하지만 만약 상자 안에 있는 베개가 얼마나 부드러운지 느끼려고 한다면, 바닥의 마찰력이 방해가 되어 손의 감각을 혼란스럽게 만들 것입니다.
문제점: 로봇 수술에서 로봇의 센서는 구멍의 마찰력과 조직의 부드러움을 동시에 감지합니다. 만약 로봇이 이 느낌을 그대로 외과의사에게 전달한다면, 외과의사는 움직임을 멈출 때 "툭" 하고 튀거나 움찔하는 느낌을 받게 됩니다. 이는 위험하고 불편합니다. 이를 **"햅틱 키크백(haptic kickback)"**이라고 부릅니다.

2. 해결책: "스마트 필터" (신경망)

연구진은 필터 역할을 할 똑똑한 컴퓨터 뇌(신경망)를 구축했습니다.

작동 방식: 로봇에는 전체 힘을 측정하는 센서가 있습니다. 컴퓨터 뇌는 데이터를 살펴보고 이렇게 판단합니다. "좋아, 이 힘의 80%는 단순히 구멍에 쓸리는 마찰력이야. 이건 버리자. 나머지 20%가 실제 조직이야."
결과: 외과의사는 마찰력이 아닌 실제 조직만을 느끼게 됩니다. 이는 마치 바람 소리를 차단하여 음악을 더 잘 들을 수 있게 해주는 노이즈 캔슬링 헤드폰을 쓰는 것과 같습니다.

3. "마법 지도" (좌표 보정)

로봇은 서로 다른 위치(하나는 팔에, 하나는 조직에)에 있는 센서를 가지고 있습니다. 이들은 서로 다른 "언어"(좌표계)를 사용합니다.

비유: 한 사람은 위치를 "북쪽으로 5걸음"이라고 설명하고, 다른 사람은 "동쪽으로 3걸음"이라고 말한다고 상상해 보세요. 이 둘이 일치하려면 번역기가 필요합니다.
해결책: 연구팀은 로봇이 팔 센서의 데이터를 조직 센서의 언어로 정확하게 변환할 수 있도록 정밀한 번ats법을 만들었습니다. 이를 통해 "느낌"이 정확하게 전달되도록 보장합니다.

4. "스마트 스프링" (비선형 임피던스)

기존 시스템은 단순한 직선 수학(항상 같은 힘으로 밀어내는 기본적인 스프링 같은 방식)을 사용하여 촉감을 시뮬레이션하려고 했습니다. 하지만 실제 조직은 까다롭습니다. 말랑했다가, 딱딱했다가, 다시 말랑해지기도 합니다.

비유: 일반 고무줄과 하이테크 번지 코드를 생각해 보세요. 고무줄은 매번 똑같은 방식으로 당겨집니다. 반면 번지 코드는 당신이 얼마나 빨리 뛰고 얼마나 멀리 늘어나느냐에 따라 당기는 힘이 달라집니다.
혁신: NIMA는 인간 조직의 복잡하고 꿈틀거리는 특성에 맞춰 실시간으로 행동을 바꾸는 "스마트 스프링"(비선형 임피던스)을 사용합니다. NIMA는 단순히 추측하는 것이 아니라, 패턴을 즉각적으로 학습합니다.

5. 큰 성과: "키크백"의 제거

가장 흥lı로운 결과는 안전성입니다.

기존 방식: 외과의사가 로봇 컨트롤러를 놓을 때, 기존 시스템은 컴퓨터가 여전히 힘을 계산하려고 시도하기 때문에 갑작스럽고 원치 않는 움찔거림(키크백)을 주는 경우가 있었습니다.
새로운 방식: NIMA를 사용하면, 외과의사가 손을 놓는 순간 시스템은 즉시 "움직임 없음, 힘 없음"을 인지합니다. 시스템은 **제로 힘(zero force)**을 구현합니다. 핸들은 완벽하게 정지 상태를 유지합니다. 이는 사고를 방지하고 외과의사가 안전함과 편안함을 느끼게 합니다.

요데를 통한 결과 (쉬운 영어 설명)

연구팀은 가짜 조직(마네킹)을 이용한 로봇 설정에서 이를 테스트했습니다.

정확도: 새로운 시스템은 기존의 최고 방식보다 95% 더 정확했습니다. 오차는 아주 미미하여, 작은 종이 클립의 무게(0.01 뉴턴) 정도였습니다.
안전성: "키크백" 문제를 완전히 제거하는 데 성공했습니다.
현실감: 시스템은 도구가 구멍에 쓸리는 것과 도구가 실제로 조직에 닿는 것을 구분해 냈으며, 훨씬 더 현실적인 "느낌"을 제공했습니다.

요약하자면: 이 논문은 로봇 외과의사에게 "촉각"을 부여하는 새로운 방법을 제시합니다. 이 시스템은 혼란스러운 마찰을 제거하기 위한 스마트 컴퓨터 필터를 사용하고, 센서를 정렬하기 위한 정밀한 번역기를 사용하며, 실제 조직을 모사하기 위한 역동적인 "스마트 스프링"을 사용합니다. 그 결과, 매우 정확하며 무엇보다도 중요한 점은, 외과의사가 움직임을 멈출 때 로봇이 손을 툭 치지 않을 만큼 안전한 시스템을 구현했다는 것입니다.

기술 요약: 안전한 햅틱 피드백을 위한 학습 기반 힘 감지 및 임피던스 매칭 (로봇 보조 복강경 수술)

문제 정의
로봇 보조 최소 침습 수술(RAMIS)에 정확한 햅틱 피드백을 통합하는 것은 정밀한 힘 렌더링과 원격 조종 중 시스템 안정성 확보의 어려움으로 인해 여전히 중요한 과제로 남아 있다. 햅틱 피드백은 수술의 정밀도를 높이고, 조직 손상을 줄이며, 작업의 일관성을 개선할 수 있지만, 대부분의 상용 시스템(예: da Vinci)은 운영자에게 연속적인 힘 반사를 제공하지 못한다. 기존 솔루션들은 트레이드오프(trade-off) 문제에 직면해 있다. 기구 통합형 센서는 높은 충실도를 제공하지만 멸균 및 복잡성 문제를 겪으며, 센서리스 또는 비전 기반 방식은 광범위한 학습 데이터가 필요하거나 물리적 정확도가 떨어지는 경우가 많다. 또한, 선형 임피던스 매칭 접근법(IMA)은 안정적이기는 하지만, 도구와 조직 간의 비선형 역학을 포착하지 못하며, 핸들을 놓을 때 운영자가 느끼는 원치 않는 급격한 움직임인 '햅틱 키크백(haptic kickback)'을 유발하여 안전성과 편안함을 저해할 수 있다.

방법론
저자들은 복잡한 도구-조직 상호작용을 실시간으로 모델링하기 위해 기존의 선형 IMA 프레임워크를 확장하여 비선형 역학을 포함하는 **비선형 임피던스 매칭 접근법(NIMA)**을 제안한다. 실험 설정은 듀얼 로봇 시스템(Kinova Gen3 암)과 Omega.7 햅틱 컨트롤러가 장착된 맞춤형 수술 콘솔을 사용한다. 방법론은 세 가지 핵심 기술 구성 요소로 구조화되어 있다:

좌표 교정 및 센서 정렬: 정확한 힘 매핑을 보장하기 위해, 저자들은 로봇 엔드 이펙터에 장착된 센서( $S_1$ )와 조직 대리물에 장착된 센서( $S_2$ )의 좌표계를 정렬하는 절차를 개발했다. 오일러 각도와 회전 행렬을 기반으로 한 최적화 문제를 사용하여 $S_2$ 데이터를 $S_1$ 프레임으로 변환하였으며, 이를 통해 센서 간 높은 상관관계( $R^2 = 0.95$ )를 달ek성했다.
신경망 기반 힘 추출: 복강경 로봇의 주요 과제는 원격 중심점(RCM)에서 발생하는 마찰력으로부터 실제 도구-조직 상호작용 힘을 분리하는 것이다. 저자들은 순수 도구 끝(tool-tip) 힘을 예측하기 위해 로봇 팔의 힘, 방향(쿼터니언), 운동 파라미터를 입력값으로 사용하는 완전 연결 피드포워드 신경망(NN)을 훈련시켜 마찰 아티팩트를 추정하고 제거하도록 했다. 이 과정은 모델이 노이즈와 마찰 바이어스를 생성하지 않으면서도 이를 억제하는지 확인하기 위해 "접촉 없음(no-contact)" 실험을 통해 검증되었다.
비선형 임피던스 모델링 (NIMA): 핵심 렌더링 알고리즘은 접촉 힘 $f$ 를 운동 명령 $X$ 에 대한 반응으로 비선형 임피던스 하이퍼서피스(hyper-surface) $f = MX $를 통해 모델링한다. 임피던스 파라미터 행렬$ M$은 롤링 타임 윈도우(300 ms)와 유사 역행렬 계산을 사용하여 실시간으로 업데이트된다. 시스템은 재구성 오차를 최소화하기 위해 각 타임 윈도우마다 최적의 다항식 차수( $N=1$ ~ $5$)를 동적으로 선택한다. 결정적으로, 이 모델은 속도 임계값(1 mm/s)을 포함한다. 이 임계값 미만에서는 렌더링되는 힘이 0이 되어 키크백을 방지한다.

주요 기여
본 논문은 다섯 가지 주요 기여를 제시한다:

NN 기반 힘 격리: RCM에서의 마찰 성분을 분리함으로써 실제 기구-조직 상호작용 힘을 추출하는 새로운 방법을 제시하여, 근위부 센서를 통한 원위부 힘 추정을 가능하게 했다.
좌표 교정: 데이터 일관성을 보장하기 위해 여러 센서 프레임(로봇 장착 및 조직 장착) 간의 힘 데이터를 변환하는 엄격한 절차를 개발했다.
확장된 NIMA 프레임워크: 선형 IMA(MAE 0.2 N)보다 성능이 월등히 뛰어난 서브 센티뉴턴(sub-centinewton) 정확도를 달성하는 적응형 비선형 임피던스 모델을 구현했다.
포괄적 검증: 좌표 교정, NN 기반 힘 격리, NIMA 힘 재구성을 검증하는 3단계 실험 프로토콜을 제시했다.
햅틱 키크백 제거: 핸들을 놓거나 느리게 움직일 때 제로 힘이 적용되도록 하여 장치가 정지 상태를 유지하게 함으로써 운영자의 안전을 보장하는 적응형 비선형 모델링 전략을 구축했다.

결과
제안된 프레임워크는 펠그 트랜스퍼(peg transfer)와 같은 복강경 작업을 시뮬레이션하는 통제된 실험을 통해 검증되었다:

좌표 교정: 센서 프레임 간의 변환 결과, X, Y, Z축에 대해 각각 0.11 N, 0.09 N, 0.13 N의 평균 절대 오차(MAE)를 기록하였으며, 선형 상관관계 $R^2 = 0.95$ 를 나타냈다.
힘 격리: NN 모델은 RCM 마찰로부터 도구 끝 힘을 성공적으로 격리했다. 측정된 힘과 예측된 힘 사이의 MAE는 X(0.19 N), Y(0.16 N), Z(0.16 N)였다. 접촉이 없는 테스트에서 모델은 거의 0에 가까운 힘(평균 0.02 N)을 예측하여, 노이즈와 마찰 억제가 효과적임을 확인했다.
힘 렌더링: NIMA 프레임워크는 힘 렌더링에서 최종 MAE 0.01 ± 0.02 N을 달성했다. 이는 이전에 검증된 선형 IMA(MAE 0.2 N) 대비 95% 향상된 정확도이다.
안정성 및 안전성: 시스템은 햅틱 키크백을 성공적으로 제거했다. 운영자가 핸들을 놓았을 때 시스템은 제로 힘을 렌더링하여 장치가 움직이지 않고 고정되도록 보장했다. 알고리즘은 64% 이상의 타임 윈도우에서 비선형 피팅을 선택하였으며, 이는 도구-조직의 동적 상호작용을 포착하는 데 비선형 모델링이 필수적임을 입증한다.

의의 및 주장
저자들은 NIMA가 안정적이고 높은 충실도를 가지며 안전한 햅틱 피드백을 제공함으로써, RAMIS에서 인간의 숙련도와 로봇의 정밀도 사이의 간극을 해결한다고 주장한다. 햅틱 키크백을 제거하고 비선형 조직 역학을 정확하게 모델링함으로써, 이 시스템은 원격 조종의 현실감을 높이는 동시에 운영자의 편안함과 안전을 증진한다. 본 연구는 비선형 임피던스 매칭이 연조직의 복잡하고 가변적인 강성을 포착하는 데 있어 선형 방식보다 우월함을 시사한다. 저자들은 NIMA를 침습적인 기구 재설계 없이도 차세대 수술 로봇의 감각적 공백을 메울 수 있는 유망한 단계로 위치시키며, 규제 승인 및 임상 통합을 위한 실행 가능한 방안으로 제시한다. 또한, 현재 연구는 힘(force)에 집중하고 있으나, 향후 버전에서는 다양한 수술 환경에 더욱 적응하기 위해 토크 피드백과 물리 정보 기반 신경망(physics-informed neural networks)을 통합할 수 있음을 강조한다.