⚡ 전기공학

A KT-LSTM-SAC-Based Closed-Loop Temperature Control Strategy for Medical Robot-Assisted Moxibustion

본 논문은 로봇 보조 뜸 치료 시 말단 장치의 이격 거리를 지속적으로 조절함으로써 정밀하고 안전하며 안정적인 온도 조절을 달alam성하기 위해, LSTM이 강화된 소프트 액터-크리틱 알고리즘을 통해 운동학 및 열 데이터를 통합하는 KT-LSTM-SAC 기반의 폐루프 제어 전략을 제안한다.

원저자: xuelian gu, ping Li, jiale dong, yurong tao, zikai liu, chengyu yuan

게시일 2026-10-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: xuelian gu, ping Li, jiale dong, yurong tao, zikai liu, chengyu yuan

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

수 세기 동안 뜸(moxibustion)의 수행은 숙련된 기술자의 안정된 손길과 경험 있는 눈에 의존해 왔습니다. 이 전통적인 요법에서는 말린 쑥 한 줄기를 불을 붙여 피부의 특정 지점 근처에 대고 하부 조직을 따뜻하게 합니다. 목표는 표면을 태우지 않으면서도 하부 조직을 자극할 수 있는 정밀한 깊이의 열에 도달하는 것입니다. 그러나 인간의 피부는 열에 빠르게 반응하는 반면, 더 깊은 조직은 훨씬 더 느리게 따뜻해집니다. 이러한 지연은 어려운 과제를 만들어냅니다. 만약 시술자가 느린 심부 온도의 상승을 해결하기 위해 열원을 너무 가까이 가져가면, 심부 조직이 혜택을 느끼기도 전에 피부를 데게 할 위험이 있습니다. 반대로, 심부 조직이 따뜻해지는 것을 기다리기 위해 너무 오래 기다리면 표면이 너무 뜨거워질 수 있습니다. 이 과정을 모든 환자에게 일관되고 안전하게 수행하려면, 특히 환자가 치료 중에 숨을 쉬거나 몸을 움직일 때 인간의 반응 속도로는 유지하기 어려운 수준의 정밀함이 필요합니다.

이러한 인간의 한계와 치료적 요구 사이의 간극을 해결하기 위해, 상하이 과학기술대학교의 연구진은 로봇이 이 섬세한 열적 균형을 관리할 수 있는 새로운 방법을 개발했습니다. 그들은 로봇 팔이 열원을 인간의 등 모델 위에 들고 있는 컴퓨터 시뮬레이션을 만들었습니다. 로봇은 단순히 피부 온도에 반응하는 대신, 조직 깊은 곳에서 어떤 일이 일어나고 있는지 예측하도록 학습되었습니다. 연구팀은 두 개의 스트림으로 작동하는 '두 갈래 뇌'와 같은 시스템을 구축했습니다. 한 부분은 로봇의 움직임과 열원과 피부 사이의 거리를 관찰하고, 다른 한 부분은 시간 경과에 따른 온도 변화의 이력을 기억합니다. 이 두 가지 정보 스트림을 결합함으로써, 로봇은 위치를 지속적으로 조정하여 심부 조직을 꾸준하고 치료적인 온도로 유지하면서도 피부를 안전하게 보호할 수 있도록 학습합니다.

이 시스템의 핵심은 KT-LSTM-SAC라고 불리는 방법이며, 이 이름은 로봇이 어떻게 생각하는지를 설명합니다. "KT"는 운동학적-열적(kinematic-thermal)을 의미하며, 이는 로봇이 자신의 물리적 위치와 생성하는 열을 모두 고려한다는 뜻입니다. "LSTM" 부분은 로봇이 과거 온도 시퀀스를 기억하여, 열이 피부에서 깊은 층으로 전달되는 데 시간이 걸린다는 점을 이해할 수 있게 해줍니다. "SAC" 구성 요소는 사람이 균형을 잡기 위해 넘어지고 조정하며 자전거 타기를 배우는 것과 유사하게, 시행착오를 통해 로봇이 취해야 할 최선의 행동을 찾아내도록 돕는 학습 알고리즘입니다. 이 특정 연구에서 로봇의 유일한 임무는 피부와 열원 사이의 거리를 조절하며, 신체에 수직인 직선을 따라 이동하는 것이었습니다. 만약 심부 조직이 너무 차가우면 로봇은 열원을 더 가깝게 가져갔고, 너무 뜨거워지면 멀어지게 했습니다. 결정적으로, 시스템은 피부 온도가 너무 높아지거나 열원이 너무 가까워질 경우 벌점을 부여하는 엄격한 안전 규칙을 가지고 훈련되어, 로봇이 목표 온도에 도달하는 안전한 경로를 찾도록 강제했습니다.

연구진은 열이 인체 조직을 통해 퍼지는 방식과 사람의 가슴이 호흡에 따라 움직이는 방식을 포함하여, 인간의 신체를 모사한 매우 상세한 가상 환경에서 이 시스템을 테스트했습니다. 그들은 심부 조직이 43.0도씨에 도달하여 유지되는 것을 목표로 설정했는데, 이 온도는 부상을 피하면서도 효과적인 치료를 위해 알려진 온도입니다. 그들은 이 새로운 로봇 뇌를 표준 산업용 컨트롤러와 과거 온도에 대한 기억이나 두 갈래 스트림 설계를 갖추지 못한 다른 인공지능 접근 방식들을 포함한 여러 구식 방법들과 비교했습니다. 결과는 새로운 방법이 심부 조직을 원하는 온도 범위 내로 유지하는 데 훨씬 더 뛰어나다는 것을 보여주었습니다. 가장 정밀한 테스트(목표 허용 오차가 0.5도인 경우)에서, 로봇은 94.80%의 시간 동안 올바른 구역 내의 온도를 유지했습니다. 또한 평균 오차를 단 0.32도씨라는 매우 작은 수치로 유지했습니다.

아마도 더 중요한 것은, 새로운 시스템이 대안들보다 훨씬 더 안전하다는 것을 입증했다는 점입니다. 연구진이 로봇의 훈련에서 안전 규칙을 제거했을 때, 로봇은 목표 온도에 빠르게 도달하는 데 매우 뛰어났지만, 피부에 위험할 정도로 가까이 다가가 표면 온도가 급등하게 만들었습니다. 안전 제약 조건이 포함된 전체 시스템은 더 인내심을 갖도록 학습되었습니다. 이 시스템은 심부 조직에서 약간 더 높은 평균 오차를 기록했지만, 피부 온도를 훨씬 낮게 유지하고 위험한 움직임을 피했습니다. 이러한 트레이드오프(trade-off)는 로봇이 가열 속도보다 환자의 장기적인 안전을 우선시하도록 학습했음을 시사합니다. 또한 연구는 시뮬레이션을 수정하여 다른 체형이나 약간 다른 열 특성을 모사하더라도 로봇이 여전히 효과적임을 발견했으며, 이는 학습이 특정 수치에 국한되지 않고 견고함을 보여줍니다.

이러한 결과는 유망하지만, 연구진은 이 작업이 현재 시뮬레이션 단계임을 분명히 하고 있습니다. 로봇은 아직 실제 사람의 피부나 병원 환경의 물리적 로봇 팔에서 테스트되지 않았습니다. 이 연구는 컴퓨터 모델이 현재의 표준 방식보다 표면 열과 심부 조직 온도의 복잡하고 지연된 관계를 더 잘 관리할 수 있음을 입증합니다. 이는 향-후 로봇이 뜸 치료를 보조하면서 인간이 일관되게 유지하기 어려운 수준의 안정적이고 안전한 제어를 제공할 수 있음을 시사합니다. 이 기술의 다음 단계는 물리적 프로토타입을 제작하고 이를 인체 조직을 모사하는 재료로 테스트하여 가상의 성공이 실제 세계에서도 적용되는지 확인하는 것입니다. 그때까지 이 연구는 인공지능이 정밀함과 세심함을 모두 갖추고 열 요법의 미묘하고 시간 지연이 있는 물리학을 다룰 수 있다는 개념 증명으로서 자리 잡고 있습니다.

기술 요약: 의료용 로봇 보조 뜸 치료를 위한 KT-LSTM-SAC 기반 폐루프 온도 제어 전략

문제 정의
로봇 보조 뜸 치료는 현재 운영자의 경험에 크게 의존하고 있으며, 지연된 열 반응과 불충분한 폐루프 온도 안정성이라는 중대한 과제에 직면해 있다. 기존의 로봇 시스템은 혈위(acupoint) 국소화 및 표면 온도 피드백 기술은 발전했으나, 목표 심부 조직 깊이(deep-tissue depth)에서의 열 상태를 충분히 고려하지 못하는 경우가 많다. 심부 조직 온도는 비침습적으로 측정하기 어려우며, 열 전달 지연, 공간적 패턴, 그리고 열 효과의 누적 특성 때문에 표면 온도만으로는 불충분한 대리 지표가 된다. 또한, 호흡 운동은 주기적인 변위를 유발하여 일정한 치료 거리를 유지하는 것을 어렵게 만든다. 본 연구가 다루는 핵심 문제는 표면 관측값과 운동학적 데이터만을 사용하여, 열 치료의 내재된 지연 및 안전 제약 조건을 관리하면서 어떻게 심부 조직 온도(목표 43°C)를 안정적이고 안전하며 정밀하게 제어할 것인가 하는 점이다.

방법론
본 연구는 KT-LSTM-SAC(Kinematic–Thermal Dual-Stream LSTM-Enhanced Soft Actor–Critic) 방법을 제안한다. 제어 작업은 말단 장치(end-effector)의 혈위 표면 법선 방향을 따른 이격 거리(standoff distance)를 연속적으로 조정하는 것으로 구성된다. 방법론은 세 가지 주요 구성 요소로 이루어진다:

등가 온도 피드백 모델:
감축 차수 모델(reduced-order model)은 표면 온도( $T_{s,t}$ ), 이격 거리, 그리고 열 기억 상태(thermal-memory state)를 사용하여 심부 조직 온도( $\hat{T}_{d,t}$ )를 추정한다. 이 모델은 다음을 포함한다:
- 운동학적 상태(Kinematic State): 목표 혈위 위치, 표면 법선, 명령 및 실제 이격 거리, 호흡 변위(코사인-파워 함수를 통해 시뮬레이션됨), 그리고 관절 상태를 포함한다.
- 열적 상태(Thermal State): 거리의 함수로서 지수적으로 감소하는 형태로 등가 열 입력을 모델링한다. 이는 지연 및 누적된 가열 효과를 포착하기 위해 열 기억 상태( $m_t$ )를 도입한다. 심부 조직 온도는 표면 온도, 결합 계수, 그리고 회복 항을 기반으로 업데이트되며, 이는 표면보다 느린 반응을 보이는 심부 조직의 특성을 시뮬레이션한다.
KT-LSTM-SAC 제어 정책:
제어 아키텍처는 Soft Actor-Critic (SAC) 프레임워크로 입력되는 듀얼 스트림 네트워크를 활용한다:
- 운동학 스트림(Kinematic Stream): 다층 퍼셉트론(MLP)이 운동 관련 변수(위치, 거리, 호흡 교란)를 처리한다.
- 열 스트림(Thermal Stream): LSTM 네트워크가 지연된 열 역학 및 시간적 의존성을 포착하기 위해 이전 50단계의 온도 반응 이력(표면 및 추정 심부 온도)을 인코딩한다.
- 융합(Fusion): 게이트 융합 모듈(gated-fusion module)이 두 스트림의 특징을 결합하여 이격 거리 조정량( $\Delta d_t$ )을 나타내는 연속적인 행동을 출력한다.
보상 함수 및 안전 제약 조건:
보상 함수는 온도 추적과 안전 사이의 균형을 맞춘다. 여기에는 다음 항목들이 포함된다:
- 추적(Tracking): 추정된 심부 조직 온도가 목표치(43°C)에 접근하도록 유도한다.
- 안정성(Stability): 목표 밴드 내 유지를 보상한다.
- 안전 패널티(Safety Penalties): 과도한 표면 온도, 과도한 심부 온도, 불충분한 이격 거리, 그리고 누적 열 손상을 명시적으로 처벌한다.
- 매끄러움(Smoothness): 말단 장치의 급격한 행동 변화를 처벌한다.

주요 기여

듀얼 스트림 아키텍처: 본 논문은 운동학적 상태(호흡 교란 포함)와 시간적 열 특징을 융합하는 새로운 KT-LSTM-SAC 아키텍처를 도입한다. 이를 통해 정책은 표준 SAC나 LSTM-SAC 방식보다 효과적으로 거리 조정과 지연된 열 반응 사이의 관계를 학습할 수 있다.
제어를 위한 심부 조직 추정: 표면 온도에 주로 의중하는 기존 연구들과 달리, 본 연구는 등가 열 전달 모델을 통합하여 심부 조직 온도를 추정하고, 이 추정치를 제어 루프의 주요 피드백 변수로 사용한다.
안전 제약 학습: 열 안전 제약(표면 제한, 누적 손상, 이격 거리)을 보상 함수에 직접 포함시켜, 정책이 가열 효율과 환자 안전 사이의 균형을 학습하도록 보장한다.
포괄적인 시뮬레이션 프레임워크: 6자유도 로봇 팔, 인체 등 모델, 호흡 운동 시뮬레이션, 그리고 동적 열 피드백 모듈을 특징으로 하는 MuJoCo 기반 시뮬레이션 환경을 개발하여 제어 전략을 엄격하게 테스트하였다.

결과
제안된 방법은 목표 온도 43.0 ± 0.5°C 환경에서 시뮬레이션되었으며, PID, TD3, 표준 SAC, 그리고 LSTM-SAC와 비교되었다.

성능 지표: KT-LSTM-SAC는 목표 밴드 점유율 94.80%, 평균 절대 오차(MAE) 0.32°C, 그리고 평균 안전 비용 3.60 × 10⁻²를 달로 달성하였다.
비교 분석:
- PID와 비교했을 때, KT-LSTM-SAC는 현저히 높은 성공률과 낮은 추적 오차를 보였으며, 이는 지연된 열 역학 하에서 기존 제어 방식의 한계를 입증한다.
- 표준 SAC 및 TD3와 비교했을 때, 시간적 특징 추출을 위한 LSTM의 포함은 추적 정확도와 안전성을 모두 향상시켰다.
- LSTM-SAC와 비교했을 때, 운동학 스트림의 추가(KT-LSTM-SAC)는 목표 밴드 점유율을 더욱 높이고 평균 안전 비용을 감소시켰다.
- 절제 연구(Ablation Study): 안전 제약을 제거한 경우(KT-LSTM-SAC w/o Safety) MAE는 낮아졌으나(0.29°C), 평균 안전 비용(8.36 × 10⁻²)과 최대 표면 온도가 현저히 높아졌다. 이는 안전 제약이 공격적이고 위험한 가열 동작을 방지하는 데 필수적임을 확인해 준다.
강건성(Robustness): 본 방법은 주요 열 모델 파라미터의 ±10% 섭동 하에서도 100%의 성공률을 유지했으나, ±20% 섭동 하에서는 성능이 다소 저하되었다.
적응성: 컨트롤러는 인접한 목표 온도(42.0°C, 42.5°C, 43.0°C) 전반에 걸쳐 성능을 성공적으로 유지하였다.

의의 및 주장
본 논문은 KT-LSTM-SAC 방법이 기존 제어 전략에 비해 온도 추적 성능과 열 안전성 사이에서 우월한 균형을 제공한다고 주장한다. 운동학적 상태와 시간적 열 특징을 공동으로 모델링함으로써, 이 접근 방식은 생체 조직의 지연 및 누적된 열 전달 특성을 효과적으로 처리한다. 본 연구는 이 시뮬레이션 기반 프레임워크가 폐루프 온도 제어를 위한 의료용 로봇 보조 뜸 치료의 실현 가능한 단계임을 시사한다. 다만, 저자들은 현재 연구가 시뮬레이션 기반임을 인정하며, 측정 노이즈, 국소화 오류, 개인별 열 반응의 차이와 같은 실제 환경 요인을 해결하기 위해 조직 모사 팬텀 및 물리적 로봇 플랫폼을 이용한 향후 검증이 필요함을 언급하였다.

유사한 논문