💻 computer science

Module Number Adaptive Visual Shape Control for Serial Modular Soft Robots

이 논문은 로컬 이미지 패치 분해와 기하학적 데이터 증강을 통해 단일 모듈로 학습된 제어기를 재사용함으로써, 변화하는 모듈 수와 환경 조건에 걸쳐 확장 가능한 전신 구성 제어를 가능하게 하는 직렬 모듈형 소프트 공압 로봇을 위한 모듈 수 적응형 시각 형상 제어 방법을 소개한다.

원저자: Kyohei Akamine, Takato Horii, Yusuke Sakaue, Hiroki Ishizuka

게시일 2026-09-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kyohei Akamine, Takato Horii, Yusuke Sakaue, Hiroki Ishizuka

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

소프트 로봇은 딱딱한 금속이나 플라스틱 대신 유연하고 고무 같은 재질을 사용하는 독특한 공학 분야입니다. 정해진 고정 관절로 움직이는 전통적인 기계와 달리, 이 로봇들은 살아있는 조직처럼 구부러지고 뒤틀리며, 손상을 입히지 않고도 좁은 공간을 통과하거나 섬세한 물체를 다루거나 울퉁불퉁한 지형을 탐색할 수 있습니다. 몸체가 부드럽고 말랑말랑한 구성 요소로 이루어져 있기 때문에 단 하나의 고정된 형태를 갖지 않으며, 대신 전체 형상이 지속적으로 변할 수 있습니다. 이러한 유연성은 의료 절차나 수색 및 구조 임무와 같이 제한된 환경에서의 작업에 매우 유용하지만, 제어하기가 매우 까다롭다는 단점도 있습니다. 전통적인 컴퓨터 모델은 소프트 로봇이 정확히 어떻게 움직일지 예측하는 데 어려움을 겪는데, 이는 재료가 복잡하고 예측 불가능한 방식으로 휘어지기 때문입니다. 이를 해결하기 위해 연구자들은 카메라가 로봇을 관찰하고 인간이 자신의 손을 보며 움직임을 조절하는 것과 유사하게 실시간으로 움직임을 조정하는 시각 기반 제어 방식에 주목했습니다. 그러나 주요한 난관이 남아 있었습니다. 대부분의 시각 제어 시스템은 특정 크기의 로봇에 맞춰 제작된다는 점입니다. 만약 로봇이 다섯 개의 연결된 마디로 구성되어 있다면, 그 제어 소프트웨어는 완전히 새로 작성하거나 다시 학습시키지 않고서는 세 개나 일곱 개의 마디로 만들어진 로봇에 사용할 수 없습니다.

한 연구팀은 새로운 방법을 개발하여, 각 크기마다 새로운 학습 데이터 없이도 다양한 길이의 소프트 로봇을 관리할 수 있게 했습니다. 그들은 동일한 공기 주입식 마디를 일렬로 연결하여 만든 유형의 로봇에 집중했습니다. 실험에서 그들은 단 하나의 마디부터 끝과 끝이 연결된 다섯 개의 마디까지 구성된 로봇들을 제작했습니다. 이들의 발견의 핵심은 로봇의 전체 몸체 이미지를 작은 개별 조각들로 나누어 각 마디를 별개의 개체로 취급하는 기술입니다. 다섯 개의 마디를 가진 로봇을 하나의 거대하고 복잡한 물체로 학습시키는 대신, 시스템은 단 하나의 마디가 어떻게 움직이는지를 학습한 다음, 그 지식을 주변에 몇 개의 이웃이 있든 상관없이 모든 마디에 적용합니다. 이 접근 방식 덕분에 연구자들이 컴퓨터에게 단 하나의 마디를 제어하는 법을 가르치면, 그 동일한 "두뇌"를 한 개, 세 개, 또는 다섯 개의 마디를 가진 로봇을 제어하는 데 즉시 재사용할 수 있습니다.

이를 구현하기 위해 연구자들은 마디가 줄의 어느 위치에 있느냐에 따라 모습이 달라진다는 사실을 극복해야 했습니다. 다섯 개 마디로 이루어진 로봇의 맨 아래에 있는 마디는 테이블 위에 홀로 놓인 단일 마디와 비교했을 때 카메라 시야의 다른 부분에 나타나며 다른 각도로 보이게 됩니다. 컴퓨터가 이러한 시각적 차이를 무시하도록 가르치기 위해, 그들은 훈련 단계에서 '기하학적 데이터 증강(geometric data augmentation)'이라는 기술을 사용했습니다. 이는 단일 마디의 이미지를 수천 가지의 다양한 방식으로 인위적으로 회전시키고 이동시켜, 동일한 고무 조각이 다양한 위치와 방향으로 나타날 수 있음을 컴퓨터에게 효과적으로 보여주는 과정이었습니다. 이러한 다양한 뷰를 통해 훈련함으로써, 컴퓨터는 마디의 특정 위치가 아닌 본질적인 형태를 인식하는 법을 배웠습니다. 시스템이 다중 마디 로봇에 배치되었을 때, 시스템은 특수 도구를 사용하여 카메라 피드에서 각 마디를 찾아내고 잘라낸 뒤, 이를 동일한 제어 모듈로 전달했습니다. 그러면 모듈은 원하는 목표 형상에 맞추기 위해 해당 마디에 필요한 공기 압력 조정을 계산했습니다.

연구진은 실험실에 매달린 물리적 로봇을 대상으로 표준 웹캠을 사용하여 시스템을 테스트했습니다. 그들은 로로봇이 비틀리거나 앞으로 굽어지는 것과 같은 특정 모양으로 굽어지도록 프로그래밍했으며, 실제 로봇이 목표 이미지와 얼마나 일치하는지를 측정했습니다. 결과는 시스템이 한 개에서 다섯 개의 마디를 가진 로봇을 목표 형상으로 성공적으로 유도했음을 보여주었습니다. 마디가 더 많은 로봇일수록 안정화되는 데 시간이 약간 더 걸리고 오차가 조금 더 나타났지만, 제어 시스템은 추가 학습 없이도 모든 구성에서 효과적으로 작동했습니다. 또한 시스템은 환경 변화에 대해서도 견고함을 입증했습니다. 방의 조명이 바뀌거나 배경에 물체가 놓이거나, 로봇 끝에 무거운 무게가 추가되었을 때도 제어를 유지했습니다. 한 테스트에서는 다섯 개 마디 로봇의 끝에 500g의 질량을 부착하여 실제 환경의 로봇이 짊어질 수 있는 추가 하중을 시뮬레이션했으나, 시스템은 여전히 로봇을 올바른 자세로 유도하는 데 성공했습니다.

시스템의 신뢰성을 결정짓는 중요한 부분은 누락된 정보를 처리하는 능력이었습니다. 실제 상황에서는 로봇의 일부가 자신의 몸체나 사람의 손, 혹은 다른 물체에 의해 가려져 카메라가 특정 근육이나 마디를 놓칠 수 있습니다. 연구진은 주변 부분을 바탕으로 누락된 시각 데이터를 추측할 수 있는 경량 네트워크를 구축했습니다. 로봇의 형태 중 일부가 가려졌을 때, 이 네트워크는 누락된 이미지를 재구성하여 제어 시스템이 원활하게 계속 작동할 수 있도록 했습니다. 이 재구성이 없었다면 로봇은 움직임에 어려움을 겪거나 목표에 도달하지 못했을 것입니다. 이 연구는 복잡한 전체 몸체의 문제를 단순한 국소적 과제로 분해함으로써, 단일 제어 모델이 훨씬 더 크고 복잡한 기계를 다룰 수 있도록 확장될 수 있음을 보여주었습니다. 이 발견은 향후 소프트 로봇이 서로 다른 수의 부품으로 조립 및 재조립되더라도 동일한 제어 소프트웨어가 즉시 작동하여, 로봇의 구성이 바뀔 때마다 새로운 데이터를 수집하거나 시스템을 다시 학습시킬 필요를 없앨 수 있음을 시사합니다.

기술 요약: 직렬 모듈형 소프트 로봇을 위한 모듈 수 적응형 시각적 형상 제어

1. 문제 정의

공압식 액추에이터로 구성된 모듈형 소프트 로봇은 구속된 환경 및 비정형 환경에서 운용할 수 있는 상당한 잠재력을 가지고 있다. 그러나 이러한 로봇의 전신 형상을 제어하는 것은 높은 자유도, 재료의 비선형성, 이력 현상(hysteresis), 그리고 제조 편차로 인해 매우 어렵다. 복잡한 해석적 모델링을 우회하기 위해 데이터 기반 제어 방법들이 등장했으나, 기존 방식들은 대개 고정된 로봇 구조를 위해 학습된 컨트롤러에 의존한다는 한계가 있다.

현재의 이미지 기반 전신 형상 제어에서 결정적인 한계는 확장성(scalability)의 부족이다. 직렬 소프트 로봇 내의 모듈 수가 변하면, 카메라의 시야(field of view) 내에서 모듈의 공간적 분포가 변화한다. 결과적으로, 특정 구성(예: 단일 모듈)에 대해 학습된 컨트롤러는 새로운 학습 데이터를 수집하고 모델을 재학습하지 않고서는 모듈 수가 다른 구성에 직접 재사용될 수 없다. 본 논문은 단일 모듈 구성으로부터 학습된 제어 지식만을 사용하여 다양한 수의 모듈에 적응할 수 있는 제어 프레임워크의 필요성을 다룬다.

2. 방법론

제안된 프레임워크는 전역 제어 문제를 국부적인 모듈 수준의 과업으로 분해함으로써 확장 가능한 전신 제어를 달성한다. 시스템은 모듈 추출기(Module Extractor), 모듈 컨트롤러(Module Controller), 그리고 **마스크 재구성 네트워크(Mask Reconstruction Network)**의 세 가지 주요 구성 요소로 이루어져 있다.

A. 시스템 아키텍처

모듈 추출기 (Module Extractor):
- 전신 이미지에서 각 모듈의 경계 상자(bounding box)를 식별하기 위해 인스턴스 분할 모델인 모듈 세그멘터(Module Segmenter, MS)(Detectron2 기반)를 활용한다.
- 추출된 모듈들은 현재 이미지와 목표 이미지 간의 일관된 대응 관계를 구축하기 위해 수직 위치(위에서 아래로)에 따라 정렬된다.
- 전신 이미지는 각 모듈에 해당하는 국부 패치(local patch)로 크롭된다. 배경 노이즈를 줄이기 위해 패치 경계에 보간(interpolation) 과정이 적용된다.
- 단일 MS가 테스트된 모든 구성(1~5개 모듈)을 포함하는 결합된 데이터셋을 통해 미세 조정(fine-tuning)되어, 전체 모듈 수와 관계없이 모듈을 국지화할 수 있다.
모듈 컨트롤러 (Module Controller):
- 현재 상태와 목표 상태의 차이를 바탕으로 구동 전압을 반복적으로 업데이트하는 폐루프(closed-loop) 방식으로 작동한다.
- 입력 처리: 각 모듈 패치에 대해 **액추에이터 세그멘터(Actuator Segmenter, AS)**가 세 개의 공압 인공 근육(좌, 중, 우)을 식별한다. 마스크는 일관된 공간 채널 순서(좌-중-우)를 보장하기 위해 중심 x-좌표를 기준으로 재정렬된다.
- 상태 표현: 컨트롤러의 입력 텐서는 다음의 9개 채널 결합으로 구성된다:
  - 현재 이진 마스크 ( $M_{t,n}$ )
  - 목표 이진 마스크 ( $M_{targ,n}$ )
  - 현재 명령 전압으로부터 브로드캐스트된 정규화된 전압 맵 ( $Q_{t,n}$ )
- 예측 모델: CNN 기반 전압 예측 모델( $I_\theta$ )이 원하는 전압 벡터를 추정한다. 최종 명령은 예측된 전압과 현재 전압의 차이에 1차 이득(gain, $K=0.5$ )을 적용한 후, 유효한 전압 범위 내로 클리핑(clipping)하여 업데이트된다.
- 학습 전략: 컨트롤러는 오직 단일 모듈의 시각 및 구동 데이터만을 사용하여 학습된다. 더 긴 체인의 하류(downstream) 모듈로의 전이를 용이하게 하기 위해, 학습 과정 중 기하학적 데이터 증강(무작위 회전 및 이동)이 적용된다. 이는 하류 모듈이 다중 모듈 설정에서 나타낼 수 있는 위치 및 방향 변화를 시뮬레이션한다.
마스크 재구성 네트워크 (Mask Reconstruction Network):
- 폐쇄(occlusion), 중첩 또는 조명 변화로 인해 발생하는 시각 정보의 누락 문제를 해결한다.
- 경량 U-Net 기반 네트워크( $R_\phi$ )가 누락된 액추에이터 마스크 채널을 재구성한다.
- 메커니즘: 특정 채널(예: 왼쪽 마스크)이 누락되거나 신뢰할 수 없는 경우, 네트워크는 남은 두 개의 마스크 채널과 현재 전압 벡터를 입력으로 받아 누락된 채널을 예측한다. 이를 통해 컨트롤러가 일관된 9채널 입력 텐서를 받을 수 있도록 보장한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 제시한다:

구성적 시각 제어 프레임워크: 별도의 구성별 제어 데이터 수집이나 컨트롤러 재학습 없이, 오직 단일 모듈 데이터로 학습된 컨트롤러를 다양한 수의 모듈(1~5개)을 가진 로봇에 재사용할 수 있는 방법론을 제시하였다.
증강을 통한 확장 가능한 전이: 단일 모듈 학습 시 적용된 기하학적 데이터 증강(회전 및 이동)이 시각적 분포 변화를 효과적으로 억се(suppress)하여, 컨트롤러가 더 긴 직렬 체인의 하류 모듈로 일반화될 수 있음을 입증하였다.
강건성 검증: 변화하는 모듈 수, 환경적 교란(조명, 배경, 아핀 변환), 페이로드 하중 및 합성 마스크 손실 조건 하에서 물리적 로봇에 대한 컨트롤러의 성능을 실험적으로 검증하였다.

4. 실험 결과

물리적인 모듈형 소프트 공압 로봇(최대 5개 모듈, 총 길이 875mm)을 대상으로 단일 RGB 카메라를 사용하여 실험을 수행하였다.

확장성 (1~5개 모듈): 단일 모듈 데이터로만 학습된 컨트롤러는 1개에서 5개 모듈까지의 로봇을 목표 자세(비틀기, 전진, 후진 등)로 성공적으로 수렴시켰다. 모듈 수가 증가함에 따라 평균 제곱 오차(MSE)와 그 표준 편차가 약간 증가하였으나(오차 누적을 의미), 이미지 오차는 시간이 지남에 따라 지속적으로 감소하여 약 20초 이내에 수렴하였다.
데이터 증강의 영향: 기하학적 증강을 적용한 경우와 적용하지 않은 경우를 비교한 실험 결과, 증강이 모듈 수 증가에 따른 오차 상승을 유의미하게 억제함을 확인하였으며, 이는 제어 정책의 일반화 능력을 입증한다.
환경 강건성: 시스템은 변경된 조명, 배경 장애물, 그리고 피드백 이미지의 합성 아핀 변환(이동 및 회전) 조건에서도 성능을 유지하였다.
페이로드 하중: 5개 모듈 로봇의 끝단에 500g의 페이로드를 부착했을 때, 컨트롤러는 목표 형상으로 성공적으로 수렴하였으나, 자세에 따른 오차의 분산은 증가하였다.
마스크 재구성: 하나의 액추에이터 마스크 채널을 합성적으로 제거한 실험에서, 재구성 네트워크는 누락된 시각적 특징을 성공적으로 복원하여 로봇이 목표 자세로 수렴할 수 있도록 하였다. 재구성이 없었을 경우 로봇은 효과적으로 움직이지 못했다.

5. 의의 및 한계점

본 연구는 직렬 모듈형 소프트 로봇을 위한 확장 가능하고 마커가 필요 없는(markerless) 전신 형상 제어를 가능하게 한다고 주장한다. 핵심적인 의의는 최소한의 단일 모듈 데이터셋으로 학습된 제어 모델을 재학습 없이 복잡하고 가변적인 길이의 구조체에 배포할 수 있다는 점에 있다. 이는 데이터 수집 부담을 줄이고 동적인 환경에서 모듈형 로봇의 재구성을 용이하게 한다.

저자들은 다음과 같은 한계점을 겸허히 인정하였다:

오차 누적: 모듈 수에 따라 정상 상태 오차가 증가하는데, 이는 하중 분포(중력 모멘트)의 변화와 단안 시각(monocular vision)에 내재된 깊이 정보의 손실에 기인한다.
데이터 증강의 한계: 현재의 2D 회전 및 이동 증강은 깊이 변화에 따른 겉보기 스케일 변화(3D 변화)를 완전히 재현하지 못한다.
목표 생성: 본 연구는 물리적으로 실행 가능한 목표 이미지가 제공된다고 가정하며, 고수준 플래너나 스케치로부터 그러한 목표를 생성하는 문제는 다루지 않는다.

결과에 따르면 단일 모듈 학습이 전신 제어로 구성될 수는 있으나, 긴 체인에서의 물리적 결합과 깊이 모호성이 정밀도에 실질적인 제한을 가할 수 있으며, 향후 연구에서 하중 보상이나 3D 인지 증강을 통해 이를 해결할 수 있을 것으로 보인다.