💻 computer science

SWIM: Vision-Language-Grounded Soft Whole-Body Interactive Manipulation

SWIM은 확산 기반 VLA 정책과 시각적 소프트 고유 수용 감각(Visual Soft Proprioception)을 통합하여, 강건한 물리적 실행을 위해 내재적 순응성을 활용하는 실행 가능한 구동 시퀀스를 생성함으로써 소프트 연속체 로봇이 복잡한 전신 상호작용 조작을 수행할 수 있도록 하는 시각-언어 접지 프레임워크이다.

원저자: Tingcong Liu, Aye Phyu Phyu Aung, Junjie Xiong, Siyi Ma, Bo An, Ke Wu, Senthilnath Jayavelu

게시일 2026-09-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tingcong Liu, Aye Phyu Phyu Aung, Junjie Xiong, Siyi Ma, Bo An, Ke Wu, Senthilnath Jayavelu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇 공학의 세계에는 단단한 금속 프레임으로 제작된 기계와 부드럽고 유연한 재료로 만들어진 기계 사이에 뚜렷한 구분이 존재합니다. 자동차 공장에서 볼 수 있는 로봇 팔과 같은 강체 로봇은 정해진 프로그램에 따라 확실하게 움직이지만, 좁은 공간으로 비집고 들어가거나 물체를 찌그러뜨리지 않고 섬세하고 불규칙한 물체를 다루는 데 어려움을 겪습니다. 반면, 소프트 로봇은 생체 조직처럼 구부러지고, 늘어나고, 뒤틀릴 수 있는 순응형 재료로 만들어집니다. 이러한 유연성 덕분에 물체를 감싸거나 주변 환경에 맞춰 형태를 바꿀 수 있어, 좁은 공간에서의 작업이나 인간과의 안전한 상호작용을 위한 잠재적인 해결책을 제공합니다. 그러나 바로 이 유연성이 새로운 문제를 야기합니다. 무수히 많은 방식으로 변형될 수 있는 신체를 제어하는 것은 매우 어렵다는 점입니다. 인간이 "저것 좀 집어 올려"와 같은 단순한 명령을 내릴 때, 강체 로봇은 손을 움직이기 위한 단 하나의 경로를 계산할 수 있습니다. 하지만 몸 전체가 형태를 바꿀 수 있는 소프트 로봇은 동일한 목표를 달성하기 위해 자신의 전체 형태를 어떻게 뒤틀어야 할지 파악해야 하며, 이는 단순히 물체뿐만 아니라 로봇 자신의 복잡한 기하학적 구조를 실시간으로 이해해야 하는 작업입니다.

연구진은 최근 이러한 특정 과제를 해결하기 위해, 소프트 로봇이 언어와 시각적 장면을 이해하여 전신 조작(whole-body manipulation)을 수행할 수 있도록 가르치는 SWIM이라는 새로운 시스템을 개발했습니다. 연구팀은 근육이 뼈를 당기는 것과 유사하게 케이블에 의해 구동되는 나선형 로봇에 집중했는데, 이는 로봇이 물체를 굽히고, 뻗고, 감쌀 수 있게 해줍니다. 그들이 해결한 핵심적인 어려움은 기존 방식들이 종종 로봇의 팔 끝부분에만 집중하여 제어하려 했고, 나머지 몸체의 복잡한 형태를 무시했다는 점입니다. 이러한 접근 방식은 끝부분의 위치만으로는 로봇의 나머지 부분이 어떻게 굽어 있는지, 혹은 세상과 어떻게 접촉하고 있는지를 온전히 설명할 수 없기 때문에 실패했습니다. 이를 해결하기 위해 연구진은 로봇의 전체 몸 형태, 시각적 장면, 그리고 음성 명령을 동시에 살펴보는 학습 시스템을 만들었습니다. 그들은 로봇이 수천 번 연습할 수 있는 시뮬레이션 환경에서 이 시스템을 훈련시켰으며, 시스템은 물체를 집어넣거나, 목표물을 향해 뻗거나, 물체를 움켜쥐는 것과 같은 목표를 달성하기 위한 일련의 케이블 움직임 시퀀스를 예측하는 법을 배웠습니다.

그들의 방법론에서 핵심적인 혁신은 "시각적 소프트 고유 수용 감각(visual soft proprioception)"이라고 부르는 기술입니다. 간단히 말해, 이는 로봇이 카메라 이미지를 통해 자신의 몸 형태를 "보는" 법을 배워, 케이블 장력이라는 내부 지식을 보완하는 것을 의미합니다. 훈련 과정에서 시스템은 현재의 텐던(tendon) 길이 벡터를 고유 수용 입력값으로 사용하여 자신의 구성을 이해하는 한편, 시뮬레이션 상에서 로봇 몸체의 여러 지점에 대한 정확한 좌표를 함께 보여주었습니다. 컴퓨터 모델이 이 지점들이 어디에 있는지 예측하도록 강제함으로써, 시스템은 로봇의 기하학적 구조에 대한 정신적 지도를 유지하는 법을 배웠습니다. 이를 통해 로봇은 특정 물체에 도달하기 위해 물체를 집어넣을 때와는 다르게 중간 부분을 다르게 굽혀야 할 수도 있다는 점을 이해할 수 있었습니다. 또한, 목표를 향한 단 하나의 완벽한 경로를 예측하는 대신, 시스템은 가능한 성공적인 움직임의 범위를 예측하도록 학습되었습니다. 이는 매우 중요한데, 소프트 바디의 경우 물체를 감싸는 데 있어 종종 다양한 방법이 존재하며, 시스템이 하나의 경직된 계획에 갇히기보다는 어떤 유효한 옵션이라도 선택할 수 있을 만큼 유연해야 했기 때문입니다.

연구진은 이 접근 방식을 두 가지 방식으로 테스트했습니다. 첫째는 컴퓨터 시뮬레이션에서, 둘째는 실제 물리적 로봇에서였습니다. 시뮬레이션에서 이 시스템은 매우 성공적이었으며, 물체 넣기 작업은 100%, 목표물 향해 뻗기 96%, 물체 움켜쥐기 88%의 성공률을 기록했습니다. 이 결과는 몸 형태에 대한 인지나 유연한 예측 모델을 사용하지 않은 다른 방법들보다 현저히 뛰어난 수치였습니다. 그러나 진정한 시험대는 실제 세계로 옮겨갔을 때였습니다. 연구진이 로봇의 뇌를 실제 기계에 직접 연결하여 카메라 및 모터와 실시간으로 작동시키려 했을 때, 성능이 급격히 떨어졌습니다. 로봇은 움켜쥐기 시도 중 75%에서 실패했는데, 이는 주로 처리 과정의 미세한 지연과 시뮬레이션과 현실 사이의 차이로 인해 로봇이 오래된 정보에 기반하여 행동했기 때문입니다.

이를 극복하기 위해 연구진은 영리한 배포 전략을 도입했습니다. 로봇이 움직이는 동안 실시간으로 생각하고 반응하게 하는 대신, 먼저 가상 시뮬레이션에서 전체 움직임 시퀀스를 계획하도록 하는 것입니다. 로봇은 실제 세계를 관찰하고 장면의 디지털 트윈을 생성한 다음, 머릿속에서 과업을 수행하며 전체 명령 목록을 생성합니다. 일단 이 전체 시퀀스가 준비되면, 로봇은 다시 멈춰서 보거나 생각하지 않고 그대로 실행합니다. 로봇의 몸은 본래 부드럽고 유연하기 때문에, 지속적인 컴퓨터 수정 없이도 작은 충돌이나 접촉 변화를 스스로 처리할 수 있습니다. 이 "계획 후 실행(plan then execute)" 방식을 사용했을 때, 물리적 로봇의 성공률은 물체 넣기 100%, 목표물 향해 뻗기 80%, 움켜쥐기 75%로 다시 급증했습니다. 이는 로봇 자신의 형태에 대한 깊은 이해과 자연스러운 물리적 유연성을 활용하는 전략을 결합함으로써, 소프트 로봇이 단순한 언어의 안내를 받아 이전에는 도달할 수 없었던 복잡한 전신 작업을 수행할 수 있음을 입증했습니다.

기술 요약: SWIM – 시각-언어 기반의 소프트 전신 상호작용 조작 (Vision-Language-Grounded Soft Whole-Body Interactive Manipulation)

1. 문제 정의

본 논문은 소프트 로봇을 위한 시각-언어 기반의 전신 조작(vision-language-grounded whole-body manipulation) 과제에 대해 다룹니다. 소프트 로봇은 분산된 신체 변형과 접촉(예: 감싸기, 둘러싸기)을 통해 독특한 능력을 제공하지만, 고수준의 언어 지시와 시각적 맥락을 실행 가능한 전신 구동 시퀀스로 변환하는 것은 여전히 어렵습니다.

저자들은 기존 방식들을 저해하는 세 가지 근본적인 불일치(mismatch)를 식별했습니다:

액션-인터페이스 불일치 (Action-Interface Mismatch): 표준 시각-언어-액션(VLA) 모델은 종종 말단 장치(end-effector)의 움직임(카테시안 포즈)을 출력하는데, 이는 소프트 조작에 필요한 협응된 신체 변형과 분산된 접촉을 명시하지 못합니다.
전신 상태 불일치 (Whole-Body State Mismatch): 말단 장치의 상태는 고차원의 신체 형상을 포착하지 못합니다. 또한, 액션 타겟은 간접적인 기하학적 감독만을 제공하므로, 제한된 데모로부터 신체 변형과 구동 사이의 관계를 학습하는 것을 어렵게 만듭니다.
실행 불일치 (Execution Mchismatch): 시뮬레이션-실제 간의 격차(sim-to-real discrepancies)와 온라인 배포 시의 추론/통신 지연은 명령이 일치하지 않는 상태에 적용되게 하여 물리적 실행 실패를 초래합니다.

목표는 초기 RGB 관측값( $I$ )과 언어 지시문( $\ell$ )을 전신 변형 및 분산 접촉을 통해 과업을 완수하는 완전한 구동 명령 시퀀스( $U$ )로 매핑하는 것입니다.

2. 방법론: SWIM 프레임워크

제안된 프레임워크인 SWIM은 훈련과 추론/배포라는 두 가지 별개의 단계로 작동합니다. 본 연구에서는 텐던 구동 나선형 연속체 로봇(SpiRob)을 테스트베드로 활용합니다.

A. SWIM-VLA: 기하학적 감독을 통한 학습

핵심 정책인 SWIM-VLA는 시뮬레이션된 상호작용 궤적을 바탕으로 훈련됩니다. 이 모델은 OpenVLA-OFT 백본을 기반으로 하며, 상태 및 액션 불일치를 해결하기 위해 두 가지 핵심 구성 요소를 도입합니다.

공유 멀티모달 표현 (Shared Multimodal Representation): 정책은 RGB 관측값, 언어 지시문, 그리고 현재의 텐던 길이 벡터(저차원 고유 수용 감각 제공)를 하나의 공유된 표현( $h_t$ )으로 인코딩합니다.
확산 액션 헤드 (Diffusion Action Head): 소프트 로봇 제어의 다중 모드 특성(하나의 과업을 달성하기 위해 여러 구동 시퀀스가 존재할 수 있음)을 처리하기 위해, 정책은 $H$ -단계 구동 명령 청크의 조건부 분포를 예측하는 확산 모델을 사용합니다. 이를 통해 모델은 단일 결정론적 출력이 아닌 다양한 유효 전략을 포ر 포착할 수 있습니다.
시각적 소프트 고유 수용 (Visual Soft Proprioception, VSP): 직접적인 기하학적 감독의 부재를 해결하기 위해, 확산 헤드와 함께 보조적인 VSP 헤드가 훈련됩니다. VSP는 로봇의 백본을 따라 분산된 순서화된 "신체 앵커(body anchors)"의 이미지 평면 좌표를 예측합니다. 이러한 앵커들의 위치를 시뮬레이션의 지면 참값(ground truth)과 비교하여 위치 오차를 최소화함으로써, 공유 표현이 전신 기하학적 정보를 유지하도록 강제하며, 이를 통해 제한된 데모로부터의 학습 능력을 향상시킵니다.

결합된 훈련 목적 함수는 확산 손실( $L_{act}$ )과 VSP 손실( $L_{VSP}$ )을 결로합니다. 훈련 후 VSP 헤드는 폐기되며, 인코더와 확산 헤드가 배포 가능한 정책을 형성합니다.

B. 가상 롤아웃(Virtual Rollout) 및 체화된 기계적 지능

추론 단계에서 SWIM은 물리적 로봇에 대한 온라인 정책 쿼리를 피하여 지연 시간과 sim-to-real 격차를 완화합니다. 대신 가상 롤아웃 전략을 채택합니다:

초기화: 초기 물리적 RGB 관측값을 사용하여 교정된 객체 모델이 포함된 시뮬레이터(MuJoCo) 내에 가상 장면을 생성합니다.
반복적 가상 롤아웃: 훈련된 SWIM-VLA 정책은 시뮬레이션된 환경을 반복적으로 쿼리합니다. 명령 청크를 예측하고, 시뮬레이션 내에서 첫 $K$ 단계를 실행하며, 시뮬레이션 상태를 업데이트하고, 과업이 완료될 때까지 이를 반복합니다.
개루프 실행 (Open-Loop Execution): 생성된 완전한 명령 시퀀스는 물리적 로봇에서 개루프 방식으로 실행됩니다.
순응성(Compliance)의 역할: 이 프레임워크는 **체화된 기계적 지능(embodied mechanical intelligence)**에 의존합니다. 로봇의 고유한 순응성은 실시간 시각 피드백이나 정책 재계획 없이도 물리적 실행 중 발생하는 접촉 변화에 국부적으로 적응할 수 있게 합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 주장합니다:

SWIM 프레임워크: 물리적 실행 중의 실시간 VLA 추론 필요성을 제거하고, 고유한 신체 순응성을 활용하여 완전한 구동 시퀀스를 생성하는 가상 롤아웃 배포 전략을 제공합니다.
SWIM-VLA 정책: 텐던 상태에 조건화된 정책으로, 확산 액션 헤드와 시각적 소프트 고유 수용(VSP)을 결합합니다. 이 설계는 조건부 액션 분포를 모델링하고 기하학적 감독을 사용하여 신체 형상 정보를 유지함으로써, 제한된 데이터로부터의 학습을 가능하게 합니다.
포괄적 평가: 평면 텐던 구동 로봇에서의 패킹(packing), 도달(reaching), 파지(grasping) 과업에 대한 평가를 통해, 직접 온라인 배포와 비교하여 가상 롤아웃 배포의 효용성을 입증합니다.

4. 실험 결과

프레임워크는 24개의 관절과 2개의 텐던 액추에이터를 가진 평면형 SpiRob에서 평가되었습니다.

시뮬레이션 결과

학습에 사용되지 않은 테스트 조건에서, SWIM-VLA는 다음과 같은 성공률을 달성했습니다:

패킹 (Packing): 100%
도달 (Reaching): 96%
파지 (Grasping): 88%

이 결과는 적응형 OpenVLA-OFT 베이스라인(90%, 72%, 52%) 및 어블레이션 변형 모델들을 능가했습니다. 구체적으로:

VSP를 제거했을 때 도달 및 파지 성공률이 각각 90%와 78%로 감소하였으며, 이는 원격 배치(distal placement)를 위한 기하학적 감독의 중요성을 강조합니다.
확산 헤드를 결정론적 회귀 모델로 대체했을 때 파지 성공률이 69%로 감소하였으며, 이는 접촉이 빈번한 과업에서 액션 분포를 모델링하는 것의 가치를 확인시켜 줍니다.

물리적 배포 결과

저자들은 동일한 정책 체크포인트를 사용하여 SWIM(가상 롤아웃 + 개루프 실행)과 Direct SWIM-VLA(물리적 로봇에서의 온라인 쿼리)를 비교했습니다:

패킹: SWIM은 100% (20/20)를 달성한 반면, 직접 배포는 75% (15/20)를 기록했습니다.
도달: SWIM은 80% (16/20)를 달성한 반면, 직접 배포는 40% (8/20)를 기록했습니다.
파지: SWIM은 75% (15/20)를 달성한 반면, 직접 배포는 25% (5/20)를 기록했습니다.

SWIM은 직접적인 sim-to-real 전이에서 손실된 성능의 상당 부분을 회복했지만, 장면 초기화 시의 객체 위치 오류 및 재료/구조적 차이로 인해 물리적 성공률은 시뮬레이션 결과보다는 약간 낮았습니다.

5. 의의 및 주장

본 논문은 SWIM을 언어와 시각을 소프트 로봇 조작으로 변환하는 데 따르는 특정 과제들에 대한 해결책으로 제시합니다. 그 의의는 다음과 같습니다:

Sim-to-Real 격차 해소: 정책 상호작용 루프를 가상 환경으로 옮기고 최종 실행을 로봇의 물리적 순응성에 의존함으로써, SWIM은 온라인 배포 시 발생하는 추론 지연 및 모델 부정확성 문제를 완화합니다.
VLA의 기하학적 인식: VSP의 도입은 신체 기하학을 명시적으로 감독하는 것이 제한된 데이터로부터 전신 구동 전략 학습을 개선함을 보여주며, 이를 통해 "전신 상태 불일치" 문제를 해결합니다.
다중 모드 액션 처리: 확산 모델의 사용은 소프트 로봇이 단일 과업에 대해 여러 유효한 구동 경로를 가질 수 있음을 인정하며, 이는 결정론적 회귀 방식에서는 놓치기 쉬운 미묘한 차이입니다.

저자들은 현재 연구가 평면 조작, 사전 정의된 리셋 구성, 고정된 파지 타겟에 국한되어 있으며, 향후 3D 상호작용 및 움직이는 객체에 대한 연구를 계획하고 있다고 언급했습니다.