💻 computer science

Swim2Real: VLM-Guided System Identification for Sim-to-Real Transfer

이 논문은 비전-언어 모델 (VLM) 의 피드백을 활용하여 수동적인 설계 단계 없이 비디오만으로 16 개 파라미터를 동시에 보정하고, 이를 통해 물리 로봇에 대한 제로샷 강화학습 이동을 가능하게 하는 'Swim2Real' 파이프라인을 제안합니다.

원저자: Kevin Qiu, Kyle Walker, Mike Y. Michelis, Marek Cygan, Josie Hughes

게시일 2026-03-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kevin Qiu, Kyle Walker, Mike Y. Michelis, Marek Cygan, Josie Hughes

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"로봇 물고기가 실제 물속에서 어떻게 헤엄칠지, 컴퓨터 시뮬레이션에서 완벽하게 배울 수 있게 해주는 새로운 방법"**을 소개합니다.

기존에는 로봇 물고기를 실제로 움직이게 하려면, 엔지니어들이 수동으로 수많은 변수를 일일이 조정하고 실패를 반복해야 했습니다. 마치 조리법 없이 오븐의 온도와 시간을 일일이 guessed(추측) 하며 케이크를 굽는 것과 비슷했죠.

하지만 이 연구팀이 개발한 'Swim2Real(수영2현실)' 시스템은 **AI(시각 - 언어 모델)**를 고용해서 이 과정을 자동화했습니다.

이 과정을 쉽게 이해할 수 있는 비유와 단계별로 설명해 드릴게요.

🐟 1. 문제: "가짜 물고기와 진짜 물고기의 괴리"

컴퓨터 안의 로봇 물고기와 실제 물속의 로봇 물고기는 생김새는 비슷해도, 물속에서 움직이는 방식은 다릅니다.

비유: 컴퓨터 게임 속 캐릭터가 물속을 헤엄칠 때는 물의 저항을 단순하게 계산하지만, 실제 로봇은 물의 흐름, 꼬리의 유연함, 모터의 힘 등 복잡한 요소들이 얽혀 있어 예상치 못한 방향으로 휘어지거나 멈추는 경우가 많습니다.

🧠 2. 해결책: "AI 요리사 (VLM) 의 도움"

이 연구의 핵심은 **VLM(시각 - 언어 모델, 예: 지미니 같은 AI)**을 시뮬레이션의 '코치'로 세운 것입니다.

기존 방식 (블랙박스): "오류가 10% 나요. 파라미터를 조금 바꿔보세요." (숫자만 보고 무작정 조정)
Swim2Real 방식 (AI 코치): "컴퓨터 속 물고기는 꼬리가 너무 세게 휘어지고, 앞으로 나가는 힘이 부족해요. 그래서 꼬리 관절의 강성을 높이고, 물 저항 계수를 줄여야 합니다."

AI 가 실제 영상과 시뮬레이션 영상을 비교하며, "왜 차이가 나는지"를 이유를 들어 설명하고 조정 방향을 제안합니다.

🎯 3. 핵심 기술: "후퇴하는 탐색 (Backtracking Line Search)"

AI 가 "꼬리 강성을 높여야 해!"라고 제안할 때, 얼마나 높여야 할지는 잘 모릅니다. 너무 많이 올리면 오히려 더 엉망이 될 수 있죠.

비유: 요리사가 "소금을 조금 더 넣어"라고 했을 때, 한 번에 한 숟가락을 넣는 게 아니라, 반 숟가락, 1/4 숟가락씩 나누어 넣으며 맛을 보는 것과 같습니다.
이 시스템은 AI 가 제안한 조정량을 한 번에 다 적용하지 않고, 단계별로 줄여가며 "이 정도면 괜찮네?"라고 검증합니다. 덕분에 성공 확률이 3 배나 높아졌습니다.

🚀 4. 결과: "실제 물고기가 된 로봇"

이 과정을 통해 조정된 시뮬레이션에서 학습한 로봇 물고기는 실제 물속에서도 놀라운 성과를 냈습니다.

정확도: 기존 방법들보다 실제 물고기의 속도와 움직임에 더 정확하게 맞춰졌습니다. (오차가 43% 감소)
성공률: AI 코치가 5 번 실험을 모두 성공시켰지만, 기존 방법 중 하나는 2 번이나 완전히 실패했습니다.
실제 적용: 시뮬레이션에서 배운 대로 실제 로봇 물고기에 명령을 내렸더니, 실제 물속에서도 목표 지점을 향해 헤엄쳐 갔습니다. (비록 약간의 왼쪽으로 휘어지는 경향은 있었지만, 방향을 잡는 데는 성공했습니다.)

💡 요약: 왜 이것이 중요한가요?

이 연구는 **"로봇을 실제 세계에 적용할 때, 사람이 일일이 수동으로 튜닝할 필요 없이, AI 가 영상을 보고 스스로 학습하게 할 수 있다"**는 것을 증명했습니다.

과거: 엔지니어가 "이게 왜 안 되지?"라고 고민하며 밤을 새야 함.
지금: AI 가 "이게 문제야, 이렇게 고쳐보자"라고 말해주고, 로봇이 스스로 실제 환경에 적응함.

이는 수중 로봇뿐만 아니라, 미래의 모든 로봇이 복잡한 현실 세계에 쉽게 적응할 수 있는 자동화된 길을 열어준 획기적인 연구입니다. 마치 로봇에게 '직관'을 심어준 것과 같습니다.

1. 문제 정의 (Problem)

로봇의 시뮬레이션 (Sim) 에서 학습된 제어 정책 (Policy) 을 실제 하드웨어 (Real) 에 적용하는 Sim-to-Real Transfer는 로봇 공학의 핵심 과제입니다. 특히, 연성 (Soft) 및 수중 로봇의 경우 다음과 같은 어려움이 존재합니다:

비선형 유체 - 구조 결합 (Nonlinear Fluid-Structure Coupling): 물의 저항과 로봇 몸체의 변형이 복잡하게 상호작용하여 파라미터 공간이 매우 혼란스럽고 (Chaotic) 비선형적입니다.
수동 튜닝의 한계: 기존 방법들은 파라미터를 수동으로 그룹화하고, 각 그룹에 대해 FFT 분석, 그리드 서치, 베이지안 최적화 등 서로 다른 방법을 단계별로 적용해야 했습니다. 이는 전문가의 개입을 필요로 하며 확장성이 떨어집니다.
시뮬레이션 - 현실 간극 (Sim-to-Real Gap): 단순화된 유체 모델은 실제 물리 현상을 완벽히 재현하지 못해, 시뮬레이션에서 학습된 정책이 실제 로봇에서는 성능이 저하됩니다.

이 논문은 비디오 입력만으로 모든 파라미터를 자동으로 보정하고, 이를 통해 실제 로봇에 제어를 배포하는 완전 자동화된 파이프라인을 제안합니다.

2. 방법론 (Methodology)

논문에서 제안한 Swim2Real은 비전 - 언어 모델 (VLM, Vision-Language Model) 을 활용한 시스템 식별 파이프라인입니다. 주요 구성 요소는 다음과 같습니다.

가. VLM 기반 보정 (VLM-Guided Calibration)

입력: 시뮬레이션과 실제 로봇의 수영 비디오 (스켈레톤 오버레이 포함) 와 수치적 데이터 (오차, 속도, 현재 파라미터 등) 를 VLM 에 제공합니다.
추론: VLM 은 비디오를 분석하여 물리적 불일치 (예: 꼬리가 너무 많이 휘어짐, 추력이 부족함 등) 를 식별하고, 어떤 시뮬레이션 파라미터가 이를 유발하는지 물리적 논리를 통해 추론합니다.
제안: VLM 은 16 개의 파라미터 (유체 계수, 모터 기하학, 관절 강성 및 감쇠 등) 를 동시에 업데이트할 방향을 제안합니다. 이는 단순한 스칼라 오차가 아닌, 해석 가능한 물리적 진단을 제공합니다.

나. 백트래킹 라인 서치 (Backtracking Line Search)

문제점: VLM 은 업데이트 방향은 정확하지만, 단계 크기 (Step Size) 를 과대평가하는 경향이 있습니다.
해결책: 제안된 방향을 따라 단계 크기를 기하급수적으로 줄여가며 ( $\beta^k$ $β^{k}$ ) 시뮬레이션을 실행합니다.
- 전체 단계 ( $\beta=1.0$ ) 가 실패하더라도, 절반 단계 ( $\beta=0.5$ ) 나 1/4 단계에서 개선이 발견되면 해당 업데이트를 수락합니다.
- 이 과정은 VLM 제안의 수락률을 14% 에서 42% 로 3 배 증가시킵니다.

다. 전체 파이프라인

Stage 1 (보정): VLM 이 비디오를 비교하여 파라미터를 제안하고, 라인 서치로 검증하며 최대 40 회 평가까지 반복하여 16 개 파라미터를 동시에 보정합니다.
Stage 2 (학습 및 배포): 보정된 시뮬레이션에서 강화학습 (RL) 정책을 학습한 후, 생성된 모터 명령어를 실제 물고기 로봇에 50Hz 로 전송하여 배포합니다.

3. 주요 기여 (Key Contributions)

완전 자동화 파이프라인: 수동으로 설계된 검색 단계 (Search Stages) 나 파라미터별 방법 선택 없이, 수영 비디오만으로 16 개 파라미터를 동시에 보정하는 엔드 - 투 - 엔드 시스템 (Swim2Real) 을 개발했습니다.
높은 정확도와 안정성: 보정된 시뮬레이션은 모든 모터 주파수에서 실제 물고기의 속도와 가장 유사하게 일치합니다 (평균 절대 오차 MAE = 7.4 mm/s). 5 번의 실험에서 모든 시드 (Seed) 가 3mm 범위 내에 수렴하여 이상치 (Outlier) 가 전혀 발생하지 않았습니다.
실제 환경 배포 성공: 보정된 시뮬레이션에서 학습된 RL 정책이 실제 하드웨어에서 성공적으로 작동하며, 기존 베이지안 최적화 (BayesOpt) 기반 정책보다 12% 더 멀리 수영하는 것을 입증했습니다.

4. 실험 결과 (Results)

보정 정확도: Swim2Real 은 평균 L2 마커 오차 51.3 mm를 달성하여, 베이지안 최적화 (52.4 mm) 보다 약간 더 정확하고, CMA-ES(112.7 mm) 나 무작위 탐색 (82.0 mm) 보다 훨씬 우수했습니다. 특히 CMA-ES 는 5 개 시드 중 2 개에서 치명적인 실패를 보인 반면, Swim2Real 은 모든 시드에서 안정적인 성능을 보였습니다.
샘플 효율성: 라인 서치를 통해 VLM 호출당 수락률이 3 배 증가하여, 동일한 평가 예산 (40 회) 내에서 더 빠르게 수렴했습니다.
하류 작업 (Downstream RL) 성능:
- 전진 수영: Swim2Real 로 보정된 정책은 7.6m 를 수영하여 베이지안 최적화 (6.8m) 보다 12% 더 멀리 이동했습니다.
- 목표 도달: 시뮬레이션에서 학습된 정책이 실제 로봇에 배포되어 목표 지점을 향해 방향성을 가진 수영을 수행했습니다. (실제 로봇의 좌측 편향은 오픈 - 루프 제어와 마찰로 인한 것으로 분석됨).
속도 일치도: 보정 목적 함수에 포함되지 않았음에도 불구하고, Swim2Real 은 실제 물고기의 전진 속도를 가장 잘 모사했습니다 (MAE 7.4 mm/s, 베이지안 최적화의 절반 수준).

5. 의의 및 결론 (Significance)

VLM 의 물리 추론 능력 입증: VLM 이 단순한 이미지 분류를 넘어, 시뮬레이션과 현실의 불일치를 물리적으로 진단하고 정량적인 파라미터 조정을 제안할 수 있음을 보여주었습니다. 이는 스칼라 기반 최적화 기법들이 제공하지 못하는 해석 가능한 피드백을 제공합니다.
자동화된 시뮬레이션 튜닝: 복잡한 수중 로봇의 경우에도 전문가의 개입 없이 비디오만으로 시뮬레이션을 보정하여 'Zero-shot' RL 전이를 가능하게 하는 새로운 패러다임을 제시했습니다.
미래 전망: 이 접근법은 GP 서로게이트 모델의 확장성 한계를 극복하고, 고차원 파라미터 공간에서도 효과적일 수 있으며, 다른 로봇 플랫폼으로의 확장이 기대됩니다.

요약하자면, Swim2Real은 VLM 과 라인 서치를 결합하여 수중 로봇의 시뮬레이션 - 현실 간극을 비디오만으로 자동화하고 정밀하게 해결한 획기적인 연구입니다.