🤖 machine learning

MARVL: Multi-Stage Guidance for Robotic Manipulation via Vision-Language Models

이 논문은 기존 방법들에 비해 로봇 강화학습 작업에서 샘플 효율성과 견고성을 크게 향상시키기 위해 Vision-Language 모델을 공간적 및 의미적 일관성을 위해 미세 조정하여 밀집 보상을 자동으로 생성하는 다단계 안내 프레임워크인 MARVL을 소개합니다.

원저자: Xunlan Zhou, Xuanlin Chen, Shaowei Zhang, ShengHua Wan, Xiaohai Hu, Lei Yuan, De-chuan Zhan

게시일 2026-05-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xunlan Zhou, Xuanlin Chen, Shaowei Zhang, ShengHua Wan, Xiaohai Hu, Lei Yuan, De-chuan Zhan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇 팔이 버튼 누르기나 서랍 열기 같은 복잡한 작업을 수행하도록 가르친다고 상상해 보세요. 로봇 공학 세계에서는 로봇이 시행착오를 통해 학습하는데, 이 과정을 **강화 학습 (Reinforcement Learning)**이라고 합니다. 효과적으로 학습하려면 로봇은 즉각적인 피드백을 제공하는 '교사'가 필요합니다. 올바르게 행동할 때는 '보상 (디지털 하이파이브와 같은)'을, 잘못했을 때는 '페널티'를 주는 것입니다.

문제는 이러한 보상 규칙을 수동으로 작성하는 것이 매우 어렵고 시간이 많이 걸리며 확장성이 부족하다는 점입니다. 로봇이 새로운 작업을 배우게 하려면 모든 규칙을 처음부터 다시 작성해야 합니다.

최근 과학자들은 **시각 - 언어 모델 (Vision-Language Models, VLMs)**을 이러한 교사 역할을 하도록 시도했습니다. 시각과 언어를 모두 이해하는 AI 시스템인 이 모델들의 아이디어는 간단했습니다: 로봇의 현재 시야와 텍스트 지시 (예: "버튼을 누르세요") 를 AI 에게 보여주고, 이미지와 지시가 얼마나 잘 일치하는지에 따라 점수를 매기도록 요청하는 것입니다.

그러나 해당 논문은 이러한 AI 교사들을 '그대로 (out of the box)' 사용하는 것은 매우 똑똑하지만 쉽게 혼란에 빠지는 가이드를 고용하는 것과 같다고 주장합니다. 논문은 이러한 단순한 접근 방식이 실패하는 세 가지 주요 이유를 지적합니다:

"카메라 각도" 문제 (약한 공간적 근거): AI 는 카메라가 어디를 보고 있는지에 너무 집중합니다. 카메라가 약간만 움직여도 로봇이 정확히 같은 일을 하고 있더라도 AI 는 작업이 완전히 바뀌었다고 생각합니다. 마치 정답을 틀렸기 때문이 아니라 머리를 움직였다는 이유만으로 화를 내는 교사처럼 행동하는 것입니다.
"진행 없음" 문제 (진행 상황 인식 부족): AI 의 점수는 극적으로 오르내립니다. 로봇이 버튼에 점점 가까워지고 있더라도, AI 의 점수는 무작위 그림자나 조명 변화 때문에 떨어질 수 있습니다. 피드백이 실제 진행 상황과 맞지 않기 때문에 로봇은 혼란을 겪습니다.
"잘못된 의미" 문제 (의미적 불일치): AI 는 때때로 지시의 의미를 잘못 이해합니다. 예를 들어, 로봇이 어떤 버튼 근처에 있기만 해도 "버튼을 누르세요"라는 지시가 충족되었다고 생각하거나, 배경에 있는 관련 없는 물체에 주의를 빼앗길 수 있습니다.

해결책: MARVL

이를 해결하기 위해 저자들은 MARVL(Vision-Language 모델을 통한 로봇 조작을 위한 다단계 가이드)이라는 새로운 프레임워크를 개발했습니다. MARVL 을 혼란스러운 AI 가이드를 날카롭고 신뢰할 수 있는 코치로 바꾸는 전문 훈련 프로그램이라고 생각하세요. 이는 세 단계로 이루어집니다:

1. "정리" 필터 (장면 - 시야 분해)
전화로 누군가에게 장면을 설명하려는데 연결 상태가 나빠 배경 소음이 계속 변한다고 상상해 보세요. MARVL 은 AI 가 장면(로봇과 버튼) 과 시야(카메라 각도) 를 분리하도록 가르칩니다.

작동 원리: 카메라의 관점을 무시하고 로봇과 물체의 물리적 현실에만 집중하도록 AI 를 훈련시킵니다.
결과: 이제 AI 는 카메라가 왼쪽, 오른쪽, 또는 위에서 보더라도 "버튼을 누르는 것"이 동일한 작업임을 이해합니다. 각도에 의해 주의를 빼앗기지 않게 됩니다.

2. "단계별" 지도 (다단계 분해 및 작업 방향 투영)
로봇에게 '시작'에서 '완료'까지 한 번에 거대한 도약을 하라고 요청하는 대신, MARVL 은 작업을 "버튼으로 이동", 그 다음 "아래로 누르기"와 같이 작고 관리 가능한 하위 단계로 나눕니다.

해결하는 문제: 좋은 카메라가 있더라도 AI 의 점수는 여전히 요동칠 수 있습니다. MARVL 은 "작업 방향"을 도입합니다. 로봇의 시작 위치에서 버튼까지 바닥에 직선을 그었다고 상상해 보세요. MARVL 은 AI 가 그 선을 따라 이루어지는 진행 상황만 보도록 강제합니다.
결과: 모든 측면의 노이즈를 필터링합니다. 로봇이 버튼 쪽으로 전진하면 점수가 오르고, 옆으로 이동하거나 뒤로 물러나면 점수는 평탄하게 유지되거나 떨어집니다. 이는 로봇이 따라갈 수 있는 매끄럽고 신뢰할 수 있는 경로를 만들어냅니다.

3. "신뢰도 확인" (신뢰도 임계값 기반 형성)
때때로 AI 는 로봇이 무언가에 가깝고 그것이 모호하게 버튼처럼 보인다는 이유만으로 작은 실수로 "엄지척"을 줄 수 있습니다. 이를 '위양성 (false positive)'이라고 합니다.

작동 원리: MARVL 은 엄격한 신뢰도 임계값을 설정합니다. "AI 가 로봇이 실제로 진행 중인지 97% 확신하지 못하면, 보상을 0 으로 주라"고 말합니다.
결과: 이는 로봇이 우연한 보상에 속는 것을 막습니다. 로봇은 진정으로 올바른 일을 할 때만 칭찬을 받으며, 이로 인해 학습 과정이 훨씬 빠르고 안정적으로 됩니다.

결과

논문은 MARVL 을 표준 로봇 작업 세트 (문 열기, 창문 밀기, 버튼 누르기 등) 에서 테스트했습니다.

성능: MARVL 은 기존 원시 AI 보상을 사용한 방법들보다 훨씬 빠르고 신뢰성 있게 이러한 작업을 학습했습니다.
비교: 많은 경우, MARVL 은 로봇의 내부 코드와 정확한 좌표에 접근할 수 있는 '완벽한' 교사 (Oracle) 와 거의同等한 성능을 발휘했습니다. 이는 로봇이 복잡한 수동 코딩 규칙 없이 오직 눈과 언어만을 사용하여도 동일하게 잘 학습할 수 있음을 의미하므로 매우 중요합니다.
강건성: 카메라 각도가 변하거나 로봇의 외관이 달라져도 (다른 팔 모델), MARVL 은 계속 잘 작동하여 특정 설정의 시각적 트릭이 아닌 작업의 개념을 학습했음을 입증했습니다.

요약하자면, MARVL 은 강력하지만 다소 엉망인 AI 도구를 정제하여, 인간이 수천 줄의 보상 코드를 작성할 필요 없이 간단한 언어로 로봇에게 복잡한 물리적 작업을 가르칠 수 있는 정밀한 단계별 코치로 만듭니다.

기술 요약: MARVL

문제 제기

로봇 조작 분야에서 효율적인 강화학습 (RL) 을 위해서는 밀집 보상 함수를 설계하는 것이 중요하지만, 수동 엔지니어링은 여전히 확장성과 자동화를 제한하는 병목 현상으로 남아 있습니다. 비전 - 언어 모델 (VLM) 은 자연어에 기반한 보상 설계를 자동화할 수 있는 유망한 경로를 제공하지만, 기존 접근 방식은 세 가지 근본적인 과제에 직면해 있습니다:

약한 공간적 기반 (Weak Spatial Grounding): 상용 VLM 은 카메라 시점에 매우 민감합니다. 임베딩이 작업 정체성보다는 시점에 따라 군집화되어, 보상이 실제 에이전트의 진행 상황 대신 우연한 관찰적 변화를 추적하게 됩니다.
진행 상황 인식 부재: VLM 기반 유사도 점수는 과도한 변동성을 보이며 점진적인 작업 진행을 반영하지 못합니다. 관련 없는 시각적 요인에 쉽게 주의를 빼앗겨 정책 학습을 방해하는 비단조적 보상 신호를 초래합니다.
의미 불일치 (Semantic Misalignment): VLM 은 종종 작업 지시를 오해하여, 작업 목표와 무관한 우발적인 시각 - 텍스트 매칭으로 인해 높은 유사도 점수가 발생하는 등 신뢰할 수 없는 보상 신호를 생성합니다.

이러한 한계는 현재 VLM 기반 RL 이 초기에 믿어졌던 것보다 덜 견고하며, 복잡한 조작 작업에 필요한 안정적인 피드백을 제공하지 못하는 경우가 많음을 시사합니다.

방법론: MARVL

이러한 문제들을 해결하기 위해 저자들은 MARVL(비전 - 언어 모델을 통한 로봇 조작을 위한 다단계 안내) 을 제안합니다. 이는 세 가지 핵심 구성 요소를 통해 VLM 보정을 정제하는 플러그 - 앤 - 플레이 프레임워크입니다:

1. 장면 - 뷰 분해 (Scene-View Decomposition, 미세 조정)

시점 민감성을 완화하기 위해 MARVL 은 CLIP 에서 초기화된 이중 인코더 - 디코더 아키텍처를 사용합니다. 시각적 표현을 두 가지 코드로 분리합니다:

장면 표현 ( $z_s$ ): 시점에 불변이고 작업에 중요한 의미 (예: 로봇 및 객체 상태) 를 포착합니다.
뷰 표현 ( $z_v$ ): 카메라 자세와 같은 불필요한 변이를 포착합니다.
이 모델은 잠재적 스와핑 (교차 구성적 재구성) 과 일관성 손실에 기반한 재구성 목적 함수를 사용하여 미세 조정됩니다. 이는 장면 인코더가 공간적 의미를 시점 변화로부터 분리하도록 강제하여, 보상 신호가 카메라 각도가 아닌 물리적 장면에 기반하도록 보장합니다.

2. 다단계 분해 및 작업 방향 투사 (TDP)

고수준 지시와 저수준 제어 간의 격차를 해소하기 위해, 장기 작업은 중간 목표 상태를 가진 일련의 하위 작업으로 분해됩니다.

작업 방향 투사: 각 하위 작업 내에서 MARVL 은 결합된 시각 - 의미 임베딩 공간 (시작 및 목표 임베딩 간의 변위) 에 "작업 방향" 벡터를 정의합니다. 투사 연산자는 현재 관찰의 임베딩에 적용되어 이 작업 방향과 정렬된 성분을 보존하면서 직교하는 노이즈를 감쇠시킵니다.
메커니즘: 이 기하학적 필터링은 변동적인 유사도 점수를 작업 진행과 상관관계가 있는 단조 신호로 변환하여, 배경 변이를 효과적으로 억제하고 선형 물리 역학을 가정하지 않고도 신호 대 잡음비를 복원합니다.

3. 신뢰도 임계값 조정 (Confidence-Thresholded Shaping, CTS)

에이전트가 일반적인 의미적 유사성으로 인해 사소한 긍정 점수를 축적하는 것 (보안 해킹) 을 방지하기 위해 MARVL 은 게이트 메커니즘을 도입합니다.

임계값 설정: 임계값 $\theta$ 는 무작위 탐색에서 수집된 점수의 $m$ -분위수를 기반으로 설정됩니다 (이는 배경 잡음을 나타냅니다).
소프트 게이팅: 소프트 게이트 함수는 저강도 노이즈를 0 으로 만들고 고신호 매칭을 증폭합니다. 이는 의미적으로 관련 있는 상태만이 중요한 보상 신호를 받도록 하여, 정책 학습을 위한 결정적인 기울기를 제공합니다.

주요 기여

VLM 한계 분석: 이 논문은 기존 VLM-보상 패러다임의 세 가지 주요 실패 모드 (약한 공간적 기반, 진행 상황 민감성 부재, 의미 불일치) 를 체계적으로 식별하고 분석합니다.
MARVL 프레임워크: 저자들은 Scene-View 분해, Task Direction Projection, Confidence-Thresholded Shaping 을 통합하여 원시 VLM 유사성을 안정적이고 진행 상황에 민감한 보상 신호로 변환하는 새로운 프레임워크를 제안합니다.
경험적 우월성: 광범위한 실험은 MARVL 이 기존 VLM 기반 방법 (FuRL, LIV, Relay 포함) 보다 일관되게 우수하며, 희소 보상 조작 작업에서 수동으로 설계된 "Oracle" 밀집 보상과 동등하거나 더 나은 성능을 달성함을 보여줍니다.

실험 결과

저자들은 교차 도메인 일반화를 위해 Meta-World 벤치마크 (8 가지 조작 작업) 와 Panda-Gym 벤치마크에서 MARVL 을 평가했습니다.

성능: MARVL 은 모든 VLM-보상 베이스라인보다 높은 성공률과 빠른 수렴을 달성했습니다. 버튼 누르기와 창문 닫기와 같은 작업에서는 오라클 (권위 있는 수동 설계 밀집 보상을 사용하는) 의 성능과 일치했습니다. 밀기와 문 열기와 같이 탐색이 많은 작업에서는 MARVL 이 오히려 오라클을 능가했습니다.
절대성 연구 (Ablation Studies):
- Scene-View 분해를 제거하면 성능이 저하되어 시점에 불변인 표현의 필요성이 확인되었습니다.
- Task Direction Projection 또는 Multi-Stage 분해를 제거하면 최종 성공은 유지되었으나 수렴 속도가 현저히 느려져 샘플 효율성이 향상되었음을 강조했습니다.
- Confidence-Thresholded Shaping을 제거하면 우발적 신호로 인해 특정 작업에서 학습 불안정성과 성능 붕괴가 발생했습니다.
일반화:
- 교차 도메인: MARVL 은 대상 도메인 적응 없이 Panda-Gym(다른 로봇 구현 및 시각적 스타일) 에서 높은 성공률을 유지한 반면, 미세 조정되지 않은 변형은 실패했습니다.
- 시점 견고성: 성능은 다양한 카메라 구성에서 일관되게 유지되었습니다.
- 알고리즘 중립성: 이 프레임워크는 다른 RL 백본 (SAC 및 TD3) 과 함께 효과적으로 작동했습니다.

중요성 및 주장

이 논문은 기존 VLM 기반 보상의 한계가 기초 모델의 의미 지식 부족보다는 구조적 정렬의 부재에서 비롯된다고 주장합니다. 표현을 명시적으로 기반화하고 다단계 안내 및 기하학적 투사를 통해 보상 신호를 구조화함으로써, MARVL 은 modest한 적응이 VLM 기반 강화학습의 실용성을 크게 향상시킬 수 있음을 보여줍니다.

저자들은 MARVL 이 시뮬레이션에서 검증되었지만, 이를 엄격한 제로샷 (zero-shot) 실세계 배포로 확장하는 것은 향후 연구의 목표라고 언급합니다. 또한, 이 프레임워크를 더 긴 시간 범위와 다중 객체 조작 작업으로 확장하는 것이 유망한 방향으로 지목되었습니다. 이 연구는 VLM 의 표현이 공간적 및 의미적 일관성을 처리하도록 명시적으로 구조화된다면 로봇 제어에 강력한 사전 지식을 제공할 수 있음을 시사합니다.