CompliantVLA-adaptor: VLM-Guided Variable Impedance Action for Safe Contact-Rich Manipulation

1. 문제 정의 (Problem)

최근 비전 - 언어 - 행동 (VLA, Vision-Language-Action) 모델 (예: RDT, OpenVLA, Pi0 등) 은 자연어 지시를 이해하고 복잡한 조작 작업을 수행하는 데 큰 진전을 이루었습니다. 그러나 기존 VLA 모델들은 다음과 같은 근본적인 한계를 가지고 있습니다:

• 위치 제어 위주: 대부분의 VLA 모델은 로봇을 강체 (rigid body) 로 간주하여 위치 또는 궤적 추종 제어만 수행합니다.
• 힘 감지 부재 (Force-Awareness Lack): 물리적 접촉이 필요한 작업 (예: peg-in-hole, 서랍 열기, 정밀한 조립) 에서 예상치 못한 저항이나 접촉이 발생하더라도, 힘 (force) 이나 토크 (torque) 피드백을 고려하지 않고 위치 명령을 계속 출력합니다.
• 안전성 문제: 이로 인해 접촉력이 임계값을 초과하여 정밀한 물체를 파손하거나 로봇 자체가 손상되는 '치명적인 실패 (catastrophic failure)'가 빈번하게 발생합니다.

2. 방법론 (Methodology)

저자들은 기존 VLA 모델의 일반화 능력을 유지하면서 물리적 상호작용의 안전성을 확보하기 위해 CompliantVLA-adaptor를 제안했습니다. 이는 VLA 모델과 VLM(비전 - 언어 모델) 기반의 가변 임피던스 제어 (VIC, Variable Impedance Control) 를 결합한 모듈형 어댑터입니다.

핵심 구성 요소:

1. 하이브리드 VLA-VIC 제어 아키텍처:

   • VLA (고수준): 시각 및 언어 입력을 받아 원하는 엔드 이펙터 이동 (action chunk) 을 생성합니다.
   • VLM (임피던스 코치): 시각 정보, 언어 지시, 그리고 실시간 힘/토크 피드백을 입력받아 작업의 맥락 (context) 을 이해하고, 적절한 강성 (Stiffness, K) 과 감쇠 (Damping, D) 파라미터를 생성합니다.
   • VIC (저수준): VLA 가 생성한 동작과 VLM 이 생성한 임피던스 파라미터를 기반으로 로봇을 제어하여, 접촉 시 유연하게 반응하도록 합니다.

2. 멀티모달 컨텍스트 인식 임피던스 생성:

   • 접촉 단계 인식 (Contact Phase Recognition): VLM 은 시각 데이터와 힘 센서 데이터를 결합하여 작업 단계를 '자유 운동 (Free-motion)', '접근 (Approaching)', '접촉 (Contact)', '후퇴 (Retreat)'로 구분합니다.
   • 맥락 기반 파라미터 생성: 각 단계에 따라 임피던스를 동적으로 조절합니다. (예: 접촉 단계에서는 강성을 낮추어 최대 유연성을 확보, 자유 운동 단계에서는 강성을 높여 정밀한 위치 제어 수행).
   • 이중 안전 레이어: VLM 이 제안한 파라미터에 실시간 힘 피드백 기반의 스케일링 인자 ($\alpha_{force}$) 를 적용하여, 예상치 못한 큰 힘이 감지되면 강성을 즉시 낮추어 안전 임계값 (30N) 을 초과하지 않도록 합니다.

3. 동작 주파수:

   • VLM 임피던스 생성: 약 1Hz (맥락 기반)
   • VLA 동작 생성: 약 3Hz
   • 저수준 VIC 제어: 1000Hz (실시간 힘 조절)

3. 주요 기여 (Key Contributions)

1. VLM 기반의 맥락 인식 임피던스 제어: 고수준의 의미론적 이해 (VLM) 를 저수준의 물리적 제어 파라미터 (강성, 감쇠) 로 변환하여, VLA 모델에 물리적 유연성 (compliance) 을 부여합니다.
2. 안전성 강화 통합 시스템: VLM 의 추론 능력과 VIC 의 물리적 안전성을 결합하여, 기존 VLA 모델의 치명적 실패를 '부드러운 실패 (graceful degradation, 예: 약간의 정렬 오차)'로 전환합니다.
3. 플러그 앤 플레이 (Plug-and-Play) 솔루션: 기존 VLA 모델을 재학습시키지 않고도, 별도의 어댑터 모듈로 통합하여 다양한 시뮬레이션 및 실제 하드웨어 환경에서 즉시 적용 가능합니다.

4. 실험 결과 (Results)

저자들은 시뮬레이션 (LIBERO, ManiSkill 벤치마크) 과 실제 로봇 (Franka Emika Panda) 을 통해 8 가지 복잡한 접촉 작업 (삽입, 서랍 열기/닫기, 물건 밀기 등) 을 수행하여 평가했습니다.

• 성공률 향상: 기존 VLA 모델 (RDT, Pi0, OpenVLA-oft) 은 접촉 힘 임계값 (30N) 을 고려할 때 성공률이 매우 낮았으며 (평균 9.86%), 일부 작업에서는 0% 에 가까웠습니다. 반면, CompliantVLA-adaptor 를 적용한 경우 평균 성공률이 17.29% 로 크게 향상되었습니다.
• 안전성 개선: 힘 임계값 위반 횟수가 크게 감소했습니다. 기존 모델은 접촉 시 물체를 파손하거나 로봇이 멈추는 경우가 많았으나, 제안된 방법은 실시간으로 임피던스를 조절하여 힘을 안전한 범위 내로 유지했습니다.
• 실제 환경 검증: 실제 로봇 실험 (무거운 상자 밀기, 화이트보드 닦기) 에서 로봇이 작업 상황에 따라 강성을 [400, 600] (부드러운 접촉) 과 [800, 1000] (단단한 밀기) 사이에서 적응적으로 조절하며 안전하게 작업을 완료함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 VLA 모델의 '지능 (Semantic Understanding)'과 로봇 제어의 '안전 (Physical Safety)' 사이의 간극을 해소하는 중요한 단계를 제시합니다.

• 안전한 물리적 상호작용: VLA 모델이 실제 세계의 불확실성과 접촉 역학을 고려하여 안전하게 작동할 수 있는 기반을 마련했습니다.
• 확장성: 대규모 데이터셋으로 VLA 를 재학습시키기 전에도, 기존 모델에 즉시 적용 가능한 경량화된 안전 레이어를 제공하여 실제 로봇 배포 (deployment) 의 장벽을 낮춥니다.
• 미래 방향: 고수준 의미 추론과 저수준 힘 기반 제어를 결합한 새로운 패러다임을 제시하여, 복잡하고 접촉이 많은 환경에서의 로봇 조작 기술 발전에 기여합니다.

요약하자면, CompliantVLA-adaptor는 VLA 모델이 "무엇을 할지" 아는 것뿐만 아니라, "어떻게 안전하게 할지"를 VLM 을 통해 실시간으로 판단하고 제어함으로써, 접촉이 필요한 로봇 작업의 안전성과 성공률을 획기적으로 높인 솔루션입니다.