기술 요약: 관절 수준의 물리적 결함에 대한 시각-언어-행동(VLA) 모델의 취약성 규명

문제 정의

실제 로봇 시스템에 시각-언어-행동(Vision-Language-Action, VLA) 모델을 배포할 때 중요한 강건성 격차(robustness gap)에 직면하게 된다. 즉, 이러한 모델들은 의미론적 및 지각적 변화에는 강력한 일반화 능력을 보여주지만, **임보디먼트 측면의 결함(embodiment-side faults)**에는 강건성이 부족한 경우가 많다. 구체적으로, VLA 정책은 로봇 본체가 예측된 행동을 의도된 움직임으로 충실히 변환할 것이라고 가정한다. 그러나 실제 로봇은 액추에이터 성능 저하, 하드웨어 고장, 안전 제한, 충돌 손상, 마모로 인한 마찰과 같은 관절 수준의 물리적 결함에 취약하다.

이러한 결함은 **행동-움직임 인터페이스(action-to-motion interface)**를 변화시켜, 명령된 행동, 실현된 움직임, 그리고 후속 관측 사이의 학습된 폐루프 관계를 방해한다. 단순한 행동 노이즈(정책 출력을 직접적으로 섭동시키는 것)와 달리, 관절 수준의 물리적 결함은 로봇의 운동학적 또는 동역학적 능력 자체를 변화시킨다. 결과적으로, 동일한 명령된 행동이라도 영향을 받은 관절과 결함의 심각도에 따라 서로 다른 실현된 상태를 초래할 수 있다. 이는 VLA 정책이 기대하는 명목 상태 궤적(nominal state trajectory)으로부터 로봇이 이탈하게 만드는 **폐루프 실행 불일치(closed-loop execution mismatch)**로 이어진다. 이는 과업이 물리적으로는 여전히 가능한 상태임에도 불구하고, 회복 불가능한 실패를 일으킬 수 있다.

방법론: J-PARC

이러한 취약성을 해결하기 위해 저자들은 베이스 모델을 미세 조정(fine-tuning)하지 않고도 고정된(frozen) VLA 정책 상단에서 작동하도록 설계된 경량 프레임워크인 **관절 수준 물리 결함 인지 잔차 교정기(Joint-level Physical-fault Aware Residual Calibrator, J-PARC)**를 제안한다.

핵심 아키텍처

J-PARC는 실행 컨텍스트를 추론하여 VLA의 행동 출력 중 병진 성분을 조정하는 잔차 교정 모듈로 기능한다.

1. 입력 컨텍스트: 모듈은 최근의 관절 역학 및 실행 이력($H_t$)을 관찰한다. 여기에는 베이스 행동, 말단 장치/그리퍼 상태, 그리고 명령된 행동과 실행된 행동 사이의 차이가 포함된다.
2. 결함 체계 추론: 사전 훈련된 인코더($g_\psi$)가 최근의 관절 운동을 처리하여 잠재적인 관절 결함 체계(joint-fault regime)($u_t$)를 추론한다. 이 인코더는 결함의 존재를 감지하고 영향을 받은 특정 관절을 분류하도록 훈련되었으나, 잔차 훈련 단계 동안에는 고정된 상태를 유지한다.
3. 잔차 예측: 트랜스포머 기반의 잔차 교정기($f_\theta$)는 베이스 행동 청크(action chunk), 실행 이력, 그리고 추론된 결함 체계를 입력으로 받는다. 이는 특히 팔의 병진 명령($\Delta x, \Delta y, \Delta z$)에 대한 잔차 청크($R_{\theta,t}$)를 예측한다.
4. 행동 교정: 최종 실행되는 행동은 베이스 VLA 행동과 예측된 잔차의 합이다. 불필요한 관절 재구성을 피하기 위해 베이스 정책의 회전 및 그리퍼 명령은 그대로 유지된다.

훈련 전략

J-PARC는 참조 가이드 잔차 타겟(reference-guided residual target) 방식을 활용한다.

• 데이터 수집: 시스템은 결함이 없는 참조 롤아웃(reference rollouts)과 동일한 초기 상태에서 시작하되 관절 고정 조건 하에서의 롤아웃을 쌍으로 구성한다.
• 타겟 생성: "교사(teacher)" 메커니즘은 결함이 있는 실행 상태를 결함이 없는 참조 궤적과 비교한다. 만약 편차가 임계값을 초과하면, 타겟 잔차는 말단 장치를 결함 없는 웨이포인트(waypoint)로 재지정하도록 계산된다. 편차가 "데몬스트레이션 튜브(demonstration tube)" 내에 있다면 타겟 잔차는 0이 된다.
• 최적화: 잔차 교정기는 예측된 잔차와 교사에 의해 생성된 타겟 사이의 평균 제곱 오차(MSE)를 최소화하도록 훈련되며, 이때 베이스 VLA 정책과 결함 인코더는 고정된 상태를 유지한다.

주요 기여

1. 취약성 식별: 본 논문은 관절 고정, 범위 제한, 마찰 증가와 같은 관절 수준의 물리적 결함을 지각적 또는 명령 공간의 노이즈와 구별되는, VLA 배포의 핵심적이고 독특한 강건성 과제로 규명하였다.
2. 이질적 효과 분석: 광범위한 분석을 통해 저자들은 결함의 효과가 **관절 의존적(joint-dependent)**임을 입증했다. 과업은 영향을 받은 관절과 해당 과업에서의 관절 사용 방식에 따라 이질적으로 저하된다. 또한, 성능 저하는 단순히 물리적 불가능성 때문이 아니라, 실행 가능한(feasible) 시나리오에서도 발생하며, 이는 폐루프 실행 불일치의 문제임을 나타낸다.
3. J-PARC 프레임워크: 실행 이력으로부터 잠재적 결함 체계를 추론하고 그에 따라 행동을 적응시켜, 결함이 없는 환경에서는 베이스 정책의 동작을 보존하는 경량 잔차 교정 프레임워크를 제안하였다.
4. 실험적 검증: LIBERO 벤치마크와 실제 하드웨어(Trossen WidowX AI)에서의 실험을 통해, J-PARC가 결함 상황에서 성공률을 크게 향상시키는 동시에 명목 조건에서의 성능을 유지함을 보여주었다.

실험 결과

저자들은 두 가지 고정된 VLA 백본(OpenVLA-OFT 및 $\pi_{0.5}$)에 대해 LIBERO 벤치마크 세트에서 J-PARC를 평가하였다.

• 관절 고정 결함: 관절 고정 조건에서, J-PARC는 평균 성공률을 OpenVLA-OFT의 경우 **42.3%에서 46.8%**로, $\pi_{0.5}$의 경우 **48.4%에서 55.2%**로 향상시켰다. 주목할 점은, J-PARC가 일관된 성능 향상을 보이거나 오히려 성능을 저하시켰던 CIK(Constrained Inverse Kinematics) 및 RobustVLA와 같은 베이스라인보다 우수한 성능을 보였다는 것이다.
• 미학습 마찰 결함: 결정적으로, J-PARC는 관절 고정 데이터로만 훈련되었다. 그럼에도 불구하고 증가된 관절 마찰(훈련 시 보지 못한 다른 결함 모드) 테스트 시에도 평균 성공률을 향상시켰으며(예: OpenVLA-OFT의 경우 46.4%에서 55.1%로), 이는 미학습된 실행 불일치에 대한 일반화 능력을 입증한다.
• 결함 없는 환경 보존: 결함이 없는 환경에서 J-PARC는 베이스 정책의 성능을 그대로 유지하여, 잔차 모듈이 정상 작동을 방해하지 않음을 확인하였다.
• 실제 환경 검증: 물리적 로봇이 그릇을 집어 옮기는 과업을 수행할 때, 베이스 정책은 관절 고정 시 완전히 실패했으나, J-PARC는 말단 장치의 궤적을 결함 없는 참조 경로에 가깝게 유지함으로써 대부분의 시도에서 성공하였다.

의의 및 주장

본 논문은 임보디먼트 측면의 강건성이 단순한 부차적인 하드웨어 문제가 아니라, 신뢰할 수 있는 VLA 배포를 위한 필수 조건이라고 주장한다. 저자들의 주장은 다음과 같다:

• 행동 노이즈나 지각적 섭동에 집중하는 기존의 강건성 방법들은 로봇의 역학을 변화시키는 지속적인 물리적 결함을 처리하기에 불충분하다.
• 명령된 행동과 실현된 움직임 사이의 불일치는 시간이 지남에 따라 누적되므로, 정적인 제약이 아닌 현재의 실행 컨텍스트를 조건으로 하는 **적응형 행동 교정(adaptive action calibration)**이 필요하다.
• J-PARC는 대규모 VLA 모델의 미세 조정 비용이나 광범위한 적대적 훈련 데이터 없이도 강건성을 높일 수 있는 실용적이고 경량화된 솔루션을 제공한다.

저자들은 실제 환경 검증이 안전상의 이유로 특정 관절(4번 및 5번)과 단일 과업에 국한되어 있다는 점을 언급하며, 방법론이 현재 참조 궤적에 의존하고 있다는 한계에 대해 겸허한 태도를 유지하고 있다. 향후 연구로는 자동 참조 구축 및 더 넓은 행동 공간에 대한 탐색을 제안하였다.