기술 요약: FailSafe – 시각-언어-행동(VLA) 모델의 실패 추론 및 복구

문제 정의

최근 시각-언어-행동(VLA) 모델의 발전은 시각-언어 모델(VLM)에 저수준 제어를 통합함으로써 로봇이 복잡한 조작 작업을 수행할 수 있게 했습니다. 그러나 이러한 VLA 모델은 깨끗한 정답 궤적(ground-truth trajectories)으로 구성된 대규모 데이터셋에 크게 의존하며, 이러한 데이터에는 실패 시나리오가 거의 포함되어 있지 않습니다. 결과적으로, VLA는 분포 내(in-distribution) 상황에서는 잘 작동하지만, 실제 실행 중에 마주치는 예측 불가능하고 갑작스러운 실패를 감지하거나 복구하는 데 어려움을 겪습니다.

기존의 실패 추론 방식은 다음과 같은 상당한 한계에 직면해 있습니다:

• 실행 가능한 행동의 부재: 많은 데이터셋은 실패에 대한 텍스트 설명(예: "그리퍼가 왼쪽으로 이동해야 함")만을 제공합니다. 이는 크기와 종단점(endpoint)에 대해 모호하여 VLA 모델이 직접 실행하기 어렵습니다.
• 인간 감독에 대한 의존: OLAF 및 YAY와 같은 방법은 운영을 모니터링하고 개입하기 위해 외부의 인간 관찰자를 필요로 하며, 이는 완전 자율 시스템에는 비현실적입니다.
• 확장성 부족: 일부 파이프라인은 실패 궤적을 생성하지만, 로봇이 유효하고 실행 가능한 방식으로 수행할 수 있는 교정 행동(corrective actions)을 생성하는 데는 자주 실패합니다.

본 연구가 다루는 핵심 과제는 고수준의 실패 추론과 저수준의 실행 가능한 복구 행동을 결합하여 VLA의 강건성을 향상시킬 수 있는 자동화된 확장 가능 파이프라인의 부재입니다.

방법론: FailSafe 파이프라인

저자들은 모션 플래닝을 지원하는 시뮬레이터(ManiSkill에서 입증됨) 내에서 다양한 실패 사례와 실행 가능한 복구 행동을 자동으로 생성하도록 설계된 새로운 프레임워크인 FailSafe를 제안합니다. 이 파이프라인은 다섯 가지 주요 단계로 구성됩니다:

1. 실패 생성 (Failure Generation)

FailSafe는 일반적인 로봇 오류를 모델링하기 위해 세 가지 근본적인 실패 모드를 정의합니다:

• 이동 실패 (Translation Failure): Cartesian 축($x, y, z$)을 따른 섭동(perturbations).
• 회전 실패 (Rotation Failure): roll, pitch 또는 yaw에서의 각도 편차.
• No-ops 실패: 로봇 팔이 움직임 없이 일정 기간 멈춰 있는 상태.

이러한 실패들은 정답 궤적의 임의의 단계에 주입됩니다. 시스템은 노이즈 범위(예: 이동 $\pm0.1$, 회전 $\pm1$ 라디안)와 실패가 발생하는 단계를 지정하기 위해 YAML 구성을 사용합니다. 이는 오류가 예기치 않게 발생할 수 있는 실제 배포 환경을 모사합니다.

2. 행동 수집 (Action Collection)

텍스트를 출력하는 이전 방법들과 달리, FailSafe는 7-DoF 엔드 이펙터 복구 행동($\Delta A$)을 수집합니다.

• 매핑: 실패 궤적 내의 편차된 포즈($P_d$)에 대해, 시스템은 이를 올바른 궤적 내의 대응하는 교정 포즈($P_c$)로 매핑합니다.
• 제약 조건: 충돌을 방지하기 위해, $P_c$는 실패가 시작된 후 10단계 뒤부터 작업이 종료되기 3단계 전까지의 윈도우 내에서 선택됩니다.
• 다양성: 시스템은 여러 개의 후보 $(P_d, P_c)$ 쌍을 생성합니다. 결과적인 교정 행동 $\Delta A$는 이 포즈들 사이의 7-DoF 차이입니다. 결정적으로, 특정 실패 유형(예: Translation X)이 주입되더라도, 결과적인 $\Delta A$는 단일 차원에 국한되지 않고, 동시적이거나 복잡한 실패 모드를 처리하기 위해 7개 차원 모두에 걸쳐 조정을 제공합니다.

3. 체계적 검증 (Systematic Verification)

데이터셋에 포함되기 전, 모든 후보 복구 행동은 엄격한 검증을 거칩니다:

• 시스템은 궤적을 재실행합니다: $A \to P_d \to P_c \to \text{나머지 작업}$.
• 원래 실패했던 작업이 교정 포즈 $P_c$를 적용한 후 성공하면, 해당 쌍은 유효한 것으로 검증됩니다.
• 이를 통해 수집된 행동들이 다양한 타임스텝에서 적용될 때 견고하고 효과적임을 보장합니다.

4. 데이터셋 구축 (Dataset Construction)

이 파이프라인은 ManiSkill의 세 가지 작업(Pick Cube, Push Cube, Stack Cube)에 적용되었습니다.

• 규모: 결과 데이터셋은 약 131,000개의 실패-행동 쌍과 56,000개의 정답(성공) 궤적을 포함합니다.
• 형식: 각 항목은 10개의 연속적인 멀티뷰 이미지(front, side, wrist), 작업 지침, 서브 태스크 식별, 실패 분류(yes/no), 실패 유형, 그리고 7-DoF 교정 행동 벡터를 포함합니다.

5. 모델 학습 (FailSafe-VLM)

저자들은 FailSafe 데이터셋을 사용하여 **LLaVa-OneVision-7B (LLaVa-OV-7B)**를 미세 조정했습니다.

• 아키텍처: 모델은 Qwen2-7B-Instruct를 언어 백본으로, SigLIP을 비전 타워로 사용하며, 2개 층의 GELU MLP 프로젝터를 사용합니다.
• 학습: 일반화 능력을 높이기 위해 RoboPoint VQA 혼합 데이터와 함께 공동 학습(co-training)을 통한 전체 인스트럭션 미세 조정이 수행되었습니다.
• 추론 전략: FailSafe-VLM은 기본 VLA 모델의 외부 어시스턴트로 작동합니다. 매 10단계마다 현재 상태를 분석하여 실패 가능성을 판단합니다. 만약 "Yes"라면 교정 행동을 출력하고, "No"라면 제어권이 기본 VLA로 돌아갑니다.

주요 기여

1. 확장 가능한 실패-행동 파이프라인: 로봇을 위한 정확하고 실행 가능한 7-DoF 복구 행동과 실패 추론 설명을 자동으로 생성하는 최초의 프레임워크이며, 모션 플래닝을 지원하는 시뮬레이터에 적응 가능합니다.
2. 성능 향상: FailSafe 데이터셋이 기존 VLM이 실패를 추론할 수 있게 하여, 세 가지 최첨단 VLA 모델($\pi$o-FAST, OpenVLA, OpenVLA-OFT)의 성공률을 크게 높였음을 입증했습니다.
3. 일반화: FailSafe-VLM이 다양한 공간 구성, 카메라 뷰포인트, 객체 카테고리(구체 및 충전기와 같은 미학습 객체 포함), 로봇 형태(예: Franka Emika Panda에서 xArm 6로의 전이)에 걸쳐 일반화될 수 있음을 보여주었습니다.

실험 결과

저자들은 ManiSkill 환경의 Franka Emika Panda 암에 대해 FailSafe-VLM을 평가했습니다:

• VLA 성능 이득:

  • OpenVLA: 가장 큰 개선을 보였으며, 평균 성공률이 22.6% (14.7%에서 37.3%로) 증가했습니다.
  • OpenVLA-OFT: 8.0% 개선되었습니다 (90.7%에서 98.7%로).
  • $\pi$o-FAST: 4.0% 개선되었습니다 (78.7%에서 82.7%로).
  • 이러한 이득은 FailSafe-VLM이 사용하는 카메라 뷰가 VLA의 훈련 뷰와 다르더라도(새로운 뷰), VLA의 훈련 뷰와 일치하는 경우에도 달성되었습니다.

• 일반화:

  • 미학습 객체: Pick Sphere, Place Sphere, Pick Charger 테스트 시, FailSafe-VLM은 OpenVLA-OFT의 성능을 평균 17.4% 향상시켰습니다.
  • 미학습 로봇 형태: Franka 데이터로만 학습된 xArm 6 로봇에 적용했을 때, Stack Cube 성공률을 56%에서 76%로 높였습니다.

• 최첨단 VLM과의 비교:

  • FailSafe-VLM은 실패 감지(이진 성공: 0.9094 vs. GPT-4o의 ~0.70), 실패 유형 식별(정확도: 0.8368 vs. ~0.20), 복구 행동 예측(코사인 유사도: 0.6522 vs. 타 모델의 0에 가까운 수치)에서 GPT-4o, Gemini-2.5-flash, Qwen2.5-VL을 크게 압도했습니다.
  • 특히, Qwen2.5-VL은 빈번하게 "실패 없음"을 출력하고 행동을 제로(zero)로 출력하여 복구 지원에 실패했습니다.

• 효율성:

  • 통합으로 인한 추론 오버헤드는 작업당 +3.8초에서 +9.1초로 미미했으며, 이는 주로 시뮬레이터의 재계획(replanning) 때문입니다.

의의 및 주장

본 논문은 FailSafe를 견고하고 설명 가능한 체화된 AI(embodied AI)를 향한 중요한 단계로 규정합니다. 저자들의 주장은 다음과 같습니다:

• 자율성: 실패 감지 및 복구에 있어 인간의 감독 필요성을 제거함으로써, FailSafe는 VLA 시스템을 완전한 자율성에 더 가깝게 만듭니다.
• 실행 가능한 추론: 텍스트 기반의 실패 설명에서 실행 가능한 델타 행동으로의 전환은 고수준 추론과 저수준 제어 사이의 간극을 메우며, 이는 기존 연구의 한계점이었습니다.
• 확장성: 파이프라인 설계 덕분에 현실 세계에서 수집하기 매우 어려운 실패-복구 데이터를 확장 가능하게 생성할 수 있습니다.
• 미래 연구의 토대: 현재 방법은 모션 수준의 복구에 집중하며 객체 수준의 오류(예: 물체를 떨어뜨림)는 아직 다루지 않지만, 복잡하고 역동적인 환경에서 자기 수정이 가능한 시스템을 위한 토대를 마련했습니다.

저자들은 결론적으로 FailSafe가 더 강력한 실패 추론과 자율성을 가능하게 하는 초기 시도로서, 구조화되지 않은 환경에서의 더 신뢰할 수 있는 로봇 조작을 위한 길을 열어준다고 밝히고 있습니다.