기술 요약: 제약 조건이 있는 플로우 매칭을 통한 시각-언어-행동(VLA) 모델의 신경-기호적 안전 가이드

문제 정의

플로 매칭(flow matching)을 사용하여 행동을 생성하는 VLA 모델(예: $\pi_0.5$)은 로봇 조작 분야에서 강력한 일반화 성능을 입증했습니다. 그러나 이러한 모델의 실제 환경 배포는 효과적인 안전 조치의 부재로 인해 어려움을 겪고 있습니다. 기존의 안전 접근 방식은 두 가지 범주로 나뉘며 각각 상당한 한계를 가집니다:

1. 학습 단계 방법(Training-time methods): 이는 강화 학습을 통해 안전을 강제하며, 이 과정에서 막대한 비용이 드는 재학습이 필요하고 안전을 하드 제약(hard constraint)이 아닌 소프트 목적 함수(soft objective)로 취급합니다.
2. 추론 단계 방법(Inference-time methods, Post-hoc): AEGIS 및 SafeDec와 같은 방식은 모델이 행동을 생성한 후 개별 행동에 제어 장벽 함수(Control Barrier Functions, CBF)를 적용하여 필터링합니다. 이러한 방식은 단일 행동에만 작용하는 "근시안적(myopic)"인 특성을 가집니다. 결과적으로, 미래를 예측하지 못하고 충돌이 임박한 시점에만 대응하게 되어, 특히 긴 호흡의 작업(long-horizon tasks)에서 분포 변화(distribution shifts)가 누적될 때 급격하고 파괴적인 마지막 순간의 개입을 강요하거나 교착 상태(deadlock)를 유발할 수 있습니다.

해결하고자 하는 핵심 과제는 학습 재학습 없이, 플로 매칭 VLA의 생성 과정 중에 하드 안전 제약(충돌 회피)을 어떻게 강제할 것인가 하는 점입니다.

방법론

저자들은 기호적 제약 만족(symbolic constraint satisfaction)과 신경망 플로 매칭 디노이징(denoising) 과정을 교차시키는 **신경-기호적 안전 가이드 메커니즘(neuro-symbolic safety guidance mechanism)**을 제안합니다. 이 방법은 플로 매칭 VLA가 행동 청크(action chunks, $H$개의 미래 행동 시퀀스)를 반복적인 디노이징을 통해 생성하며, 매 단계마다 검사 가능한 궤적(trajectory)을 제공한다는 전제하에 작동합니다.

1. 예측 궤적 모델링 (Predictive Trajectory Modeling)

시스템은 현재의 행동 청크 추정치 $A_\tau$를 단순한 다음 행동이 아닌 예측된 궤적으로 취급합니다.

• 운동학적 예측 (Kinematic Prediction): 순방향 운동학(forward kinematics)을 사용하여, 현재 행동 청크와 로봇의 현재 상태를 기반으로 미래의 말단 장치(end-effector) 위치 $\{p^{(j)}_{ee}\}_{j=0}^H$를 예측합니다.
• 충돌 모델링 (Collision Modeling): 말단 장치는 타원체(ellipsoid)로 모델링되며, 장애물은 구(sphere)로 모델링됩니다. 미분 가능한 부호 거리 함수(signed distance function)를 계산하여 말단 장치와 장애물 사이의 간극을 결정합니다.

2. 신경-기호적 안전 가이드 (Neuro-Symbolic Safety Guidance)

플로 매칭 과정의 각 디노이징 단계에서 시스템은 다음을 수행합니다:

• 장벽 함수 인스턴스화 (Barrier Function Instantiation): 예측된 궤적의 각 지점에 대해 이산 시간 지수 제어 장벽 함수(discrete-time exponential CBF)를 정의합니다: $B_j = d(p^{(j)}_{ee}, p_{obs}) - d_{safe}$.
• 궤적 수준 제약 (Trajectory-Level Constraint): 시스템은 즉각적인 다음 단계뿐만 아니라 전체 궤적 시퀀스($j=1 \dots H$)에 대해 조건 $B_j \geq (1-\gamma)B_{j-1}$을 준수하도록 합니다. 이를 통해 시스템은 잠재적인 위반 사항을 조기에 감지할 수 있습니다.
• 최소 노름 수정 (Minimum-Norm Correction): 위반이 예측되면, 시스템은 안전 제약을 만족하는 행동 청크에 대한 가장 작은 수정값 $\delta^*$를 찾기 위해 다음과 같은 제약 최적화 문제를 해결합니다:
  $$\min_{\delta} \|\delta\|^2 \quad \text{s.t.} \quad B_j(a + \delta) \geq (1-\gamma)B_{j-1}(a + \delta)$$
  이는 순차 최소 제곱 프로그래밍(SLSQP)을 사용하여 해결됩니다.
• 피드백 루프 (Feedback Loop): 수정된 행동 청크 $A_{\tau+\Delta\tau} \leftarrow A_{\tau+\Delta\tau} + \delta^*$는 플로 매칭 과정으로 다시 입력됩니다. 신경망의 속도장(velocity field)은 이후 디노이징 단계에서 이 수정된 궤적에 적응하며, 이를 통해 최종 출력이 안전 제약을 만족하면서도 학습된 정책과 일관성을 유지하도록 보장합니다.

주요 기여

1. 궤적 수준의 안전 통찰 (Trajectory-Level Safety Insight): 본 논문은 플로 매칭 행동 생성이 반복적인 궤적 예측으로 해석될 수 있음을 밝혀, 단일 행동에 반응하는 것이 아니라 미래의 움직임을 고려한 예측적 충돌 회피를 가능하게 합니다.
2. 신경-기호적 가이드 메커니즘 (Neuro-Symbolic Guidance Mechanism): 신경망 플로 매칭 디노이징 루프 내에 기호적 장벽 제약 평가와 최소 노름 궤적 수정을 교차시키는 새로운 방법을 제시합니다. 이를 통해 모델은 사후적(post-hoc)으로 적용되는 것이 아니라 생성 과정 중에 안전 수정을 적응할 수 있습니다.
3. 실험적 평가 (Empirical Evaluation): SafeLIBERO 벤치마크를 통한 포괄적인 평가를 통해, 본 방법이 높은 충돌 회피율과 작업 성공률을 달립는 동시에, 특히 긴 호흡의 작업에서 단일 단계 CBF 필터링보다 유의미한 개선을 보임을 입증했습니다.

실험 결과

본 방법은 네 가지 작업 세트(Spatial, Object, Goal, Long)와 두 가지 난이도 레벨(Level I: 타겟 근처, Level II: 경로 상)을 포함하는 SafeLIBERO 벤치마크에서 평가되었습니다.

• 전반적인 성능: 제안된 방법은 **82.81%의 충돌 회피율(CAR)**과 **81.62%의 작업 성공률(TSR)**을 달성했습니다.
• 베이스라인과의 비교:
  • 가이드가 없는 $\pi_0.5$ 대비: 베이스 모델은 18.69%의 CAR만을 기록하여, 명시적인 안전 강제의 필요성을 확인시켜 주었습니다.
  • AEGIS (단일 단계 CBF) 대비: 제안된 방법은 AEGIS(77.85% CAR, 68.13% TSR)보다 CAR에서 6.3%, TSR에서 19.8% 더 높은 성능을 보였습니다.
• 긴 호흡의 작업 (Long-Horizon Tasks): 가장 큰 격차는 "Long" 작업 세트에서 관찰되었습니다. 제안된 방법은 76.75%의 TSR을 달성한 반면, AEGIS는 43.75%에 그쳤습니다. 이는 사후 수정이 다단계 작업에서 성능을 저하시키는 누적된 분포 변화를 일으키는 반면, 생성 중 가이드는 정책의 일관성을 보존한다는 가설을 뒷받침합니다.
• 트레이드오프 (Trade-offs): 본 방법은 AEGIS(262.30)에 비해 평균 실행 단계 수(ETS)가 약간 높았습니다(299.97). 이는 장애물 주변에서 더 보수적인 경로 계획을 수행하기 때문입니다.

의의 및 주장

본 논문은 안전 제약을 생성 과정에 직접 통합하는 것이 VLA 모델을 안전이 중요한 물리적 로봇 환경에 배치하는 데 있어 유망한 방향임을 주장합니다. 충돌을 예측하고 궤적 전체에 걸쳐 수정을 분산함으로써, 이 방법은 반응적인 개입이 아닌 예측적 충돌 회피를 가능하게 합니다.

저자들은 다음과 같은 특정 한계점을 언급했습니다:

• 현재 장벽은 단일 적분기 역학(single-integrator dynamics) 하의 말단 장치 위치에만 작용하므로, 로봇 본체(링크/관절)와의 충돌은 모델링되지 않았습니다.
• 현재 방식은 시뮬레이터로부터 얻은 알려진 장애물 기하 구조와 위치에 의존하고 있으며, 이는 가공되지 않은 관측으로부터 행동하는 VLA의 본래 목표에서 벗어납니다. 인지(perception)로부터 제약 조건을 도출하는 것이 향-후 필요한 단계로 식별되었습니다.

이러한 한계에도 불구하고, 결과는 신경-기호적 가이드가 플로 매칭 VLA의 일반화 능력과 물리적 로봇 공학의 엄격한 안전 요구 사항 사이의 간극을 효과적으로 메울 수 있음을 시사합니다.