Constraining Streaming Flow Models for Adapting Learned Robot Trajectory Distributions

1. 문제 정의 (Problem)

로봇은 복잡하고 다중 모드 (multi-modal) 를 가진 환경에서 유연하고 반응적인 궤적을 생성해야 합니다. 최근 스트리밍 흐름 정책 (Streaming Flow Policies, SFP) 은 학습된 속도장 (velocity field) 을 직접 작용 공간 (action space) 에 통합하여, 확산 모델 (diffusion models) 보다 낮은 추론 지연 시간과 실시간 제어가 가능한 강력한 생성 모델로 등장했습니다.

그러나 기존 SFP 의 주요 한계점은 다음과 같습니다:

• 안전 제약의 부재: 학습된 흐름 필드를 그대로 적용할 경우, 훈련 시 알려지지 않았거나 동적으로 변화하는 환경의 장애물, 관절 한계, 작업 공간 경계 등을 고려하지 못해 충돌이나 비현실적인 동작이 발생할 수 있습니다.
• 기존 방법의 단점:
  • 사후 보정 (Post-hoc Projection): 생성된 궤적을 사후에 투영하거나 필터링하는 방식은 불연속적인 동작을 유발하고, 국소 최적해 (local minima) 에 빠지며, 계산 비용이 높습니다.
  • 재학습 (Retraining): 제약 조건을 포함하도록 모델을 다시 학습시키는 것은 유연성이 떨어지고 새로운 환경에 적응하기 어렵습니다.

따라서, 모델을 재학습시키거나 사후 보정을 거치지 않고도, 추론 시간 (inference time) 에 실시간으로 안전 제약 조건을 부드럽게 반영할 수 있는 방법이 필요합니다.

2. 방법론 (Methodology)

저자들은 제약 조건 인식 스트리밍 흐름 (Constraint-Aware Streaming Flow, CASF) 프레임워크를 제안합니다. 이는 학습된 오일러 미분 방정식 (ODE) 의 기하학적 구조를 실시간으로 변형하여 안전을 보장하는 방식입니다.

핵심 기술 요소:

1. 거리 기반 메트릭 (Distance-Induced Metrics):

   • 로봇이 비가행 영역 (장애물, 관절 한계 등) 에 접근할수록 해당 방향의 운동 비용을 증가시키는 리만 계량 (Riemannian metric) 을 정의합니다.
   • 이 메트릭은 제약 조건 경계 근처에서는 불안전한 방향의 속도를 감쇠시키거나 방향을 전환하고, 자유 공간에서는 단위 행렬 (Identity) 로 부드럽게 복원됩니다.
   • 수식적으로, 학습된 속도장 $v_\theta$ 를 메트릭의 역행렬 $M(a)^{-1}$ 로 곱하여 변형된 속도장 $\tilde{v}$ 를 생성합니다:
     $$\frac{da(t)}{dt} = M(a)^{-1} v_\theta(a, t | h)$$
   • 이는 제어 장벽 함수 (CBF) 기반의 안전 필터를 최적화 문제 (QP) 를 풀지 않고 미분 가능한 형태로 근사한 것과 유사합니다.

2. 신경 거리장 (Neural SDF) 학습:

   • 복잡한 기하학적 환경 (예: 꽃병 모양의 장애물) 에 대한 거리 함수를 분석적으로 정의하기 어려운 경우, 신경망 (Neural Network) 을 사용하여 Signed Distance Field (SDF) 를 학습합니다.
   • 학습된 SDF 의 기울기 (gradient) 를 통해 국소적인 표면 법선 벡터를 구하고, 이를 기반으로 이방성 (anisotropic) 메트릭을 구성합니다.

3. 작업 공간에서 구성 공간으로의 풀백 (Metric Pullback):

   • 로봇의 링크 전체 (Whole-robot) 의 충돌을 방지하기 위해, 작업 공간 (Workspace) 의 장애물 거리장을 로봇의 기구학적 자코비안 (Jacobian) 을 통해 구성 공간 (Configuration Space, 관절 공간) 으로 변환 (Pullback) 합니다.
   • 이를 통해 엔드 이펙터뿐만 아니라 로봇 팔의 중간 링크 (elbow, forearm 등) 가 장애물과 충돌하지 않도록 관절 수준의 속도 변형이 자동으로 발생합니다.

3. 주요 기여 (Key Contributions)

1. CASF 프레임워크: 학습된 스트리밍 흐름 정책을 제약 조건 의존적 메트릭 필드로 변형하여, 재학습 없이도 실시간으로 안전 및 실행 가능성 제약을 부드럽게 강제하는 새로운 방법론 제시.
2. 모듈형 제약 조합: 작업 공간과 구성 공간에서 정의된 다양한 제약 조건을 국소 메트릭으로 변환하고, 로봇의 기구학을 통해 통합된 제어 공간 기하학으로 일관되게 결합하는 방식 제안.
3. 엄격한 실증 평가: 시뮬레이션 및 실제 로봇 (Universal Robot) 실험을 통해, CASF 가 기존 사후 투영 (Hard-Projection) 및 CBF 필터링 기법보다 충돌 회피 성능은 유지하면서 궤적의 부드러움과 작업 성공률을 크게 향상시켰음을 입증.

4. 실험 결과 (Results)

실험은 2D PushT, LASA 장애물 회피 벤치마크, 3D Robomimic 시뮬레이션, 그리고 실제 로봇 (UR) 조작 작업에서 수행되었습니다.

• 성능 지표:

  • 안전성: CASF 는 모든 작업에서 거의 0 에 수렴하는 침투 깊이 (M.P.D.) 및 위반 적분 (IntViolation) 을 기록하여, 기존 SFP 와 비교해 충돌을 완전히 방지했습니다.
  • 궤적 품질: Hard-Projection 이나 CBF 는 안전은 지키지만 궤적의 형태를 급격하게 왜곡시켜 (높은 Masked Fréchet Distance) 작업 효율을 떨어뜨리는 반면, CASF 는 원래 학습된 궤적의 다중 모드 특성과 형태를 최대한 유지하면서 부드럽게 회피 동작을 수행했습니다.
  • 작업 성공률: PushT 작업에서 CASF 는 성공률 (S.R.) 과 목표 도달률 (G.C.) 이 가장 높았으며, 경로 길이 (A.P.L.) 는 15% 단축되어 효율성이 향상되었습니다.

• 전체 로봇 충돌 회피 (Whole-robot Collision Avoidance):

  • 엔드 이펙터뿐만 아니라 팔의 중간 링크가 장애물과 충돌하는 복잡한 3D 시나리오에서도, CASF 는 관절 공간의 메트릭 풀백을 통해 로봇 전체가 장애물을 우회하는 조화로운 동작을 생성했습니다.
  • 기존 방법은 엔드 이펙터만 안전하면 중간 링크가 충돌하는 경우가 많았으나, CASF 는 이를 성공적으로 해결했습니다.

• 실제 로봇 실험:

  • 실제 UR 로봇을 이용한 4 가지 작업 (의자 정리, 도구 집기/놓기, 톱질, 망치질) 에서 다양한 장애물 배치 하에 CASF 를 적용한 결과, 충돌 없이 작업을 완수했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 생성형 로봇 제어 (Generative Robot Control) 분야에서 안전성과 유연성을 동시에 확보하는 중요한 진전을 이루었습니다.

• 실시간 적응성: 모델 재학습 없이 동적 환경 변화에 실시간으로 적응할 수 있어, 실제 로봇 배포에 매우 유용합니다.
• 부드러운 제어: 불연속적인 보정이나 급격한 방향 전환 없이, 유체역학적 흐름처럼 자연스럽게 장애물을 회피하여 로봇의 동작 품질을 유지합니다.
• 확장성: 단순한 엔드 이펙터 제약을 넘어, 복잡한 기하학적 구조를 가진 전체 로봇의 충돌 회피까지 지원하며, 신경 SDF 를 통해 복잡한 환경 표현도 가능합니다.

결론적으로 CASF 는 학습된 정책의 표현력 (expressivity) 을 해치지 않으면서도 엄격한 안전 제약을 실시간으로 부과할 수 있는 강력한 프레임워크로, 안전이 중요한 실제 로봇 응용 분야에 큰 기여를 할 것으로 기대됩니다.