From Demonstrations to Safe Deployment: Path-Consistent Safety Filtering for Diffusion Policies

이 논문은 확산 정책 (Diffusion Policies) 의 학습 분포를 유지하면서 실시간으로 안전성을 보장하기 위해 경로 일관성 기반의 안전 필터링 (PACS) 을 제안하며, 이를 통해 기존 안전 기법 대비 작업 성공률을 크게 향상시키고 동적 환경에서 공식적인 안전 보장을 달성함을 보여줍니다.

핵심

이 논문은 **"로봇이 사람을 도와주면서 안전하게 일하는 방법"**에 대한 획기적인 해결책을 제시합니다.

기존의 최신 로봇 기술 (확산 정책, Diffusion Policies) 은 수많은 사람의 시연 데이터를 보고 복잡한 일을 배우지만, **"안전장치가 없어서 위험한 상황에서는 멈추거나 방향을 틀지 못해 사고를 낼 수 있다"**는 치명적인 약점이 있었습니다.

이 문제를 해결하기 위해 제안된 **'PACS(경로 일관성 안전 필터)'**를 일상적인 비유로 설명해 드리겠습니다.

---

🚗 비유: "스스로 운전하는 택시와 안전 운전교사"

1. 문제 상황: "스스로 운전하는 택시 (Diffusion Policy)"

마치 수많은 사람의 운전 영상을 보고 스스로 운전법을 배운 초고성능 AI 택시를 상상해 보세요. 이 택시는 복잡한 길에서도 목적지까지 아주 잘 갑니다. 하지만 이 택시에는 안전 벨트나 브레이크가 없거나, 갑자기 브레이크를 밟으면 차가 미쳐 날아갈지 모릅니다.

• 기존의 해결책 (반응형 안전 장치): 사람이 갑자기 튀어나오면, 기존 안전 장치는 "위험하다!"라고 외치며 갑자기 차를 옆으로 밀어내거나 급하게 방향을 틀게 합니다.
  • 문제점: AI 택시는 "옆으로 밀리는 상황"을 배운 적이 없습니다. 갑자기 엉뚱한 방향으로 밀려나자 AI 는 당황해서 ("이건 내가 배운 게 아니잖아!") 길을 잃거나, 아예 멈춰서 일을 못 하게 됩니다. (이를 논문에서는 '학습 데이터 밖의 상태', OOD 라고 부릅니다.)

2. 새로운 해결책: "PACS(경로 일관성 안전 필터)"

이 논문이 제안하는 PACS는 아주 똑똑한 안전 운전 교사 역할을 합니다.

• 핵심 아이디어: "차량을 옆으로 밀어내지 말고, 원래 가려던 길 위에서 속도를 조절하라."
• 어떻게 작동할까요?
  1. 예상 경로 그리기: AI 택시가 "앞으로 10 미터 가서 오른쪽으로 틀어라"라고 계획한 전체 경로를 먼저 그려봅니다.
  2. 안전 브레이킹: 갑자기 사람이 튀어나오면, 차를 옆으로 밀어내는 대신 그 길 위에서 천천히 속도를 줄이거나 잠시 멈춥니다.
  3. 원래 길 유지: 사람이 지나가면 다시 원래 속도로 그 길을 따라 가며 일을 계속합니다.

이 방식의 장점은 AI 가 배운 '운전 패턴'을 그대로 유지하면서 안전만 확보한다는 점입니다. AI 는 "내가 가려던 길에서 잠시 멈췄을 뿐"이라고 생각하므로 당황하지 않고 일을 잘 해냅니다.

---

🧪 실험 결과: "왜 이 방법이 더 좋은가?"

연구팀은 실제 로봇 (Franka FR3) 을 이용해 세 가지 어려운 상황을 테스트했습니다.

1. 정리하기 (SORTING): 사람이 녹색 블록을 치우는 동안 로봇이 빨간 블록을 상자에 넣는 일.
2. 건네주기 (HANDOVER): 사람의 손에서 블록을 받아 상자에 넣는 일.
3. 먹여주기 (FEEDING): 사람의 입에 포크로 음식을 넣어주는 일. (가장 위험하고 정밀한 작업)

결과:

• 기존 방법 (반응형): 로봇이 사람을 피하려고 방향을 틀다가, AI 가 길을 잃어 작업 성공률이 68% 까지 떨어졌습니다.
• PACS 방법: 로봇이 원래 길을 유지하며 속도를 조절했기 때문에 작업 성공률이 거의 떨어지지 않았고, 안전 사고도 0% 였습니다.

💡 핵심 요약 (한 줄 결론)

"로봇이 사람을 만나면 '옆으로 피하는' 게 아니라, '원래 가던 길 위에서 천천히 멈추는' 것이 가장 안전하고 똑똑한 방법이다."

이 기술은 앞으로 병원이나 공장처럼 사람과 로봇이 함께 일하는 곳에서, 로봇이 사고 없이도 제 기능을 다할 수 있게 해주는 핵심 열쇠가 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 확산 정책 (Diffusion Policies, DPs) 은 대규모 시연 데이터 (Demonstration Datasets) 를 학습하여 복잡한 조작 작업에서 최첨단 성능을 보입니다. 그러나 DPs 는 블랙박스 모델로서, 동적 환경이나 인간과의 상호작용 시 충돌 방지 등 공식적인 안전 보장을 제공하지 못합니다.
• 기존 방법의 한계:
  • 기존 안전 메커니즘 (예: 제어 장벽 함수 CBF, 예측 안전 필터) 은 대부분 **반응형 (Reactive)**입니다. 즉, 위험을 감지하면 로봇의 경로를 동적 객체에서 멀리 이동시키는 방식으로 작동합니다.
  • 주요 문제점: 이러한 반응형 개입은 로봇을 학습 데이터 분포에서 벗어난 상태 (Out-of-Distribution, OOD) 로 밀어넣습니다. DPs 는 OOD 상태에서는 예측이 불안정해지거나 실패할 가능성이 매우 높으므로, 안전 장치가 오히려 작업 성공률을 떨어뜨리고 예측 불가능한 행동을 유발합니다.
• 목표: 동적 환경에서 DPs 를 배포할 때, 안전성을 보장하면서도 학습된 행동 분포를 유지하여 작업 성공률을 높이는 방법이 필요합니다.

2. 제안 방법: 경로 일관성 안전 필터 (PACS)

저자들은 **경로 일관성 안전 필터 (Path-Consistent Safety Filter, PACS)**를 제안합니다. 핵심 아이디어는 로봇을 의도한 경로에서 벗어나게 하지 않고, 경로를 유지한 채 속도를 조절하거나 정지시키는 것입니다.

• 핵심 메커니즘:

  1. 행동 덩어리 (Action Chunk) 에서 의도된 궤도 생성: DPs 가 생성하는 연속된 행동 덩어리 (Action Chunk) 를 받아, 로봇의 운동학적/동역학적 제약 조건을 만족하는 매끄러운 **의도된 궤도 (Intended Trajectory)**로 변환합니다.
  2. 경로 일관성 브레이킹 (Path-Consistent Braking): 안전 필터는 로봇이 이 의도된 궤도를 따르도록 하되, 위험이 감지되면 궤도 상에서 속도를 줄이거나 정지 (Failsafe) 시킵니다. 이는 로봇을 OOD 상태로 보내지 않고 학습된 분포 내에 머무르게 합니다.
  3. 집합 기반 도달 가능성 분석 (Set-based Reachability Analysis):
     • 로봇과 동적 객체 (인간 포함) 의 도달 가능한 영역 (Reachable Occupancy) 을 실시간으로 계산합니다.
     • ISO/TS 15066 표준에 기반하여 충돌 회피 (SSM) 또는 힘/에너지 제한 (PFL) 안전 제약을 검증합니다.
     • 이를 통해 1kHz 의 고주파수로 실시간 안전성을 보장합니다.

• 시스템 흐름:

  • 정책 (Policy) 이 행동 덩어리 생성 $\rightarrow$ 궤도 계획 모듈이 궤도 생성 $\rightarrow$ PACS 가 도달 가능성 분석을 통해 안전성 검증 $\rightarrow$ 안전하다면 의도된 제어 입력 실행, 위험하다면 검증된 정지 궤도 (Failsafe) 실행.

3. 주요 기여 (Key Contributions)

1. 최초의 공식적 안전 보장 배포: 동적 환경에서의 인간 - 로봇 상호작용 (HRI) 작업에 대해 DPs 를 공식적으로 안전하게 배포한 첫 사례를 제시했습니다.
2. OOD 상태 회피 및 성공률 향상: 반응형 안전 필터 (CBF 등) 와 비교하여 OOD 상태를 피함으로써, 시뮬레이션에서 68%, 실제 하드웨어 실험에서 37% 더 높은 작업 성공률을 달성했습니다.
3. 중간 궤도 생성의 효과: 개별 행동을 순차적으로 처리하는 대신, 행동 덩어리 전체로부터 의도된 궤도를 생성하는 방식이 작업 성공률을 28% 향상시키고 실행 속도를 높임을 입증했습니다.
4. 실시간성: 도달 가능성 분석을 기반으로 하여 1kHz 주기로 안전성을 검증하며, 실시간 배포가 가능함을 확인했습니다.

4. 실험 결과 (Results)

실험은 시뮬레이션 (Robomimic 벤치마크) 과 실제 하드웨어 (Franka FR3 로봇, 3 가지 HRI 작업) 에서 수행되었습니다.

• 작업 성공률 (Task Success Rate):
  • 시뮬레이션: PACS 는 제어 장벽 함수 (CBF) 대비 평균 68% 더 높은 성공률을 보였습니다. (예: SQUARE 작업에서 CBF 는 0% 성공, PACS 는 30% 이상 성공).
  • 실제 로봇: 안전 필터가 꺼진 상태 (OFF) 에서도 정책은 약 80% 의 성공률을 보였으나, 안전 위반으로 인해 실제 안전 성공률은 0% 였습니다. PACS 를 적용하면 안전 위반 없이 80% 의 성공률을 유지했습니다.
• OOD 상태 및 회복:
  • CBF 는 로봇을 학습 데이터 분포 밖으로 밀어내어 로봇이 복구하지 못하고 실패하는 경우가 많았습니다.
  • PACS 는 로봇을 원래 경로에 유지하여 실패 후 복구 시간을 단축하고, 작업 완료 시간을 줄였습니다.
• 성능 비교:
  • PACS 는 CBF 대비 작업 성공률이 37% 높고, 계산 시간도 더 짧았습니다 (안전 단계당 0.20ms vs 0.64ms).
  • 중간 궤도 생성을 통해 작업 실행 시간을 14% 단축하고 평균 카르테시안 속도를 13% 증가시켰습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 안전과 성능의 균형: 이 논문은 안전 메커니즘이 단순히 위험을 피하는 것을 넘어, **학습된 정책의 분포를 보존 (Distribution-preserving)**해야 한다는 중요한 통찰을 제공합니다.
• 실용적 가치: DPs 와 같은 생성형 모델이 의료, 인간 동반 로봇 등 안전이 필수적인 (Safety-critical) 분야에서 실제 배포될 수 있는 토대를 마련했습니다.
• 미래 방향: 동적 장애물에 대한 안전성을 입증했으나, (준) 정적 장애물에 대한 제약 인지형 온라인 재계획 (Constraint-aware online replanning) 은 향후 과제로 남겼습니다.

요약하자면, PACS 는 확산 정책의 높은 표현력 (Expressiveness) 을 유지하면서, 경로 일관성 브레이킹과 도달 가능성 분석을 통해 동적 환경에서의 안전성을 공식적으로 보장하는 획기적인 프레임워크입니다.