Is Your Safe Controller Actually Safe? A Critical Review of CBF Tautologies and Hidden Assumptions

이 논문은 로봇 안전 제어에서 제어 장벽 함수 (CBF) 의 이론적 가정과 실제 구현 간의 격차를 비판적으로 분석하고, 수동적 안전성에 의존하지 않는 시스템에 대한 실현 가능한 안전성 증명과 실용적 지침을 제시합니다.

핵심

🚗 핵심 메시지: "안전하다고 믿는 건, 안전을 증명하는 게 아닙니다"

이 논문의 저자 (테이키영 김) 는 많은 로봇 연구자들이 **"이론상으로는 안전하다"**고 말하지만, 실제로는 **"안전한 제어기가 존재한다는 가정"**을 전제로 결론을 내리는 순환 논리를 반복하고 있다고 비판합니다.

1. "안전한 운전사"라는 가상의 착각 (타우톨로지)

• 상황: 어떤 연구자가 "우리의 로봇은 안전하다"고 주장합니다.
• 논리의 허점: 그 이유는 "우리가 로봇을 안전하게 운전할 수 있는 운전사 (제어기) 가 존재한다고 가정했기 때문"입니다.
• 비유: "이 차는 절대 벽에 부딪히지 않는다. 왜냐하면, 벽에 부딪히지 않게 운전할 수 있는 운전사가 존재한다고 가정했기 때문이다"라고 말하는 것과 같습니다.
• 문제: 실제로 그 운전사가 존재할까요? 차가 너무 빨리 달리거나, 브레이크가 고장 났을 때 (입력 제약) 그 운전사가 제동을 걸 수 있을까요? 연구자들은 이 현실적인 제약을 무시하고 수학적 가정만 믿습니다.

2. "수학은 맞는데, 현실은 다르다" (입력 제약의 중요성)

• 이론: 수학 공식상으로는 "어떤 입력을 주면 안전하다"고 증명됩니다.
• 현실: 로봇은 모터의 힘 (가속도) 에 한계가 있습니다.
• 비유 (빛의 속도로 달리는 자동차):
  • 가상의 실험에서 로봇이 벽 (안전 영역) 에 닿기 직전에 속도를 줄인다고 칩시다.
  • 하지만 로봇이 빛의 속도로 벽을 향해 달려가고 있고, 브레이크는 최대 1m/s만 감속시킬 수 있다면?
  • 수학적으로 "브레이크를 밟으면 안전하다"는 공식은 성립하지만, 물리적으로는 벽에 부딪히기 전에 멈출 수 없습니다.
  • 이 논문은 "브레이크의 힘 (입력 제약) 을 고려하지 않은 안전 증명"은 무의미한 말장난이라고 말합니다.

3. "안전한 시스템" vs "안전한 척하는 시스템" (수동적 안전성)

많은 로봇 실험이 실패하지 않는 이유는 로봇이 본래부터 안전하기 때문입니다. 이를 '수동적 안전 (Passive Safety)'이라고 합니다.

• 비유 (자전거 vs 오토바이):
  • 자전거 (단위 적분기/운동학적 매니퓰레이터): 발을 떼면 (입력 0) 그냥 멈추거나 천천히 굴러갑니다. 벽에 부딪히지 않으려면 핸들만 살짝 돌리면 됩니다. 이 경우 복잡한 수학적 장벽이 없어도 기하학적 제약만으로도 안전합니다.
  • 오토바이 (이중 적분기/관성 시스템): 발을 떼면 (입력 0) 관성 때문에 계속 미끄러집니다. 벽이 보이면 핸들만으로는 멈출 수 없고, **브레이크 (가속도 제어)**를 강력하게 밟아야 합니다.
• 문제점: 많은 연구자들이 자전거 (안전한 시스템) 로 실험해서 "우리는 안전하다"고 주장한 뒤, 그 결과를 오토바이 (위험한 시스템) 에 적용합니다. 이는 비유가 맞지 않는 것입니다.

4. "안전한 척"하는 AI 와 실제 안전

• 소프트 페널티 (Soft Penalty): "벽에 부딪히면 점수를 깎아줄게"라고 하면 로봇은 부딪히지 않으려 노력합니다. 하지만 점수 (보상) 가 너무 크면, 로봇은 "부딪히더라도 목표에 빨리 가는 게 이득이야"라고 생각하며 벽을 뚫고 갈 수 있습니다.
• 하드 제약 (Hard Constraint): "벽에 부딪히면 아예 움직일 수 없어"라고 해야 합니다. 하지만 로봇이 너무 빨리 달려와서 "멈출 수 있는 공간"이 없다면, 로봇은 아예 움직일 수 없게 되어 멈춰서버립니다 (계산 불가).
• 핵심: 단순히 "안전 점수를 주거나" "제약을 걸거나" 하는 것만으로는 안전이 보장되지 않습니다. 실제로 그 제약을 지킬 수 있는 물리적 능력이 있는지 증명해야 합니다.

---

💡 이 논문이 우리에게 주는 교훈 (실천 가이드)

저자는 로봇을 만들 때 다음 3 가지를 꼭 확인하라고 조언합니다.

1. 가정하지 말고 증명하라: "안전한 운전사가 있다"고 가정하지 말고, "우리 로봇의 모터 힘으로 정말로 그 운전사가 가능할까?"를 계산해 보라.
2. 단순한 실험에 속지 말라: 자전거로 실험해서 안전하다고 해서, 오토바이도 안전하다고 생각하지 말라. (관성이 있는 시스템은 훨씬 더 까다롭다.)
3. 안전과 성능의 트레이드오프: 로봇을 너무 빠르게 움직이게 하려면 (공격적), 안전 장벽을 매우 보수적으로 설정해야 한다. 너무 공격적으로 설정하면 로봇은 벽에 부딪히거나, 아예 멈춰버린다.

🎯 결론

이 논문은 **"수학적 이론이 완벽해 보여도, 실제 로봇의 물리적 한계 (브레이크 힘, 관성 등) 를 무시하면 그 안전은 공허한 말장난일 뿐"**이라고 경고합니다.

진짜 안전한 로봇을 만들려면, 이론의 아름다움보다는 현실의 무거움을 먼저 직시해야 합니다.

기술 요약

1. 문제 제기 (Problem Statement)

로봇 공학 분야에서 제어 장벽 함수 (Control Barrier Functions, CBF) 는 안전성 보장을 위한 이론적 토대로 널리 사용되고 있습니다. 그러나 저자는 이론적 명제와 실제 구현 사이의 심각한 간극을 지적합니다.

• 동어반복적 안전성 보장 (Tautological Safety Guarantees): 많은 연구에서 CBF 기반 안전성 증명은 "안전한 제어기가 존재한다고 가정하면, 그 제어기는 시스템을 안전하게 유지한다"는 논리적 순환 (동어반복) 에 머무릅니다. 즉, 제어기의 존재성 (Existence) 이 증명되지 않은 채 가정으로만 남습니다.
• 구현 불가능한 가정: 실제 로봇 시스템은 입력 제약 (Input Constraints, 예: 모터 토크/속도 한계) 을 가지며, 이러한 제약 하에서 제안된 CBF 조건이 항상 만족될 수 있는지 (Feasibility) 검증되지 않은 경우가 많습니다.
• 수동적 안전 시스템의 오해: 많은 실험 결과가 관성 (Inertia) 이 없는 단순 시스템 (단일 적분기, 운동학적 매니퓰레이터 등) 에서만 성공적으로 수행되었습니다. 이러한 시스템은 물리 법칙상 충돌이 발생하기 어렵기 (Passively Safe) 때문에, 복잡한 CBF 가 없어도 기하학적 제약만으로도 안전해 보일 수 있습니다. 이는 관성이 있는 실제 시스템 (이중 적분기 등) 에 대한 안전성 주장으로 잘못 일반화되는 경향이 있습니다.

2. 방법론 (Methodology)

저자는 CBF 의 이론적 틀을 재검토하고, 실제 시스템에서의 적용 가능성을 분석하기 위해 다음과 같은 접근을 취했습니다.

• 후보 CBF vs. 유효 CBF 구분:
  • 후보 CBF (Candidate CBF): 기하학적 제약 등을 기반으로 제안된 임의의 함수.
  • 유효 CBF (Valid CBF): 주어진 시스템 역학 ($f, g$) 과 입력 제약 ($U$) 하에서 CBF 조건 (식 2) 을 모든 상태 공간에서 만족함이 검증된 함수.
  • 핵심은 재귀적 실현 가능성 (Recursive Feasibility) 을 보장하는 것입니다. 즉, 모든 시간 $t$ 에 대해 허용 가능한 제어 입력 집합 $K_{cbf}(x; \alpha)$ 가 공집합이 아니어야 합니다.
• 수동적 안전 시스템 분석:
  • 수동적 안전 (Passively Safe): 외부 입력이 0 일 때 ($u=0$) 도 시스템이 안전 집합 내에 머무는 경우 (예: 드리프트 없는 시스템, 운동학적 매니퓰레이터). 이러한 시스템에서는 CBF 가 불필요할 수 있음을 지적합니다.
  • 관성 시스템의 도전: 이중 적분기 (Double Integrator) 와 같이 관성이 있는 시스템은 위치와 속도가 결합된 상태 공간에서 안전 집합을 정의해야 하며, 단순한 기하학적 제약만으로는 안전성을 보장할 수 없습니다.
• 시뮬레이션 및 비교 실험:
  • 시스템: 단일 적분기 (Single Integrator), 이중 적분기 (Double Integrator), 3 자유도 평면 매니퓰레이터 (Kinematic Abstraction).
  • 비교 대상:
    1. CBF-QP: 표준 CBF 조건을 만족하는 제어기.
    2. Naive Hard Constraint: 다음 시간 단계에서의 기하학적 제약만 고려한 단순 제약 (예: $h(x_{k+1}) \ge 0$).
  • 변수: 클래스-K 함수 ($\alpha$) 의 이득 (Tuning) 과 최대 속도/가속도 제한을 변화시키며 충돌률과 실현 불가능성 (Infeasibility) 을 측정했습니다.

3. 주요 기여 (Key Contributions)

1. CBF 안전성 논리의 비판적 재검토: 안전성 증명이 종종 가정된 제어기의 존재성을 결론으로 도출하는 동어반복임을 명확히 했습니다.
2. 후보와 유효 CBF 의 명확한 구분: 기하학적 제약 함수가 반드시 CBF 조건을 만족하는 것은 아니며, 입력 제약 하에서의 실현 가능성 (Feasibility) 검증이 필수적임을 강조했습니다.
3. 수동적 안전 시스템의 함정 지적: 드리프트 없는 시스템 (단일 적분기 등) 에서의 성공적인 실험 결과가 관성이 있는 일반 로봇 시스템의 안전성을 보장하지 못함을 실험적으로 증명했습니다.
4. 실용적 가이드라인 제시:
   • 안전성 주장 시 명확한 집합 ($C$) 과 정의역 (Domain) 을 명시할 것.
   • 입력 제약 하에서 CBF 조건이 항상 만족됨을 검증할 것.
   • 클래스-K 함수 ($\alpha$) 튜닝 시 공격성 (Aggressiveness) 과 보수성 (Conservativeness) 간의 트레이드오프를 고려할 것.
5. 오픈 소스 도구 제공: 개념을 직관적으로 시각화할 수 있는 웹 데모 (CBF Playground) 를 공개하여 연구자들이 자신의 CBF 설정을 검증할 수 있도록 지원했습니다.

4. 실험 결과 (Results)

시뮬레이션 결과는 다음과 같은 통찰을 제공했습니다.

• 수동적 안전 시스템 (단일 적분기, 운동학적 매니퓰레이터):
  • 모든 CBF 이득 ($\alpha$) 과 제약 조건에서 **충돌률 0%, 실현 불가능성 0%**를 기록했습니다.
  • 이는 이러한 시스템이 물리적으로 안전하기 때문에, 단순한 기하학적 제약 (Naive Hard Constraint) 만으로도 충돌이 발생하지 않았음을 의미합니다. 즉, CBF 가 없어도 안전해 보일 수 있습니다.
• 관성 시스템 (이중 적분기):
  • Naive Hard Constraint: 모든 속도 제한 조건에서 **충돌률이 87~93%**로 극심하게 실패했습니다. 다음 단계의 기하학적 제약만으로는 관성으로 인한 충돌을 막을 수 없음을 보여줍니다.
  • CBF-QP:
    • 보수적 튜닝 (낮은 $\alpha$): 모든 속도 조건에서 0% 충돌을 달성했으나, 로봇이 장애물 근처에서 불필요하게 멈추는 등 과도하게 보수적인 행동을 보였습니다.
    • 공격적 튜닝 (높은 $\alpha$) 및 고속 주행: 충돌률이 급격히 증가 (최대 82%) 하였고, 제어기가 해를 찾을 수 없는 상태 (Infeasibility, 최대 8%) 가 발생했습니다. 이는 높은 속도와 공격적인 CBF 설정이 입력 제약 (가속도 한계) 을 초과하여 안전성 보장을 무효화함을 의미합니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 안전성 중시 로봇 제어 분야에서 이론적 보장과 실제 구현 사이의 간극을 메우기 위한 중요한 경고와 지침을 제공합니다.

• 안전성 주장의 엄격화: 단순히 "CBF 를 사용했다"고 해서 안전하다고 주장할 수 없으며, 주어진 입력 제약 하에서 제어기가 실제로 존재하고 (Feasible), 그 제어기가 Lipschitz 연속성을 가짐을 증명해야 합니다.
• 시스템 모델링의 중요성: 관성이 없는 단순화된 모델 (Kinematic Abstraction) 에서의 실험 결과는 관성이 있는 실제 시스템 (Dynamic System) 의 안전성을 대표하지 못합니다.
• 미래 연구 방향: 안전 집합의 존재를 암묵적으로 가정하는 대신, 명시적으로 제어 불변 집합 (Controlled-Invariant Set) 을 구성하거나 검증하는 연구가 필요함을 강조합니다.

결론적으로, 저자는 CBF 가 마법 같은 안전성 보장 도구가 아니며, 시스템의 물리적 한계 (입력 제약, 관성) 와 정밀한 튜닝이 동반되지 않으면 오히려 안전성 보장이 무너질 수 있음을 경고합니다.