Dynamic Control Barrier Function Regulation with Vision-Language Models for Safe, Adaptive, and Realtime Visual Navigation

1. 문제 정의 (Problem Statement)

자율 로봇이 동적이고 비구조화된 환경에서 작동할 때, 안전성 (Safety) 과 효율성 (Efficiency) 사이의 균형을 맞추는 것은 큰 도전 과제입니다.

• 기존 CBF 의 한계: 제어 장벽 함수 (Control Barrier Functions, CBF) 는 충돌 회피를 위한 안전 필터링을 제공하지만, 대부분 고정된 매개변수로 작동합니다. 이는 안전한 장면에서는 지나치게 보수적 (conservative) 이 되어 비효율적이거나, 위험한 장면에서는 지나치게 관대 (permissive) 하여 안전을 위협할 수 있습니다.
• VLM 의 지연 문제: 비전 - 언어 모델 (VLM) 은 장면 이해에 탁월하지만, 대규모 모델 특성상 높은 지연 시간 (latency) 을 가지며 비동기적으로 실행됩니다. 이를 실시간 제어 루프에 직접 적용할 경우, 오래된 (stale) 정보가 반영되어 안전 사고가 발생할 수 있습니다.
• 핵심 질문: 어떻게 VLM 이 제공하는 시맨틱 (semantic) 위험 정보를 활용하여 CBF 의 보수성을 실시간으로 적응시키면서도, VLM 의 지연으로 인한 안전성을 보장할 수 있을까요?

2. 제안 방법론: AlphaAdj

저자들은 AlphaAdj라는 새로운 프레임워크를 제안합니다. 이는 로봇의 자기 중심 (egocentric) RGB 카메라 입력을 기반으로 CBF 안전 필터의 보수성 (conservativeness) 을 실시간으로 조절하는 시스템입니다.

A. 핵심 구성 요소

1. VLM 기반 위험 추정 (Risk Estimation):

   • 로봇의 현재 RGB 프레임과 상태 정보 (최소 장벽 값, 현재 속도 등) 를 VLM (LLaVA-1.5 7B) 에 입력합니다.
   • VLM 은 [0, 1] 범위의 스칼라 충돌 위험도 ($r$) 를 출력합니다.
   • 이 위험도는 멱함수 (power-law) 함수를 통해 CBF 의 $\alpha$ 매개변수로 매핑됩니다 ($\alpha_{vlm}$). 위험이 높을수록 $\alpha$는 작아져 (더 보수적), 위험이 낮을수록 $\alpha$는 커져 (더 공격적/효율적) 작동합니다.

2. 지연 인식 (Latency-Aware) 및 스테일니스 (Staleness) 처리:

   • VLM 추론은 비동기적으로 수행되므로, 최신 정보가 아닐 수 있습니다.
   • 스테일니스 게이트 (Staleness-gated fusion): VLM 응답이 예상 지연 시간 ($T_{stale}$) 을 초과하면 '오래된 (stale)' 것으로 간주하고, VLM 의 위험 추정치를 무시합니다.

3. 기하학적 동적 캡 (Geometric Dynamic Cap):

   • VLM 이 실패하거나 지연될 때를 대비한 안전망입니다.
   • 로봇과 가장 가까운 장애물 사이의 거리 (clearance margin, $m$) 와 현재 속도 ($v$) 를 기반으로 $\alpha$의 상한선 (cap) 을 계산합니다.
   • 소프트 캡 (Soft Cap): VLM 정보가 신선할 때 사용. VLM 이 허용하는 $\alpha$와 기하학적 안전 한계 중 더 보수적인 값을 선택합니다.
   • 하드 캡 (Hard Cap): VLM 정보가 오래되었을 때 사용. VLM 정보를 무시하고 기하학적 거리와 속도만으로 매우 보수적인 $\alpha$를 강제합니다.

4. 최종 제어 루프:

   • 목표 지향적 제어 입력 ($u_{nom}$) 을 생성합니다.
   • 계산된 최종 $\alpha_{final}$을 사용하여 CBF 제약 조건을 포함한 2 차 계획 문제 (QP) 를 풀어 안전한 제어 입력 ($u_{safe}$) 을 도출합니다.
   • 전체 시스템은 60Hz 로 실행되며, VLM 쿼리는 2Hz 로 비동기적으로 수행되어 제어 루프를 차단하지 않습니다.

3. 주요 기여 (Key Contributions)

1. RGB 입력 기반 실시간 적응형 이동성: VLM 에서 추출한 충돌 위험 신호를 사용하여 저수준 제어 정책의 보수성을 실시간으로 조절합니다. 위험 상황에서는 안전을 우선시하고, 안전한 장면에서는 민첩하게 움직여 안전 - 효율성 트레이드오프를 개선합니다.
2. 비동기 VLM 위험에 대한 지연 인식 강건성: VLM 의 지연이나 비정상적인 출력이 안전을 해치지 않도록 '지연 인식 메커니즘'과 '스테일니스 게이트'를 도입했습니다. 이는 실제 로봇 배포 시 필수적인 요소입니다.
3. 실용적인 위험 - $\alpha$ 매핑 및 융합 정책: 기하학적 동적 캡과 단순한 융합 규칙을 제안하여, VLM 의 시맨틱 정보를 안전 필터링에 통합할 수 있는 배포 가능한 방법을 제시했습니다.

4. 실험 결과 (Results)

NVIDIA IsaacSim 시뮬레이션 환경 (창고 및 단순 환경) 에서 정적/동적 장애물 시나리오 (단일 장애물, 복잡한 필드, 동적 장애물 교차 등) 를 통해 평가되었습니다.

• 안전성: AlphaAdj 는 모든 8 가지 시나리오에서 충돌 없이 목표 지점에 도달했습니다.
• 효율성 비교:
  • 고정 $\alpha$ (최소값, $\alpha_{min}$) 과 비교: AlphaAdj 는 경로 길이에서 18.5%, 도달 시간에서 10.8% 개선을 보였습니다. 고정 최소값은 지나치게 보수적이라 동적 장애물 상황에서 목표 도달에 실패하기도 했습니다.
  • 고정 $\alpha$ (최대값, $\alpha_{max}$) 과 비교: 고정 최대값은 6 번의 충돌이 발생하여 안전성이 떨어졌습니다.
  • 캡 (Cap) 제거 버전 (No Cap) 과 비교: 캡을 제거한 AlphaAdj 변형은 2 번의 충돌이 발생했습니다. AlphaAdj 는 캡을 통해 VLM 지연에 대한 강건성을 확보하면서도, 경로 길이와 도달 시간에서 평균 4.5% 의 효율성 향상을 보였습니다.
• 실시간성: VLM 지연 (평균 695ms) 이 있음에도 불구하고, 60Hz 제어 주기를 유지하며 로봇이 멈추지 않고 계속 움직였습니다. (기존 동기식 VLM 기반 접근법들은 수 초의 지연으로 인해 로봇이 멈추거나 매우 느렸습니다.)

5. 의의 및 결론 (Significance)

이 연구는 대규모 VLM 을 활용한 로봇 내비게이션의 핵심 난제인 '지연 시간 (Latency)' 과 '안전성 (Safety)' 의 균형을 성공적으로 해결했습니다.

• 기술적 의의: 고정된 안전 매개변수의 한계를 넘어, 시맨틱 이해 (VLM) 와 수학적 안전 보장 (CBF) 을 실시간으로 결합하는 새로운 패러다임을 제시했습니다.
• 실용적 가치: 클라우드 기반이나 고사양 GPU 가 없는 로봇에서도 VLM 을 활용할 수 있도록 지연 관리 전략을 제공하며, 실제 동적 환경에서의 배포 가능성을 높였습니다.
• 향후 방향: 실제 로봇 하드웨어에서의 배포, VLM 위험 점수의 추가적인 보정 및 해석 가능성 연구가 필요하다고 결론지었습니다.

요약하자면, AlphaAdj는 로봇이 복잡한 환경에서 "언제 조심해야 하고, 언제 빠르게 움직여도 좋은지"를 VLM 이 판단하게 하고, 그 판단을 안전 필터에 실시간으로 반영하면서도 시스템의 지연을 안전하게 관리하는 혁신적인 프레임워크입니다.