Your Model Already Knows: Attention-Guided Safety Filter for Vision-Language-Action Models

기술 요약: 당신의 모델은 이미 알고 있다: 시각-언어-행동(VLA) 모델을 위한 어텐션 가이드 안전 필터

문제 정의

시각-언어-행동(Vision-Language-Action, VLA) 모델은 엔드 투 엔드 로봇 조작 분야에서 상당한 성공을 거두었으나, 종종 공식적인 안전 보장이 결여된 제약 없는 블랙박스 정책으로 작동합니다. 핵심적인 실패 모드는 동적 환경에서 작업과 무관한 물체와 충돌하는 것입니다. 기존의 안전 솔루션은 일반적으로 외부 시각-언어 모델(VLM)에 의존하여 장애물과 그 위치를 식별합니다. 그러나 VLM을 쿼리하는 것은 계산 비용이 많이 들어 제어 루프 내에서의 실시간 실행을 방해합니다. 결과적으로, 현재의 접근 방식은 에피소드 초기화 시에만 장애물 식별을 수행하는 경우가 많습니다. 이러한 "초기화 전용(init-only)" 전략은 물체가 움직이거나, 사람이 작업 공간에 들어오거나, 로봇과 장애물 사이의 공간적 관계가 변하는 동적 환경에서는 안전 필터를 노후화시키고 효과를 없게 만듭니다.

방법론

저자들은 고정된(frozen) VLA 정책의 내부 지각 신호를 활용하여 실시간 충돌 회피를 가능하게 하는 학습이 필요 없는(training-free) 안전 프레임워크인 KNOWS(Knowledge-driven, No-retraining, Online Wrapper for Safety)를 제안합니다. 이 파이프라인은 네 가지 주요 구성 요소로 이루어집니다:

1. 고정된 VLA 정책 (Frozen VLA Policy): 사전 훈련된 VLA 정책($\pi_\theta$)이 시각 및 언어 입력에 기반하여 후보 행동을 생성합니다. 모델 자체는 수정되거나 미세 조정되지 않습니다.
2. 저지연 장애물 추적 (Low-Latency Obstacle Tracking): 에피소드 초기화 시, 세그멘테이션 모델(fine-tuned YOLOE)이 조작 가능한 물체를 식별합니다. 시스템은 각 물체에 대해 최소 부피 포락 타원체(Minimum-Volume Enclosing Ellipsoid, MVEE)를 적합시킵니다. 실행 중에는 타원체를 다시 적합시키는 대신, 세그멘테이션 마스크를 통해 물체의 중심점을 추적하고 포즈를 업데이트하여 장면의 경량화된 기하학적 표현을 유지합니다.
3. 어텐션 기반 타겟 식별 (Attention-Based Target Identification): 핵심 혁신은 정책의 의도를 내부 어텐션 메커니즘으로부터 직접 추출하는 데 있습니다.
   • 저자들은 고정된 VLA 내의 특정 어텐션 헤드 하위 집합이 정책이 조작하고자 하는 대상(object)에 일관되게 주목한다는 것을 확인했습니다.
   • 구체적으로, 표준 순전파(forward pass) 과정 중에 특정 레이어와 헤드(예: $\pi_{0.5}$의 Layer 12, Head 3)에서 추출한 어텐션 맵을 사용합니다.
   • 최근 스텝들의 슬라이딩 윈도우 동안 어텐션 밀도를 누적하고, 이를 물체 마스크 상에 투영합니다.
   • 누적된 어텐션 밀도가 가장 높은 물체를 **타겟(target)**으로 식별합니다. 그 외의 모든 추적된 물체는 **장애물(obstacle)**로 취급됩니다.
   • 이 과정은 매 제어 스텝마다 발생하며, 외부 인지 모델 없이 동적으로 장애물 집합을 업데이트합니다.
4. CBF-QP 안전 필터 (CBF-QP Safety Filter): 이차 계획법(Quadratic Programming, QP) 기반의 제어 장벽 함수(Control Barrier Function, CBF)는 후보 행동과 스텝별 장애물 집합을 받아들입니다. 이 필터는 행동을 안전 집합으로 투영하여 엔드 이펙터(end-effector) 타원체가 모든 장애물 타원체와 분리된 상태를 유지하도록 보장합니다. 만약 안전한 행동이 존재하지 않으면, 시스템은 비상 정지를 트리거합니다.

주요 기여

• 내부 신호의 식별: 본 논문은 고정된 VLA 정책이 소수의 어텐션 헤드 내에 신뢰할 수 있는 스텝별 타겟 식별 신호를 내재적으로 인코딩하고 있음을 입증하며, 이를 통해 외부 VLM이나 추가 학습의 필요성을 제거했습니다.
• KNOWS 프레임워크: 어텐션 기반 타겟 식별과 경량 물체 추적기 및 CBF-QP 필터를 결합한 학습이 필요 없는 온라인 안전 래퍼를 제안합니다. 이를 통해 제어 속도(20 Hz)에서 연속적인 안전 제약 업데이트가 가능합니다.
• 동적 환경 성능: 적대적인 움직이는 장애물을 포함하도록 확장된 SafeLIBERO 벤치마크를 통해 엄격한 실시간 안전 필터 테스트베드를 제공합니다.
• 추론 시 상관관계: 타겟 식별에 사용된 것과 동일한 어텐션 밀도가 작업 성공을 예측하는 강력한 지표로도 작용한다는 점을 발견했습니다(초기 에피소드 제한 시 AUC 0.89). 이는 내부 어텐션이 즉각적인 안전 필터링 이상의 정보를 담고 있음을 시사합니다.

실험 결과

프레임워크는 네 가지 제품군(SPATIAL, OBJECT, GOAL, LONG)과 세 가지 안전 레벨(Static Level I/II, Dynamic Level III)에 걸쳐 SAFELIBERO(LIBERO 벤치마크의 안전 증강 버전)에서 평가되었습니다.

• 정적 시나리오 (Levels I & II): KNOWS는 초기화 시 타겟을 식별하기 위해 특권된 시뮬레이터 상태(privileged simulator state)를 사용하는 "오라클(oracle)" 베이스라인과 유사한 성능을 보입니다. 또한 "Naive" 초기화 전용 베이스라인과 유사한 작업 성공률을 유지하면서도 충돌률을 크게 줄입니다.
• 동적 시나리오 (Level III): 움직이는 장애물이 있는 환경에서 초기화 전용 베이스라인은 타겟 할당이 노후화됨에 따라 실패합니다. KNOWS는 이 베이스라인보다 월등히 우수한 성능을 보이며, 충돌률을 평균 43% 감소시켰습니다.
• 실시간 오버헤드: 이 방법은 20 Hz 제어 예산(스텝당 50 ms) 내에서 작동합니다. 어텐션 추출은 기존 순전파를 재사용하므로 무시할 수 있는 수준의 오버헤드(0.8 ms)를 추가합니다. 전체 래퍼 오버헤드는 약 49 ms이며, 이는 안전 로직 자체가 아닌 세그멘테이션 모델과 깊이(depth) 처리 과정에 의해 결정됩니다.
• 타겟 식별 정확도: 선택된 어텐션 헤드(Layer 12, Head 3)는 목적지 및 다른 물체와 타겟 물체를 안정적으로 구분하며, 타겟에 대한 어텐션 밀도는 무관한 물체에 대한 우연한 확률(AUC 0.55)에 비해 높은 특이도(AUC 0.89)를 보였습니다.

의의 및 주장

본 논문은 실시간 안전 필터링에 필요한 지각적 접지(perceptual grounding)가 이미 VLA 정책 내에 잠재되어 있다고 주장합니다. 멀티 헤드 셀프 어텐션의 구조적 라우팅 특성을 활용함으로써, KNOWS는 다음과 같은 최소한의 침습적인 안전 계층을 제공합니다:

1. 외부 VLM 쿼리의 지연 병목 현상을 제거하여 동적 환경에서의 연속적인 안전 업데이트를 가능하게 합니다.
2. 재학습이나 감독이 필요하지 않아 고정된 트랜스포머 기반 VLA 정책에 모두 적용 가능합니다.
3. 양의 피드백 루프를 제공합니다: 안전 필터가 기본 정책의 어텐션 맵 품질에 의존하기 때문에, 기반이 되는 VLA 백본의 개선은 추가적인 엔지니어링 없이도 더 견고한 안전 필터링으로 직접 연결됩니다.

저자들은 현재 구현이 엔드 이펙터 안전에 집중하고 있으며 기초적인 인지 모듈의 품질에 의존하고 있지만, 이 접근 방식이 "당신의 모델은 이미 알고 있다"는 것을 보여준다고 결론짓습니다. 즉, 내부 신호를 읽는 법만 안다면 충돌을 피하는 방법을 이미 알고 있다는 것입니다.