⚡ electrical engineering

Towards General Language-Conditioned Latent Safety Filters

본 논문은 해밀턴-야코비(Hamilton-Jacobi) 액터와 크리틱을 사용하여 다양한 로봇 작업에 걸쳐 다양한 안전 제약 조건을 동적으로 강제함으로써, 위반 횟수를 줄이고 미학습된 제약 인스턴스로의 부분적 전이를 입증하는 언어 조건부 안전 필터링 프레임워크를 제안한다.

원저자: Ihab Tabbara, Yuxuan Yang, Hussein Sibai

게시일 2026-08-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ihab Tabbara, Yuxuan Yang, Hussein Sibai

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 단순히 빵을 굽는 토스터처럼 한 가지 특정 작업만 수행하도록 프로그래밍된 서투른 기계가 아닌 세상을 상상해 보십시오. 대신, 여러분을 도움이 되는 친구처럼 이해할 수 있는 로봇을 그려보십시오. 여러분이 "테이블을 좀 치워줘"라거나 "이 블록들로 탑을 쌓아줘"라고 말하면, 로봇은 그것을 어떻게 수행할지 스스로 알아낼 것입니다. 이것이 바로 인공지능이 보는 것(시각)과 여러분이 말하는 것(언어)을 결합하여 무엇을 할지(행동) 결정하는 '범용적(generalist)' 로봇 학습의 흥 exciting한 최전선입니다. 하지만 여기에는 함정이 있습니다. 로봇이 여러분의 요청을 이해할 만큼 똑똑하다고 해서, 무엇을 하지 말아야 할지까지 알 만큼 똑똑하다는 뜻은 아닙니다. 만약 여러분이 테이블을 치우라고 요청한다면, 로봇은 실수로 귀중한 꽃병을 쓰러뜨리거나 우유를 쏟을 수도 있습니다.

로봇을 안전하게 유지하기 위해 과학자들은 '안전 필터(safety filter)'라고 불리는 것을 사용합니다. 이 필터를 로봇의 뇌 바로 옆에 서 있는 엄격하고 보이지 않는 수호천자라고 생각해 보십시오. 로봇이 팔을 움직이기 전, 수호천사가 그 계획을 점검합니다. 만약 그 계획이 꽃병을 칠 것 같다면, 수호천지는 개입하여 제어권을 잡고 로봇을 위험으로부터 멀어지도록 조종합니다. 전통적으로 이러한 수호천자들은 매우 경직되어 있었습니다. 꽃병에 대해 따로 가르쳐야 했고, 그다음엔 와인 잔에 대해 따로, 그다음엔 뜨거운 커피에 대해 따로 가르쳐야 했습니다. 만약 로봇이 새로운 것을 피하게 하고 싶다면, 수호сю천자를 처음부터 다시 훈련시켜야 했습니다. 연구자들이 던지는 핵심 질문은 이것입니다. 로봇의 수호천자에게 우리가 말하는 것을 듣는 법을 가르침으로써, 매번 전체적인 재부팅 없이도 새로운 상황에 즉각적으로 적응할 수 있게 만들 수 있을까?

"Towards General Language-Conditioned Latent Safety Filters"라는 제목의 이 논문은 바로 그 아이디어를 탐구합니다. 저자인 이합 타바라(Ihab Tabbara), 유셴 양(Yuxuan Yang), 후세인 시바이(Hussein Sibai)는 매번 새로운 규칙을 위해 재훈련할 필요가 없는 새로운 종류의 안전 필터를 제안합니다. 대신, 그들은 수호천자가 "우유 갑을 만지지 마"와 같은 자연어 지시를 듣고 즉각적으로 로봇의 행동에 그 규칙을 적용할 수 있는 시스템을 구축했습니다. 그들은 이를 블록을 집거나, 테이블을 닦거나, 물체를 쌓는 로봇 작업에 테스트했습니다.

연구진은 이 '언어 조건부(language-conditioned)' 필터가 놀라울 정도로 잘 작동한다는 것을 발견했습니다. 실험에서 이 새로운 필터는 로봇이 특정 물체를 피하라는 지시를 받았을 때, 설령 로봇의 원래 계획이 그 물체와 충돌하는 것이었더라도 충돌을 성공적으로 방지했습니다. 예를 들어, 로봇이 특정 순서대로 색깔 블록을 쌓아야 하는 작업에서, 이 필터는 지침이 변경되더라도 로봇이 규칙을 약 80%의 확률로 올바르게 따르도록 도왔습니다. 또한 이 필터는 어느 정도 일반화 능력을 보여주었습니다. 이전에 본 적 없는 물체나 색상(예: 빨간색 대신 노란색 책)에 대해 테스트했을 때도, 완벽하지는 않았지만 무작위 확률보다는 더 잘 규칙을 따랐습니다.

하지만 이 논문은 이것을 완벽한 해결책이라고 부르는 데는 신중합니다. 저자들은 이 필터가 큰 진전이지만, 여전히 실수를 범한다는 점을 보여줍니다. 특히 로봇이 카메라를 통해 세상을 보고 있을 때(이는 로봇이 실제로 가지고 있는 초능력이 아닌, 모든 물체의 정확한 위치를 아는 상태와 같습니다) 더욱 그렇습니다. 그들은 또한 고급 AI 모델을 사용하여 필터에게 무엇이 위험한지를 알려주는 '눈' 역할을 하도록 테스트했지만, 가장 똑똑한 현재의 모델들조차 단독으로 안전의 판단자가 되기에는 충분히 신뢰할 만하지 않다는 것을 발견했습니다.

이 연구는 우리가 하나의 일반적인 안전 필터를 통해, 매번 새로 학습하는 대신 읽는 것만으로도 다양한 규칙을 이해할 수 있는 미래로 나아가고 있음을 시사합니다. 현재 버전은 결함이 있고 완전히 새로운 시나리오에서는 여전히 어려움을 겪고 있지만, 결과는 이 접근 방식이 유망한 길임을 보여줍니다. 이는 우리가 가구를 옮길 때마다 엔지니어 팀을 불러 재프로그래밍할 필요 없이, 로봇에게 복잡하고 변화하는 안전 지침을 즉석에서 내릴 수 있는 미래를 암시합니다.

기술 요약: 일반적인 언어 조건부 잠재 안전 필터(Latent Safety Filters)를 향하여

문제 정의

로봇 정책이 단순한 작업 특정 제어기에서 다양한 자연어 지침을 실행할 수 있는 범용 시각-언어-행동(VLA) 모델로 진화함에 따라, 안전한 배포를 보장하는 것이 중요한 과제로 남아 있습니다. 안전 요구 사항은 동일한 작업이라 할지라도 사용자, 환경 및 응용 분야에 따라 크게 달라질 수 있습니다. 기존의 안전 필터는 대부분 제약 조건 특정적입니다. 즉, 고정된 안전 개념(예: 사전 정의된 실패 집합에 대한 전방 불변성)에 의존하며, 안전 사양이 변경될 때마다 재설계나 재학습이 필요합니다. 또한, 현재의 VLA 정책은 훈련 데이터로부터 안전성을 암묵적으로 학습하거나 명시적인 언어 기반 안전 프롬프트를 신뢰성 있게 따르는 데 실패하는 경우가 많습니다. 본 논문은 언어 조건부 안전 필터링을 조사하며, 자연어로 표현된 배포 시점의 안전 요구 사항에 적응할 수 있는 단일 학습된 안전 필터를 만드는 것을 목표로 합니다. 이를 통해 범용 로봇 정책의 안전한 배포를 지원하고자 합니다.

방법론

저자들은 해밀턴-자코비(Hamilton–Jacobi, HJ) 도달 가능성 분석을 언어 지정 제약 조건에 맞게 확장하는 프레임워크를 제안합니다. 핵심 접근 방식은 명목 정책(nominal policy)을 위한 런타임 필터로서 작동하는, 제약 조건 조건부 안전 액터(actor)와 크리틱(critic)을 학습하는 것입니다.

1. 정식화

시스템은 각 타임스텝 $t$ 에서 관측값 $o_t$ , 작업 지침 $\tau$ , 그리고 자연어 안전 제약 조건 $c$ (예: "우유 상자를 피하라")를 가지고 작동합니다. 명목 정책 $\pi_{nom}$ 은 제안된 행동 $a^{nom}_t$ 를 생성합니다. 안전 필터는 학습된 HJ 크리틱 $Q_\theta(z_t, a_t)$ 를 사용하여 이 행동을 평가하며, 여기서 상태 표현 $z_t$ 는 시각적 관측과 언어 제약을 모두 인코딩합니다.

크리틱(Critic): $a^{nom}_t$ 를 실행한 후 최적의 안전 정책을 따랐을 때의 할인된 최악의 경우(worst-case) 안전 가치를 추정합니다.
액터(Actor): 안전성을 극대화하도록 훈련된 학습된 정책입니다.
필터링 로직: 만약 $Q_\theta(z_t, a^{nom}_t) \geq \epsilon$ (여기서 $\epsilon$ 은 안전 마진)이면, 명목 행동이 실행됩니다. 그렇지 않으면, 필터가 개입하여 HJ 액터로부터 후보 행동들과 명목 행동의 섭동(perturbations)을 샘플링하여, 제약 조건을 만족하는 가장 가까운 안전한 행동을 선택합니다.

2. 표현 및 인코딩

본 논문은 HJ 액터/크리틱을 위한 두 가지 입력 표현을 평가합니다.

특권 오라클(Privileged Oracle, 정답 데이터): 전체 시스템 상태 $s_t$ (물체 포즈, 로봇 상태)와 제약 조건의 멀티-핫 인코딩을 사용합니다. 이는 인지 오류 없이 HJ 정식화의 효능을 테스트하기 위한 상한선 역할을 합니다.
시각-언어(Vision-Language, VL): 원시 RGB 관측값(3인칭 및 손목 장착 뷰), 로봇 고유 수용 감각, 그리고 언어 제약을 사용합니다. 이를 인코딩하기 위해 저자들은 다중 뷰 관측과 언어를 공유 트랜스포머를 통해 처리하는 $\pi0.5$ VLA 백본을 활용합니다. 결과물인 토큰 시퀀스는 평균 풀링(mean pooling)을 통해 결합되어 잠재 표현 $z_t$ 를 형성합니다.

3. 실패 함수(Failure Functions)

핵심 구성 요소는 실패 집합의 경계를 정의하는 실패 함수 $h(z_t)$ 입니다.

기하학적 제약: 충돌 회피와 같은 작업의 경우, $h$ 는 거리 메트릭(예: 장애물과의 거리에서 임계값을 뺀 값)에 의해 정의됩니다.
의미론적 제약: 복잡한 의미론적 실패(예: 물체를 쓰러뜨림)의 경우, 저자들은 시각-언어 모델(VLM)을 실패 오라클로 사용하는 방식을 탐구합니다. 그들은 11개의 서로 다른 VLM에 쿼리를 던져 상태가 제약을 위반했는지 판단하고, 출력을 양수 또는 음수 상수로 매핑합니다. 그러나 현재의 VLM은 안전 위반에 대한 거짓 음성(false-negative) 비율이 높아 직접적인 런타임 실패 오라클로 사용하기에는 신뢰성이 부족하다는 것을 발견했습니다.

4. 훈련

HJ 크리틱과 액터는 소프트 액터-크리틱(SAC)을 사용하여 벨만 오차 손실(Bellman error loss)을 최소화하도록 훈련되며, 이는 제약 조건이 정의된 실패 집합을 피하기 위한 최적의 가치 함수를 근사합니다. 훈련 데이터는 수정된 LIBERO 작업을 기반으로 하며, 의도적으로 안전 위반 사례를 풍부하게 포함(약 90%)하고 있습니다.

주요 기여

정식화: 고정된 실패 집합이 아닌 자연어 제약 조건에 조건화되는 언어 조건부 안전 필터링을 정식화했습니다.
평가: 제약 조건 만족도, 분포 외(OOD) 일반화, 그리고 안전성/작업 성공도/개입률 간의 트레이드오프를 조사하기 위해 세 가지 조작 작업(Safe Grab, Safe Wipe, Stack Blocks)에 대해 종합적인 평가를 수행했습니다.
비교 분석: 제안된 일반 언어 조건부 필터와 제약 조건별로 훈련된 특화된 비언어 조건부 필터 간의 비교를 수행했습니다.
VLM 벤치마킹: 11개의 VLM을 잠재적 실패 함수로서 평가하여 로봇 조작에서의 신뢰성 문제를 강조했습니다.
데이터셋 공개: 저자들은 안전 위반이 포함된 5,000개의 LIBERO 스타일 조작 궤적 데이터셋을 공개하기로 약속했습니다.

실험 결과

실험은 Ground Truth(GT) 및 Vision-Language(VL) 관측 모달리티를 모두 사용하여 RoboSuite 환경에서 수행되었습니다.

안전성 vs. 작업 성공도: 일반(언어 조건부) 필터와 단일(제약 조건 특정) 필터 모두 필터링되지 않은 명목 정책에 비해 충돌률을 크게 낮추었습니다. GT 설정에서 필터는 작업 성능을 잘 유지했습니다. VL 설정에서는 토큰 집계(평균 풀링) 과정에서의 공간적 특징 손실로 인해 충돌률이 여전히 높게 나타났습니다.
일반 필터 vs. 특화 필로:
- Stack Blocks(순차적 제약)의 경우, 일반 필터가 순서 정확도(Order-Correctness, OC) 측면에서 단일 필터보다 우수한 성능을 보였으며, 이는 필터를 공유함으로써 관련 제약 조건 간(예: "빨간색 잡기" vs "파란색 잡기") 지식 전이가 가능함을 시사합니다.
- Safe Grab 및 Safe Wipe(충돌 회피)의 경우, 결과는 엇갈렸습니다. VL 설정에서 일반 필터는 단일 필터보다 낮은 충돌률을 달 기록했지만, 때때로 작업 성공도가 낮아지는 대가를 치렀습니다. GT 설정에서 일반 필터는 단일 필터보다 훨씬 적은 개입(낮은 IR)을 필요로 하면서도 대등한 안전성을 유지했습니다.
제약 조건 특이성: 일반 필터는 지정된 장애물과 무해한 물체를 구분하는 능력을 보여주었습니다. 두 물체가 있는 장면에서 필터는 이름이 명시된 장애물은 피하면서도 명시되지 않은 물체와의 상호작용은 허용함으로써, 모든 물체를 무차별적으로 피하는 것이 아님을 증명했습니다.
분포 외(OOD) 일반화: 일반 필터는 보지 못한 제약 조건에 대해 부분적인 전이 능력을 보였습니다:
- Safe Grab/Wipe: 보지 못한 물체 유형(예: 모카 포트, 노란 책)에 대해 테스트했을 때 성능이 저하되었으며 충돌률이 증가했습니다.
- Stack Blocks: 필터는 보지 못한 색상에 대해서는 잘 일반화되었으나(Color-Only shift), 모양과 색상이 모두 보지 못한 경우 성능이 떨어졌습니다. 분석 결과 필터가 색상과 모양 단서 모두에 의존함을 시사했습니다. 장면 내에 없는 모양(예: 원통형만 있는데 "큐브"라고 명시한 경우)을 언급하더라도, 필터는 색상을 바탕으로 대상을 식별할 수 있었으나 정확도는 감소했습니다.
VLM 신뢰성: 11개의 VLM을 실패 오라클로 평가한 결과, 일부 모델(예: Gemini Robotics-ER 1.6)은 높은 비-실패(non-failure) 정확도를 보였으나, 실제 안전 위반을 감지하는 능력(낮은 실패 정확도)은 부족했습니다. 이는 현재의 VLM이 직접적인 런타임 실패 오라클로 사용되기에는 신뢰성이 낮음을 나타내며, 다만 학습된 실패 함수를 위한 약한 어노테이터(annotator)로서의 역할은 수행할 수 있음을 시사합니다.

의의 및 주장

본 논문은 매번 새로운 사양을 위한 별도의 모델을 만들 필요 없이, 다양한 언어 지정 안전 요구 사항에 적응할 수 있는 일반 안전 필터를 향한 경로를 제시한다고 주장합니다. 저자들은 단일 학습된 안전 크리틱이 여러 제약 조건을 표현하고, 단일 지침으로부터 활성 제약 조건을 구성하며, 특정 제품군 내의 보지 못한 제약 인스턴스에 일반화될 수 있다고 주장합니다.

이 연구는 안전 필터가 일반적인 VLA 정책과 유사한 전환을 겪을 수 있음을 시사합니다. 즉, 고정된 사양 특정 모니터에서 일반적이고 사양 조건부인 강제 메커니즘으로 이동하는 것입니다. 이는 안전 필터가 대규모로 훈련되고 다운스트림 작업에 적응할 수 있게 함으로써, 일반적인 정책의 발전 과정과 유사한 궤적을 그리게 할 것입니다.

그러나 저자들은 현재 기술 수준에 대해 겸허한 태도를 유지합니다. 그들은 다음을 인정합니다:

일반 필터는 특히 OOD 조건에서 제약 조건 준수를 보장하지 못합니다.
훈련 중에 보지 못한 제약 조건에 대해서는 성능이 저하됩니다.
현재 방식은 특정 유형의 제약(회피/접근)에 국한되어 있으며, 복잡한 시간 논리(temporal logic)나 완전히 임의적인 안전 사양을 아직 다루지 못합니다.
현재의 VLMs는 직접적인 런타임 오라클로서 정의하기에 불충분합니다.

결론적으로, 본 논문은 제안된 프레임워크가 부분적인 전이와 일반화 가능성을 보여주지만, 토큰 집계 전략 개선, VLA 백본과 안전 크리틱의 공동 미세 조정(joint fine-tuning), 그리고 더 견고한 언어 제약 처리 방법 개발을 위한 추가 연구가 필요함을 밝히며 마무리됩니다.