⚡ electrical engineering

Herding End-to-End Autonomous Driving via Neuro-Symbolic Safety Guards

이 논문은 엔드 투 엔드 자율 주행 에이전트에 부착되어, 불안전한 명령을 안전한 대안으로 교체함으로써 명시적인 교통 규칙을 강제하고, 전체적인 주행 성능을 저해하지 않으면서도 롱테일 벤치마크에서의 충돌을 크게 줄이고 성공률을 높이는 가볍고 학습이 필요 없는 뉴로-심볼릭 안전 가드를 소개한다.

원저자: Simón Patiño Idarraga, Erick Silva, Rehana Yasmin, Ali Shoker

게시일 2026-08-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Simón Patiño Idarraga, Erick Silva, Rehana Yasmin, Ali Shoker

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 수천 편의 자동차 주행 영상을 보여줌으로써 로봇에게 운전을 가르치고 있다고 상상해 보세요. 이것은 '엔드 투 엔드(end-to-end)' 학습이라고 불리며, 로봇이 카메라를 보고 마치 인간의 뇌처럼 즉각적으로 핸들을 꺾거나 가속 페달을 밟을지를 결정하는 방식입니다. 이 방식은 패턴을 학습하는 데 매우 뛰어납니다. 예를 들어, 앞에 빨간 차가 있으면 로봇은 이전에 백만 번도 넘게 보았던 장면이기 때문에 속도를 줄여야 한다는 것을 알게 됩니다. 하지만 여기에 까다로운 문제가 있습니다. 로봇은 규칙을 따르는 존재가 아니라 패턴을 맞추는 기계라는 점입니다. 로봇은 왜 빨간불 앞에서 멈춰야 하는지, 혹은 물리학이 어떻게 작동하는지를 실제로 이해하지 못합니다. 그저 이전에 보았던 것들을 바탕으로 추측할 뿐입니다. 만약 로봇이 훈련 영상에서 본 적 없는 기이한 상황, 예를 들어 거대한 공기 주입식 오리가 도로를 가로막고 있거나, 드라이브웨이처럼 보이는 그려진 벽을 마주하게 된다면 잘못된 추측을 하여 충돌할 수도 있습니다. 이것은 큰 문제입니다. 로봇 운전자가 99%의 확률로 완벽하더라도, 그 한 번의 실수가 치명적일 수 있기 때문입니다. 우리는 로봇이 자유롭게 운전하게 두되, 위험한 행동을 하려 할 때 이를 잡아줄 수 있는 안전망을 갖춰야 합니다.

이 논문은 '뉴로-심볼릭 안전 가드(neuro-symbolic safety guard)'라고 불리는 영리한 해결책을 소개합니다. 로봇 운전자를 재능은 있지만 충동적인 십 대 운전자로, 안전 가드를 조수석에 앉아 있는 엄격하고 규칙을 준수하는 부모님으로 생각해 보세요. 십 대(로봇)는 모든 운전 결정을 내리고 어디로 갈지를 제안합니다. 하지만 자동차가 실제로 움직이기 전, 부모님(안전 가드)이 십 대의 계획을 "보행자를 절대 치지 않는다"라거나 "빨간불에는 멈춘다"와 같은 간단하고 깨지지 않는 규칙 목록과 대조하며 확인합니다. 만약 십 대의 계획이 안전하다면, 부모님은 아무 말 없이 운전을 허용합니다. 하지만 십 대가 빨간불을 무시하거나 벽으로 돌진하려 한다면, 부 부모님은 즉시 제어권을 쥐고 차를 가장 가까운 안전한 대안으로 조종합니다. 가장 좋은 점은, 부모님이 새로운 것을 배울 필요가 없으며, 그들이 십 대가 학습하는 방식을 바꾸지도 않는다는 것입니다. 그들은 그저 그곳에 서서 꼭 필요할 때만 개입할 준비를 하고 있을 뿐입니다.

연구진은 이 아이디어를 테스트하기 위해 '트랜스퓨저 v6(TransFuser v6)'라는 매우 똑똑하고 최첨단인 로봇 운전자를 사용했습니다. 그들은 로봇 운전자 앞에 안전 가드를 배치하고, 로봇이 한 번도 본 적 없는 까다롭고 희귀한 주행 시나리오를 통과하게 했습니다. 결과는 인상적이었습니다. 로봇이 생소하고 위험한 상황에 직면했을 때, 안전 가드는 로봇이 성공할 확률을 15% 더 높여주었습니다. 더욱 중요한 것은, 위험한 충돌을 최대 53%까지 줄였다는 점입니다. 가드는 단순히 로봇을 더 안전하게 만든 것에 그치지 않고, 전체적인 주행 점수를 떨어뜨리지 않으면서도 로봇을 더 신뢰할 수 있게 만들었습니다. 이 논문은 학습 시스템의 끝에 이러한 가볍고 규칙 기반인 '수호천사'를 추가함으로써, 물리 법칙과 교통 법규를 어기지 않으면서도 스마트한 로봇의 유연성을 유지할 수 있음을 보여줍니다. 저자들은 컴퓨터 시뮬레이션을 통해 이러한 개선 사항을 측정했으며, 이 접근 방식이 우리가 진정으로 신뢰할 수 있는 자율주행 차량을 만드는 데 핵심적인 단계가 될 수 있음을 보여주었습니다.

기술 요약: 신경-기호적 안전 가드(Neuro-Symbolic Safety Guards)를 통한 엔드 투 엔드 자율주행의 허딩(Herding)

1. 문제 정의

현대의 엔드 투 엔드(E2E) 자율주행 에이전트들은 표준 벤치마크에서 높은 평균 성능을 달-성하지만, 드문 고위험 시나리오(예: 빨간불 무시, 보행자 양보 실패)에서는 빈번하게 교통 법규를 위반한다. 그 근본 원인은 구조적인 문제에 있다. 이러한 에이전트들은 안전을 보장하는 기저의 물리적 조건이 아니라 학습 데이터로부터 통계적 패턴을 학습하기 때문이다. 결과적으로 이들의 의사결정 과정은 불투명하며, 안전 제약 조건이 명시적으로 강제되지 않는다. 이러한 취약성은 인간 운전자라면 당연하게 여길 희귀한 사건(long-tail 상황)에서 실패를 초축하여, 대중의 신뢰를 저하시키고 배포를 방해한다. 현재의 해결책인 안전 강화 학습(Safe-RL) 쉴딩은 학습 중에 행동을 제한하며, 규칙 기반 플래너는 학습된 컨트롤러를 완전히 대체한다. 따라서 학습된 에이전트의 핵심 인지 및 계획 능력을 변경하거나 재학습시키지 않고도 안전을 강제할 수 있는 메커니즘이 필요하다.

2. 방법론

본 논문은 이미 훈련된 E2E 에이전트의 최종 명령 인터페이스에 부착되는 경량 모듈인 **신경-기호적 안전 가드(neuro-symbolic safety guard)**를 제안한다. 이 가드는 실행 시점에 작동하며, 차량이 회복 불가능하거나 위험한 상태에 진입하지 않도록 필요할 때만 개입한다.

아키텍처 및 워크플로우:
시스템은 신경망의 가중치를 수정하지 않고 '읽기, 추론, 제한(Read, Reason, Restrict)'의 세 단계로 작동한다.

읽기(Read): 가드는 E2E 스택의 순방향 패스(forward pass) 중에 이미 노출된 구조화된 장면 신호에 접근한다. 여기에는 객체 탐지( $K$ ), 버드스아이뷰(BEV) 시맨틱 맵( $B$ ), 레이더 반사 신호( $V$ ), 그리고 에이전트 자체의 계획된 웨이포인트( $W$ )가 포함된다.
추론(Reason): 다섯 가지 명시적인 폐쇄형(closed-form) 안전 규칙이 이 신호들을 처리한다. 각 규칙은 확립된 물리 모델을 기반으로 제어 명령(스로틀/브레이크 또는 조향)에 대한 구체적인 범위를 도출한다.
- R1 (계획 경로 충돌 방지): 책임 민감형 안전(RSS)을 사용하여 경로 상의 장애물과 경로 외의 장애물을 구분하여 충돌을 방지한다.
- R2 (속도 제한 준수): 차량이 도시 속도 범위 내에 머물도록 보장한다.
- R3 (적색 신호 정지 준수): 적색 신호가 활성화되어 있고 남은 거리가 안전한 통과에 불충분할 경우 정지를 강제한다.
- R4 (보행자 우선권 보호): 횡단 구역 내 보행자를 위해 조기 양보를 강제한다.
- R5 (속도 조건부 조향 안정성): 접지력 상실을 방지하기 위해 키네마틱 바이시클 모델(kinematic bicycle model)을 사용하여 속도에 따른 조향각을 제한한다.
제한(Restrict): 가드는 활성화된 규칙 범위에 기초하여 실행 가능한 집합 $C(o)$ 를 정의한다. 이후 이차 계획법(Quadratic Program, QP)을 풀어 에이전트의 명목상 명령( $x_0$ )을 이 안전 집합 내의 가장 가까운 점( $x^*$ )으로 투영한다. 원래의 명령이 안전하면 그대로 유지되지만, 안전하지 않으면 가장 가까운 안전한 대안으로 최소한으로 조정된다.

핵심 설계 원칙:

아키텍처 독립성: 가드는 E2E 모델이 장면 신호를 노출하기만 하면 어떤 모델에도 부착될 수 있으며, 정책(policy)을 그대로 유지한다.
추적 가능성: 모든 개입은 결정론적이며 특정 규칙에 직접적으로 귀속되므로 시스템의 감사가 가능하다.
재학습 불필요: 가드는 학습을 요구하지 않으며 학습된 구성 요소를 추가하지 않는다.

3. 주요 기여

신경-기호적 안전 가드: 학습된 정책의 유연성과 명시적 규칙의 보증을 결합하여, 고정된(frozen) 신경 에이전트를 감싸는 새로운 모듈이다. Safe-RL과 달리 학습을 제한하지 않으며, 규칙 기반 플래너와 달리 컨트롤러를 대체하지 않는다.
근거 있는 교통 안전 규칙: RSS(안전) 및 차량 역학(바이시클 모델) 원칙으로부터 폐쇄형으로 도출된 다섯 가지 규칙이다. 이는 복잡한 안전 요구 사항을 스로틀, 브레이크 또는 조향에 대한 단일 범위로 축소하여, 튜닝된 휴리스틱이 아닌 물리적 기준에 따라 검증 가능한 수정을 보장한다.
측정된 견고성 및 안전 이득: 일반적인 주행 능력은 유지하면서 long-tail 벤치마크에서 안전성을 유의미하게 개선함을 실증적으로 입증하였다.

4. 실험 결과

가드는 최첨단 TransFuser v6 (TFv6) 에이전트를 사례 연구로 사용하여 Fail2Drive 및 Bench2Drive 벤치마크에서 평가되었다. 평가는 낯선 객체와 레이아웃이 제시된 일반화 분할(generalization split)에 초점을 맞추었다.

안전성 향상: 일반화 분할에서 가드는 성공률(SR)을 15% 증가시켰고, 안전 관련 충돌을 최대 53% 감소시켰다.
역량 보존: **주행 점수(DS)**는 거의 변하지 않았다. DS와 SR의 조화 평균(Harmonic Mean, HM)은 일반화 분할에서 7.8% 개선되었으며, 이는 가드가 익숙한 경로에서의 성능 저하 없이 희귀한 실패를 성공적으로 완화했음을 나타낸다.
일반화 견고성: 가드는 인-디스트리뷰션(in-distribution)에서 일반화 분할로 이동할 때 발생하는 성능 저하(역량 손실)를 TFv6 단독 시 18.4%에서 (TFv6 + 가드) 시 9.8%로 줄였으며, 이는 테스트된 학습된 에이전트 중 가장 작은 손실이다.
트레이드오프: 개입은 주로 "시간 손실"(예: 통과 가능한 장애물에 대해 정지하거나 틈을 기다림)을 초래하여 타임아웃 위반이 약간 증가했다. 그러나 이러한 트레이드오프는 충돌을 성공적으로 방지했다.

5. 의의 및 주장

본 논문은 자율주행 시스템의 주요 가치는 주행 거리나 평균 경로 점수가 아니라, 희귀하고 결과가 중대한 조건 하에서 그 명령이 만족하는 보증에 의해 판단되어야 한다고 주장한다.

신뢰 및 배포: 의사결정 과정을 감사 가능하게 만들고 안전 제약 조건을 명시적으로 강제함으로써, 가드는 학습된 에이전트의 "취약성" 문제를 해결하여 대중의 신뢰와 규제 승인을 가속화할 수 있다.
효율성: 이 접근 방식은 대규모 모델의 재학습을 요구하지 않는 "플러그 앤 플레이" 방식의 안전 계층을 제공하여, 기존 및 미래의 E2E 에이전트에 적용 가능하다.
평가 패러다임: 결과는 현재의 벤치마크가 신중한 정지와 충돌을 가중치가 부여된 위반 사항이 아닌, 범주적으로 다른 결과로 취급해야 함을 시사한다. 즉, 안전 가드는 파멸적인 실패를 막기 위해 경로 진행을 희생할 수 있기 때문이다.

저자들은 신경-기호적 가드를 통해 훈련된 운전자가 학습된 유연성을 유지하면서도, 안전한 배포를 위해 요구되는 물리적 및 법적 제약을 엄격히 준수할 수 있다고 결론짓는다.