Reinforcement Learning Enhancement Using Vector Semantic Representation and Symbolic Reasoning for Human-Centered Autonomous Emergency Braking

기술 요약: 인간 중심의 자율 비상 제동을 위한 벡터 의미 표현 및 기호 추론 기반 강화 학습 고도화

문제 정의

기존의 카메라 기반 심층 강화 학습(DRL) 접근 방식은 자율 주행(AD) 분야에서 두 가지 주요 한계점에 직면해 있습니다:

1. 특징 표현(Feature Representation): 고수준의 장면 맥락을 특징 표현에 통합하는 경우가 드뭅며, 객체 간의 관계(예: 횡단보도와 보행자의 근접성)에 대한 명시적인 의미론적 이해 없이 원시 이미지나 특정 영역을 강조하는 어텐션 메커니즘에 의존합니다.
2. 보상 함수 설계(Reward Function Design): 일반적으로 고정된 보상 함수(패널티와 인센티브의 가중치 합)에 의존합니다. 이러한 방식은 복잡하고 역동적인 시나리오에서 상충하는 인간의 가치(안전, 효율성, 편안함) 사이의 미묘한 절충안을 포착하지 못합니다. 적응형 보상 함수가 존재하기는 하지만, 종종 목표 간의 "하드 스위칭(hard switching)"을 사용하여 취약한 동작을 유발합니다.

방법론

본 논문은 상태 인코딩을 위한 **벡터 의미 표현(Vector Semantic Representation, VSR)**과 보상 형성(reward shaping)을 위한 **소프트 퍼스트 오더 로직(Soft First-Order Logic, SFOL)**을 결합한 뉴로-심볼릭 파이프라인을 제안합니다.

1. 벡터 의미 표현 (VSR)

저자들은 정적 및 동적 엔티티를 인코딩하기 위해 하이퍼디멘셔널 컴퓨팅(Hyperdimensional Computing, HDC), 특히 홀로그래픽 축소 표현(Holographic Reduced Representations, HRR)을 사용하여 VSR 프레임워크를 확장했습니다.

• 입력 처리: 카메라 이미지는 ResNet18 기반의 UNet을 통해 의미론적 분할 맵(semantic segmentation maps)을 생성하고, ResNet18 오토인코더를 통해 잠재 특징 임베딩(latent feature embeddings)을 생성합니다.
• 엔티티 인코딩: 각 동적 엔티티($E_i$)는 다음을 결합한 하이퍼벡터로 표현됩니다:
  • 공간 의미 정보 (Spatial Semantic Information, SSI): 의미론적 클래스(예: 보행자, 차량), 이웃과의 공간적 관계(예: "횡단보도 아래의 보행자"), 그리고 그리드 내의 형태 및 위치를 인코딩합니다. 이는 의미론적 클래스, 방향 및 형태 하이퍼벡터를 바인딩하여 구축됩니다.
  • 공간 특징 (Spatial Features, SF): 의미 맵에 의해 가중치가 부여된 잠재 특징으로부터 유도된 공간적 어텐션 특징 임베딩입니다.
• 융합: 최종 VSR 벡터는 모든 엔티티 하이퍼벡터의 가중 합입니다. 결정적으로, 가중치 체계는 교통 약자(예: 도로/횡단보도 위의 보행자는 인도/차량 위의 보행자보다 높은 가중치를 가짐)를 우선시합니다.
• 통합: SSI 하이퍼벡터와 SF 임베딩은 요소별 덧셈($\oplus$) 또는 곱셈($\otimes$)을 통해 융합되어, PPO 에이전트에 입력되는 압축적이고 맥락이 풍부한 기술자(descriptor)를 생성합니다.

2. 소프트 퍼스트 오더 로직 (SFOL) 보상 함수

고정된 보상의 경직성을 해결하기 위해, 저자들은 PyReason을 사용하여 기호 추론 모듈을 통합했습니다.

• 술어 추출 (Predicate Extraction): 분할 맵과 공간 분석으로부터 의미론적 및 공간적 술어(예: Pedestrian(X), OnCrosswalk(X), Occludes(X,Y))를 추출합니다. 불확실성은 $[0, 1]$ 사이의 소프트 진릿값(soft truth values)을 할당함으로써 처리됩니다.
  가
• 규칙 베이스 (Rule Base): 안전(Safety)을 위한 규칙(예: 보행자가 도로 위에 있거나 횡단보도가 가려진 경우 안전을 우선시함)과 효율성(Efficiency)을 위한 규칙(예: 차선이 비어 있는 경우 속도를 우선시함)을 정의하는 혼(Horn) 절(clause) 세트가 포함됩니다.
• 동적 가중치 부여: 시스템은 이러한 규칙들의 신뢰 수준을 추론합니다. 이 신뢰도는 기본 보상 구성 요소(안전, 효율성, 부드러움)에 대한 가중치($\bar{w}_{saf}$, $\bar{w}_{eff}$)를 동적으로 계산하는 데 사용됩니다. 이를 통해 시스템은 단순히 하드 스위칭을 사용하는 대신, 특정 주행 장면의 맥락에 따라 인간의 가치를 균형 있게 조절할 수 있습니다 있습니다.

주요 기여

1. 확장된 VSR: 교통 약자를 강조하는 가중치 체계를 적용하여 동적 엔티티를 인코딩하고, 이를 공간적 특징과 융합하도록 VSR을 최적화했습니다.
2. 뉴로-심볼릭 융합: 심볼릭 하이퍼벡터(SSI)와 딥러닝 특징 임베딩(SF)을 결합하여 압축된 장면 기술자를 생성했습니다.
3. SFOL 보상 함수: 고정되거나 하드 스위칭 방식의 보상 형식을 넘어, 기호 추론을 사용하여 안전, 효율성, 편안함의 균형을 동적으로 맞추는 보상 함수를 제안했습니다.

실험 결과

본 파이프라인은 CARLA 시뮬레이터 내에서 다양한 교통 밀도(저, 중, 고)와 폐쇄 수준(부분적, 전체적)을 가진 가려진 보행자 횡단 시나리오에서 평가되었습니다.

• VSR 통합:
  • SSI 단독: 성능이 저조하여, 심볼릭 정보만으로는 정책 학습에 불충분함을 보여주었습니다.
  • SF 단독: 빠르게 수렴했으나, 교통 밀도가 높아지면 성능이 크게 저하되어 충돌률이 높아졌습니다.
  • SSI $\oplus$ SF (요소별 덧셈): 높은 성공률, 낮은 충돌률, 안정적인 정지 거리를 모두 달와 성하며 가장 견고한 성능을 달성했습니다. 이는 곱셈 변형($\otimes$)보다 안정성 측면에서 우수했습니다.
• SFOL 보상 절제 연구 (Ablation):
  • 전체 규칙 세트 (CE & CS): 고밀도 시나리오에서도 성능 저하가 가장 적었으며, 가장 강력한 전반적 성능을 보였습니다.
  • 부분 규칙 세트: 미세한 안전 규칙(CE & PS)을 제거하면 공격적인 주행과 지연된 반응이 나타났습니다. 미세한 효율성 규칙(PE & CS)을 제거하면 지나치게 보수적인 행동과 높은 타임아웃 발생률을 보였습니다.
  • 베이스라인 비교: 제안된 SFOL 방식은 표준 위험 요인 적응형 베이스라인보다 특히 고밀도 및 폐쇄 시나리오에서 더 우수한 성능을 보였으며, 베이스라인은 취약성을 드러냈습니다.

의의 및 주장

본 논문은 홀리스틱(holistic)한 뉴로-심볼릭 표현과 소프트 추론을 강화 학습에 통합하는 것이 자율 주행을 위한 더욱 맥락 인식적이고 가치 정렬된 의사결정을 가능하게 한다고 주장합니다.

• 견고성: 심볼릭 맥락(VSR)과 공간적 특징의 결합은 시각적 특징이나 심볼릭 데이터에만 의존하는 방법보다 복잡하고 가려진 시나리오를 더 잘 처리할 수 있게 합니다.
• 인간 정렬: SFOL 보상 함수는 경쟁하는 인간의 가치(안전 대 효율성)를 동적으로 균형 있게 조절하여, 하드 스위칭 로직의 취약성을 피하는 데 성공했습니다.
• 한계점: 저자들은 어떤 구성도 100%의 성공률을 달이트지는 못했다는 점을 겸허히 언급했습니다. 그들은 극심한 정체 상황에서 보상 가중치의 변동(fluctuations)이 발생하는 등 추론 과정의 불안정성을 식별하였으며, 이는 숨겨진 위험을 다루기 위한 시간적 심볼릭 정보나 가추법(abductive reasoning)의 필요성을 시사하며 향후 개선 과제로 남겨두었습니다.