기술 요약: 고수준 의사결정을 위한 DecisionPerceiver (자율주행 분야)

문제 정의

자율주행(특히 차선 변경 및 속도 제어)을 위한 신뢰할 수 있는 학습 기반 고수준 의사결정은 두 가지 주요 과제에 직면해 있습니다:

1. 가변적인 입력 차원: 실제 교통 상황에는 주변 에이전트의 수가 동적으로 변하며, 이는 신경망 정책이 입력 순서에 민감하지 않으면서(순열 민감도 문제) 고정되지 않은 크기의 입력을 처리할 수 있도록 요구합니다.
2. 상호작용 모델링 대 확장성: 기존 방식들은 명시적인 교통 상호작용 모델링과 계산 효율성 사이의 균형을 맞추는 데 어려움을 겪습니다.
   • DeepSets 및 그 변형들은 공유 인코더와 순열 불변 집계(예: pooling)를 통해 가변 입력을 처리하지만, 교차로와 같이 협상이 중요한 시나리오에서 필수적인 에이전트 간의 명시적인 상호작용 세부 정보를 놓치는 "특징 붕괴(feature collapse)" 현상을 겪습니다.
   • Attention 기반 방식(예: Transformer)은 전역적 의존성과 상호작용을 효과적으로 포착하지만, 입력 크기에 따라 이차 함수적(quadratic)인 계산 및 메모리 복잡도를 유발하여 실시간 배포를 제한합니다. 또한, 특징 표현의 정밀도(granularity)를 제어하는 능력이 제한적입니다.

방법론

본 논문은 동적인 에이전트 특징을 고정된 크기의 잠재 공간(latent space)으로 투영하도록 설계된 상호작용 인식형 어텐션 아키텍처인 DecisionPerceiver를 제안합니다. 이 시스템은 강화 학습(RL) 프레임워크를 사용하여 훈련됩니다.

1. 아키텍처: DecisionPerceiver

Perceiver IO에서 영감을 받은 이 네트워크는 계산 비용을 입력 크기와 분리합니다:

• 입력 인코딩: 동적인 에이전트 상태는 MLP(Multi-Layer Perceptron)와 레이어 정규화(Layer Normalization)를 통해 키($K$)와 값($V$)을 생성합니다. 자차(ego-vehicle) 상태는 정적 입력으로 취급됩니다.
• 잠재 병목(Latent Bottleneck): 모든 에이전트에 직접 어텐션을 수행하는 대신, 네트워크는 일련의 잠재 토큰 쿼리($Q$)를 사용하여 이러한 특징들을 고정된 크기의 잠재 공간($z \in \mathbb{R}^{N \times D}$)으로 투영합니다.
• 어텐션 메커니즘: 잠재 쿼리와 인코딩된 에이전트 특징 사이의 멀티 헤드 어텐션(Multi-head attention)이 계산됩니다. 이를 통해 모델은 잠재 쿼리의 수($N$)를 통해 특징의 정밀도를 조절할 수 있으며, 복잡도를 에이전트의 수가 아닌 잠재 차원에 묶어 제한할 수 있습니다.
• 융합 및 출력: 결과로 나온 상호작용 인식 잠재 표현은 추가적인 MLP를 통해 자차 상태와 융합됩니다. 이후 별도의 네트워크 헤드가 가치 함수($V_\theta$)와 정책($\pi_\theta$)을 회귀(regress)합니다.
• 풀링 미사용: DeepSets와 달리, 순열 불변 붕괴 연산자(예: pooling)를 사용하지 않음으로써 에이전트 간의 상호작용을 학습할 수 있는 능력을 보존합니다.

2. 훈련 프레임워크

• 알고리즘: 정책은 Actor-Critic 프레임워크 내에서 **근사 정책 최적화(PPO, Proximal Policy Optimization)**를 사용하여 최적화됩니다.
• 목적 함수: 손실 함수는 정책을 위한 클리핑된 대리 목적 함수(clipped surrogate objective), 가치 함수를 위한 제곱 오차 손실, 그리고 탐사를 장려하기 위한 엔트로피 정규화 항을 결합합니다.
• 환경: 훈련 및 평가는 highway-env 시뮬레이터 내의 세 가지 시나리오(고속도로 추월, 교차로 비보호 좌회전, 라운드어바웃 합류/출구)에서 수행됩니다.

3. 정교화된 이산 행동 집합 (Refined Discrete Action Set)

저수준 횡방향 및 종방향 제어기의 부담을 줄이기 위해, 표준 이산 행동 집합을 더 세밀한 이산화를 통해 확장했습니다:

• 표준 행동(예: "좌회전")을 중간 단계(예: "반 좌회전", "완전 좌회전")로 분할합니다.
• 결과적으로 9개의 이산 메타 행동을 갖는 확장된 행동 공간($A_{new}$)이 생성됩니다.
• 이러한 정교화는 중간 참조값을 제공함으로써 궤적 추종 성능을 개선하고, 제어 노력을 줄이며, 그래디언트 분산을 줄인 압축된 탐색 공간을 만드는 것을 목표로 합니다.

주요 기여

1. DecisionPerceiver 아키텍처: 동적 크기의 입력을 압축된 잠재 공간으로 매핑하는 새로운 행동 계획 아키텍처입니다. 이를 통해 표준 어텐션 메커니즘의 이차 함수적 복잡성을 피하면서 확장 가능한 상호작용 모델링을 가능하게 합니다.
2. 정교한 행동 이산화: 중간 횡방향 및 속도 참조를 포함한 확장된 이산 행동 집합을 도입했습니다. 이는 실시간 성능을 희생하지 않으면서 저수준 제어 성능과 플래너 추론 안정성을 개선합니다.

실험 결과

제안된 방법은 최신 베이스라인인 DeepSet, LFFDS(DeepSet의 변형), Ego-attention을 대상으로 벤치마크 테스트를 진행했습니다.

성능 지표

• 고속도로(Highway) 시나리오: DecisionPerceiver는 평균 속도(29.25 m/s)에서 가장 높은 수치를 기록하며, DeepSet보다 약 6.2%, LFFDS보다 약 4.2% 높은 성능을 보였습니다. 또한 $1 \times 10^5$ 스텝에서 안정적인 성능에 도달하며 빠른 수렴 속도를 보여주었으며, 이는 Ego-attention이 $5 \times 10^5$ 스텝이 필요했던 것과 대조적입니다.
• 교차로(Intersection) 시나리오: DecisionPer이버는 가장 높은 평균 속도(8.243 m/s)를 달성하였으며, 이는 차순위 베이스라인인 LFFDS 대비 15.4%의 상대적 이득입니다. Ego-attention이 약간 더 높은 보상과 낮은 조기 종료율을 보였으나, DecisionPerceiver는 더 공격적인 고속 정책을 유지했습니다.
• 라운드어바웃(Roundabout) 시나리오: DecisionPerceiver는 9.951 m/s의 속도를 달성했습니다. DeepSet 및 LFFDS보다는 속도가 약간 낮았지만(~5% 및 ~1%), 조기 종료율이 현저히 낮았으며(타 모델의 ~5% 대비 거의 0에 가까움) 더 높은 보상 점수를 기록하여 더 안전한 정책임을 입증했습니다.

절제 연구 (Ablation Studies)

• 행동 이산화: 고속도로 시나리오에서 더 세밀한 이산화는 저수준 제어기의 반응 시간과 충돌 가능성을 줄임으로써 누적 보상의 꾸준한 증가와 더 높은 평균 속도를 이끌어냈습니다.
• 확장성: 관측 가능한 차량 수가 5대에서 20대로 증가함에 따라 모델은 안정적이고 경쟁력 있는 성능을 유지했습니다. 교통 밀도 증가와 충돌 위험으로 인해 평균 속도는 15~30% 감소했으나, 아키텍처는 치명적인 성능 저하 없이 밀집된 교통 상황에서도 확장성을 입증했습니다.

의의 및 주장

본 논문은 DecisionPerceiver가 다음과 같은 이유로 고수준 행동 계획을 위한 균형 잡힌 솔루션을 제공한다고 주장합니다:

• 확장 가능한 상호작용 모델링 가능: 상호작용을 고정된 잠재 공간으로 투영함으로써, 전체 어텐션 메커니즘의 계산적 제약을 피하면서도 복잡한 교통 의존성을 포착합니다.
• 제어 효율성 향상: 더 세밀한 행동 이산화는 고수준 계획과 저수준 실행 사이의 간극을 메워 제어 노력을 줄이고 궤적 추종을 개선합니다.
• 강건성 입증: 이 방법은 다양한 운영 조건에서 최신 집합 기반(set-based) 및 어텐션 기반 베이스라인들과 대등하거나 이를 능가하는 성능을 일관되로 보여주었으며, 특히 협상이 집중되는 시나리오(교차로)와 고속 추월(고속도로)에서 강점을 보였습니다.

저자들은 이 접근 방식이 기존 방법들과 비교하여 개선된 확장성과 표현 유연성을 제공하며, 복잡한 교통 환경에서 우수한 성능을 낸다고 결론지었습니다.