Reward-Conditioned Attention: How Reward Design Shapes What Autonomous Driving Agents See

기술 요약: 자율주행에서의 보상 조건부 어텐션 (Reward-Conditioned Attention)

문제 정의
강화학습(RL)은 자율주행 시뮬레이션에서 전문가 수준의 성능을 달st 성취했지만, 이러한 정책을 구동하는 내부 메커니즘은 여전히 불투명한 상태로 남아 있다. 에이전트를 안내하는 주요 신호인 보상 함수(reward function)가 에이전트의 내부 어텐션 패턴을 어떻게 형성하는지에 대한 이해에는 결정적인 공백이 존재한다. 어텐션 가중치를 모델 결정에 대한 사후 설명(post-hoc explanation)으로서의 타당성을 두고 논쟁이 지속되고 있으나, 본 논문은 이와 구별되는 질문을 던진다. 즉, 보상 설계가 에이전트가 무엇에 주목할지를 예측 가능하게 결정하는가? 이러한 관계를 이해하는 것은 보상 함수가 에이전트로 하여 차량 주변 환경의 올바른 측면을 모니터링하도록 가르치는지 검증하고, 안전이 필수적인 시스템에서 원칙적인 보상 엔지니어링을 발전시키는 데 필수적이다.

연구 방법론
본 연구는 V-Max 프레임워크를 활용하여, Waymo Open Motion Dataset (WOMD)에서 훈련된 세 가지 Soft Actor-Critic (SAC) 에이전트를 사용한다. 세 에이전트는 모두 동일한 Perceiver 기반 잠재 쿼리(Latent-Query, LQ) 인코더 구조를 공유하며, 이 구조는 280개의 입력 토큰(자차, 타 차량/보행자, 도로 기하 구조, 신호등, GPS 웨이포인트 표현)을 교차 주의(cross-attention)를 통해 압축된 잠재 표현으로 처리한다.

핵심 실험 설계는 동일한 초기화 시드를 사용하되 보상 구성만을 다르게 한 세 가지 에이전트를 비교함으로써 보상 설계의 효과를 격리한다:

1. 기본(Basic): 안전 위반(충돌, 경로 이탈, 신호 위반)에 대해서만 페널티를 부여함.
2. 최소(Minimal): 내비게이션 인센티브(경로 준수 및 전진 진행)를 추가함.
3. 완전(Complete): 충돌 시간(TTC) 기반의 연속적 근접 페널티, 속도 제한, 승차감 등을 추가함.

핵심 방법론적 혁신: 에피소드 내 상관관계 (Within-Episode Correlation)
본 연구의 핵심적인 방법론적 기여는 어텐션-리스크 관계를 분석할 때 "단순 풀링(naïve pooling, 모든 에피소드의 모든 타임스텝을 합산하는 방식)"을 거부한 점이다. 저자들은 단순 풀링이 에피소드 내 역동성과 에피소드 간 이질성(예: 도시형 vs 교외형 리스크 프로필)을 혼재시켜, 어텐션과 리스크 사이의 연결 고리를 유의미하게 과소평가한다는 것을 입증하였다.

대신, 본 연구는 각 시나리오별로 충돌 리스크($R$)와 에이전트 지향 어텐션 사이의 에피소드 내 스피어먼 순위 상관계수($\rho_i$)를 사용한다. 이러한 상관계수들은 Fisher z-변환을 통해 여러 시나리오에 걸쳐 집계된다. 이 접근 방식은 이질적인 RL 에피소드에 내재된 분산을 올바르게 처리하며, 단순 풀링된 지표가 가려버리는 견고한 통계적 신호를 드러낸다.

주요 결과
50개의 실제 시나리오(완전 모델 기준 3,676 타임스텝)에 걸쳐 수행된 분석 결과, 세 가지 주요 발견 사항이 도출되었다:

1. 에피소드 내 분석의 타당성 검증:
   완전 보상 모델의 경우, 충돌 리스크와 "타 차량(Other Agents)"에 대한 어텐션 사이의 에피소드 내 상관관계는 $\bar{\rho} = +0.291$ (95% CI $[+0.125, +0.442]$)로 견고한 양의 상관관계를 보였다. 특히 리스크에 민감하게 반응하는 16개 시나리오에서 이 상관관계는 $\bar{\rho} = +0.522$로 크게 강화되었으며, 에이전트는 위협 상황에서 동적 위협에 대한 어텐션을 77% 증가시켰다. 반면, 단순 풀링을 적용했을 때는 상관계수가 $+0.088$에 불과하여, 실제보다 3.3배 과소평가되었다.

2. 보상 내용이 어텐션 베이스라인을 형성함:
   보상 함수의 구체적인 구성 요소는 어텐션 자원의 할당을 직접적으로 결정한다. 내비게이션 보상(Minimal 및 Complete 모델)으로 훈련된 에이전트는 기본 안전 페널티 모델보다 GPS 경로 토큰에 훨씬 더 많은 어텐션을 할당한다.

• Minimal vs. Complete: Minimal 모델은 GPS 경로에 33.5%의 어텐션을 할당한 반면, Complete 모델은 16.4%를 할당하였다 (2.0배 차이).
• Basic vs. Minimal: 그 범위는 7.1%(Basic)에서 33.5%(Minimal)에 이르며, 4.7배의 차이를 보인다.
  이는 보상 내용이 인코더가 어떤 장면 요소를 우선시할지를 결정함을 확인해 준다.

3. 연속적 안전 보상이 경계 태세(Vigilance Prior)를 생성함:
   Complete 모델에 포함된 연속적인 TTC 기반 근접 페널티는 "학습된 경계 태세 사전 확률(learned vigilance prior)"을 구축한다. 충돌이 없는 구간에서도 Complete 모델은 Minimal 모델에 비해 타 차량에 대한 "휴식 중 감시(resting surveillance)" 수준을 높게 유지한다.

• 26개 적격 시나리오 중 16개에서, Complete 모델은 Minimal 모델보다 평균 151% 더 높은 휴식 중 타 차량 감시율을 유지하였다.
• 이러한 높아진 베이스라인은 첫 타임스텝부터 존재하며, 이는 에이전트가 단순히 리스크가 치솟을 때 반응하는 것이 아니라, 상시 대기 상태를 학습했음을 시사한다.

4. 전략의 질적 역전:
   몇몇 시나리오에서 Complete 모델과 Minimal 모델은 어텐션-리스크 상관관계의 방향이 정반대로 나타났다. 이는 보상 설계가 에이전트의 대응 강도뿐만 아니라, 어텐션 전략의 질적인 방향까지 역전시킬 수 있음을 보여준다.

의의 및 주장
본 논문은 어텐션 분석이 안전이 필수적인 RL 시스템에서 보상 함수가 의도한 표현 행동(representational behavior)을 생성하는지 검증하는 실용적인 진단 도구 역할을 할 수 있다고 주장한다. 보상 설계가 내부 어텐션 패턴을 직접적으로 형성한다는 점을 입증함으로써, 저자들은 다음과 같이 결론짓는다:

• 실무자들은 에이전트가 올바른 장면 요소를 모니터링하고 있는지 확인하기 위해 어텐션 지표를 사용할 수 있다.
• "Fisher z-변환을 이용한 에피소드 내 상관관계"가 이질적인 RL 환경에서의 어텐션 분석을 위한 적절한 통계적 표준이다. 집계된 지표는 중요한 행동적 이질성을 은폐한다.
• 보상 엔지니어링은 보상 구성 요소가 정책의 행동뿐만 아니라, 에이전트의 근본적인 표현 초점(representational focus)을 어떻게 변화시키는지 반드시 고려해야 한다.

본 연구는 어텐션 가중치가 결정의 이유를 항상 설명해주지는 못할지라도, 에이전트가 무엇을 보도록 훈련받았는지는 신뢰성 있게 드러내며, 따라서 어텐션이 보상 설계 검증의 핵심 요소임을 결론짓는다.