Neuro-Cognitive Reward Modeling for Human-Centered Autonomous Vehicle Control

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 컴퓨터 비전의 발전으로 자율주행 기술이 급격히 발전했으나, 기계가 인간의 기대와 일치하는 방식으로 주행하는 것은 여전히 큰 과제입니다. 기존의 모방 학습 (Imitation Learning, IL) 은 전문가의 궤적을 단순히 복제하는 데 그쳐, 훈련 데이터 분포를 벗어난 상황 (Out-of-Distribution) 에서 실패하거나 인간적인 추론 능력이 부족하다는 한계가 있습니다.
• 기존 RLHF 의 한계: 인간 피드백을 통한 강화 학습 (RLHF) 은 인간 선호도에 맞춰 AI 를 정렬하는 강력한 방법이지만, 기존 방식은 인간이 생성된 출력을 수동으로 순위 매기거나 비교하는 방식을 사용합니다. 이는 시간이 많이 소요되며, 인간의 즉각적이고 무의식적인 인지 반응 (Cognitive Response) 을 완전히 포착하지 못한다는 단점이 있습니다.
• 핵심 문제: 자율주행 시스템이 인간의 복잡한 인지 과정 (예: 갑작스러운 환경 변화에 대한 놀라움, 주의 집중 등) 을 실시간으로 반영하여 더 안전하고 인간 중심적인 결정을 내리도록 하는 효율적인 방법론이 필요합니다.

2. 제안된 방법론 (Methodology)

저자들은 뇌파 (EEG) 기반의 인지 통찰력을 강화 학습 (RL) 에 통합하는 새로운 프레임워크를 제안합니다. 이 프레임워크는 추론 (Inference) 단계에서 인간의 뇌파 데이터를 수집할 필요가 없도록 설계되었습니다.

2.1. 데이터 수집 및 분석

• 데이터셋: 20 명의 참가자가 현실적인 VR 주행 시뮬레이터 (CARLA + HTC Vive Pro Eye) 에서 주행한 데이터를 수집했습니다. 여기에는 EEG 신호, 안구 추적 (Gaze), 차량 제어 데이터, 그리고 장면 이미지가 포함됩니다.
• 실험 시나리오:
  1. 긴급 제동 (Emergency Braking): 앞차의 갑작스러운 제동에 대응하는 상황.
  2. 좌회전 (Left Turn): 대향 차량을 피하며 좌회전하는 상황.
• EEG 분석: 이벤트 관련 전위 (ERP) 중 특히 P3 성분 (자극 발생 후 300-500ms 에 나타나는 긍정적 피크) 에 주목했습니다. P3 진폭은 예상치 못한 자극이나 인지 부하가 높을 때 증가하는 것으로 알려져 있으며, 참가자의 반응 시간과 유의미한 상관관계를 보였습니다.

2.2. 인간 인지 보상 모델 (Human Cognitive Reward Model)

• 목표: 추론 단계에서 실시간 EEG 수집 없이도 장면 이미지로부터 인간의 인지 반응 (ERP 발생 여부) 을 예측하여 보상 신호로 활용합니다.
• 모델 구조:
  • 장면 이미지 (세그멘테이션 맵) 를 입력받아 특정 시나리오에서 ERP 가 발생할 확률을 예측하는 경량의 CNN 기반 분류기입니다.
  • 이동 평균 필터와 피크 - 피크 임계값을 사용하여 고 ERP/저 ERP 트라이얼을 이진 분류 (Binary Classification) 합니다.
  • 학습 손실 함수는 이진 교차 엔트로피 (Binary Cross-Entropy) 를 사용합니다.

2.3. 강화 학습 프레임워크 (RL Framework)

• 상태 (State): 시계열적 세그멘테이션 이미지 시퀀스 (3 프레임).
• 행동 (Action): 가속 및 제동 제어 (연속 값).
• 보상 함수 (Reward Function):
  • 총 보상 = 인지 보상 (Cognitive Reward) + 환경 보상 (충돌, 대기, 간격 유지 등).
  • 인지 보상: 예측된 ERP 강도 (높은 인지 부하/위험 감지) 에 기반하여, 위험한 상황이나 높은 인지적 노력을 요구하는 상태에 대해 부정적 보상 (Penalty) 을 부여합니다. 이는 에이전트가 인간이 위험하다고 느끼는 상황을 회피하도록 유도합니다.
• 정책 네트워크 (Policy Network):
  • 입력 이미지를 CNN 으로 특징 추출 후, Self-Attention 메커니즘을 적용하여 시공간적 맥락을 학습합니다.
  • 충돌 시간 (TTC) 예측을 보조 손실 (Auxiliary Loss) 로 사용하여 정책 학습을 정규화합니다.

3. 주요 기여 (Key Contributions)

1. 다중 모달 데이터셋 구축: VR 주행 시뮬레이터 환경에서 수집된 최초의 EEG, 안구 추적, 능동 제어 데이터 및 장면 이미지를 포함한 대규모 데이터셋을 공개했습니다.
2. 인지 보상 모델 개발: 장면 이미지로부터 EEG 특징 (ERP 발생) 을 직접 예측하는 경량 모델을 개발하여, 추론 시 인간의 생체 신호 수집 없이도 인간 중심의 보상을 생성할 수 있게 했습니다.
3. RLHF 프레임워크 제안: 예측된 인지 보상을 강화 학습에 통합하여, 복잡한 주행 시나리오 (긴급 제동, 좌회전) 에서 기존 방법보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• EEG 분석: 앞차의 긴급 제동 상황에서 참가자의 ERP 진폭이 유의미하게 증가했으며, 이는 반응 시간과 양의 상관관계를 보였습니다.
• 예측 모델 성능: 제안된 EEG 특징 예측 모델은 ResNet-18, Swin-ViT 등 기존 이미지 분류 모델 대비 **평균 정확도 82%**를 기록했으며, **초당 204 프레임 (FPS)**의 처리 속도를 보여 RL 훈련에 실시간 적용이 가능함을 입증했습니다.
• 주행 성능 평가 (CARLA 시뮬레이션):
  • 비교 대상: Vanilla RL (TD3), 행동 복제 (BC), 인간-인공지능 루프 (PHIL), 전통적 RLHF (수동 순위 매기기), 안전 RL (TD3-lag).
  • 성과: 제안된 방법 (Ours) 은 긴급 제동 시나리오에서 경로 완료율 (85%), 주행 점수 (79%), 위반 점수 (0.84) 에서 모든 비교 대상보다 최고의 성능을 보였습니다. 좌회전 시나리오에서도 역시 최상위권을 기록했습니다.
  • 주의 집중 시각화: 제안된 모델의 Self-Attention 맵을 분석한 결과, 에이전트가 일관되게 **앞차 (Lead Vehicle)**에 집중하는 것을 확인했으며, 이는 다른 베이스라인 모델들의 분산된 주의 패턴과 대조되었습니다.

5. 의의 및 결론 (Significance)

• 혁신성: 자율주행 분야에서 EEG 기반 보상 모델링을 최초로 도입하여, 인간의 무의식적 인지 반응을 AI 의 학습에 효과적으로 통합했습니다.
• 확장성: 추론 시 실시간 EEG 수집이 필요하지 않으므로, 기존 RLHF 방식보다 훨씬 **확장 가능 (Scalable)**하고 실용적입니다.
• 안전성: 인간의 인지적 위험 감지 능력을 시뮬레이션하여 에이전트가 더 안전하고 인간과 조화로운 주행 결정을 내리도록 유도했습니다.
• 미래 전망: 저비용 데이터 수집 시스템과 예측 모델을 통해 향후 더 다양하고 대규모의 데이터셋을 기반으로 일반화 성능이 높은 모델을 개발할 수 있는 기반을 마련했습니다.

이 연구는 인간의 뇌 신호를 간접적으로 추론하여 자율주행 시스템의 안전성과 인간 중심성을 동시에 향상시킬 수 있는 새로운 패러다임을 제시했다는 점에서 의의가 큽니다.