Emotion in an active inference model of human driving

기술 요약: 인간 운전의 능동적 추론 모델에서의 감정

문제 정의
능동적 추론(Active inference)은 목표 지향적 행동과 불확실성 감소 사이의 균형을 맞춤으로써 적응적 행동을 모델링하는 원칙적인 프레임워크로 부상했다. 이는 인간의 운전 시나리오(차량 추종, 차선 유지, 충돌 회피 등)에 성공적으로 적용되어 왔으나, 기존 모델들은 인간의 의사결정에 결정적인 역할을 하는 정서적 상태(감정)를 대부분 간과하고 있다. 감정을 능동적 추론에 통합하려는 이전의 시도들은 복잡한 교통 시나리오에 필요한 현실적인 계획 능력이 결여된, 단순화된 이산 상태 공간(discrete state-space) 기반의 "토이 문제(toy problems)"에 국한되어 있었다. 따라서 다단계 정책 계획(multi-step policy planning)을 고려할 수 있는 연속 상태 공간 모델로 이러한 감정 모델링 능력을 확장할 필요가 있다.

방법론
저자들은 러셀(Russell)의 정서 원형 모델(circumplex model of affect, 정서적 가치와 각성)에 기반한 운전자 감정 모델을 통합하기 위해 기존의 인간 운전 충돌 회피 능동적 추론 모델(Schumann et al.)을 확장하였다. 핵심 프레임워크는 다음과 같이 작동한다:

1. 생성 모델(Generative Model): 에이전트는 외부 생성 과정을 근사하기 위해 입자 필터(particle filters)를 통한 환경에 대한 확률적 신념 $q(s)$를 유지한다. 전이 모델(transition model)은 운동학적 가능도(bicycle model)와 규범적 가능도(교통 법규 준수)를 결래한다.
2. 정책 선택(Policy Selection): 에이전트는 기대 자유 에너지(Expected Free Energy, EFE)를 최소화함으로써 후보 정책 $\pi_t$(시간 지평 $H$ 동안의 행동 시퀀스)를 평가한다. EFE는 실용적 가치(pragmatic value, 선호하는 결과 달성)와 인식적 가치(epistemic value, 불확실성 감소) 사이의 균형을 맞춘다.
3. 감정 공식화(Emotion Formulation):
   • 정서적 가치(Valence, $V$): 실제와 기대되는 실용적 가치의 차이로 정의된다. 이를 연속 시간 및 다단계 계획에 적응시키기 위해 저자들은 다음을 제안한다:
     • 주파수 독립성을 보장하기 위해 시간 단계 $\Delta t$로 나눈다.
     • 확률적 정책 선택에 따른 변동성을 방지하고 안정성을 확보하기 위해, **기대 가치($V(E)$)**를 이전 $N=5$개의 정책에 대한 예측된 상태들의 평균 실용적 가치로 계산한다.
     • **실제 가치($V(A)$)**는 반사실적 상황이 아닌, 현재 실행 중인 참조 정책(reference policy)을 기반으로 계산하여 진행 중인 유기체-환경 상호작용을 반영한다.
     • $V_t = V(A)_t - V(E)_t$.
   • 각성(Arousal, $A$): 에이전트의 사후 신념(posterior belief)의 엔트로피로 정의된다. 저자들은 가공되지 않은 운동학적 불확실성을 사용하는 것은 직관에 어긋난다고 주장한다(예: 멀리 떨어진 타 차량은 높은 불확실성/각성을 유발할 수 있지만, 임박한 충돌은 정밀한 추적으로 인해 낮은 불확실성을 유발할 수 있음). 대신, 이들은 각성을 의미 있는 추상적 상태의 불확실성, 즉 충돌 확률($p_{coll}$)에 매핑한다.
     • $p_{coll}$은 이진 충돌 분류기(binary collision classifier)로부터 도출된, 예측 지평 동안의 예상 최대 충돌 확률이다.
     • 각성은 이 충돌 확률의 이진 엔트로피로 계산된다: $A_t = -[p_{coll} \ln(p_{coll}) + (1-p_{coll}) \ln(1-p_{coll})]$.

주요 기여

• 연속 상태 확장: 본 논문은 Pattisapu 등이 제시한 이산 상태 기반의 감정 공식을 운전의 연속 상태 공간 능동적 추론 모델로 일반화하였다.
• 미래 지향적 평가: 제안된 공식은 현재 상태뿐만 아니라 예측된 미래 결과(다단계 지평에 걸친)에 감정 추정치를 조건화하며, 이는 감정의 평가 이론(appraisal theories)과 일치한다.
• 안정적인 가치 추정: 여러 과거 정책에 대한 기대값을 평균함으로써, 모델은 확률적 정책 선택으로 인한 변동성을 줄여 더 안정적인 정서 신호를 생성한다.
• 의미론적 각성: 저자들은 저수준의 운동학적 불확실성이 아닌 고수준의 의미론적 상태(충돌 가능성)의 불확실성으로부터 각성을 도출하는 방법을 도입하여, 멀리 떨어져 위협이 되지 않는 타 차량에 대해 비합리적인 각성 반응을 보이는 문제를 방지하였다.

결과
이 접근 방식은 128회의 시뮬레이션이 포함된 두 가지 상호작용 운전 시나리오, 즉 측면 침범(lateral incursion) 시나리오와 교차로 우선순위 위반(intersection with priority violation) 시나리오를 통해 평가되었다. 에이전트는 순응적(compliant) 에이전트 또는 비순응적(non-compliant, 적대적) 에이전트와 상호작용하였다.

• 측면 침범:
  • 순응적 에이전트: 충돌 가능성이 높아짐에 따라 각성이 초기에 증가했으나, 상대 차량이 우호적으로 행동함에 따라 감소했다. 실용적 가치가 개선됨에 따라 정서적 가치는 양(+)의 방향이 되었다.
  • 비순응적 에이전트: 상대방이 규범을 위반하자 모델링된 에이전트는 신뢰를 잃었으며, 이는 불확실성(각성) 증가와 음(-)의 정서적 가치로 이어졌다. 에이전트는 충돌을 성공적으로 회피하여 이후 각성 감소와 정서적 가치 상승을 이끌어냈다.
• 교차로:
  • 순응적 에이전트: 상대 차량이 양보함에 따라 감정은 중립적이거나 차분한 상태를 유지했다.
  • 비순 with 에이전트: 상대방이 교통 규칙을 무시함에 따라 에이전트는 음의 정서적 가치와 증가된 각성을 경험했다. 회피에 성공한 경우, 에이전트는 양보하였고 이는 안도감(양의 정서적 가치)으로 이어졌다. 충돌이 발생한 경우, 각성은 충돌이 불가피해졌을 때(결과의 확실성)에만 감소하였으며, 정서적 가치는 회피했을 때보다 낮게 유지되었다.
• 원형 모델 매핑: 원형 모델에 매핑했을 때, 에이전트의 감정 상태는 인간의 패턴과 일치했다: 규범 위반은 분노(음의 정서적 가치, 높은 각성)를 유발했고, 성공적인 회피는 이완(relaxation)으로 이어졌다. 충돌 결과는 슬픔에서 우울함으로 전이되었다.

의의 및 주장
본 논문은 능동적 추론이 인간의 운전 행동의 정서적 구성 요소를 모델링하기 위한 실행 가능하고 원칙적인 프레임워크임을 주장한다. 주요 의의는 다음과 같다:

1. 기계적 해석 가능성: 모델은 어떻게 정서적 상태가 인지 과정(예: 기대되는 결과로부터의 이탈은 음의 정서적 가치를 유발하고, 규범 위반에 대한 불확실성은 각성을 유발함)으로부터 발생하는지에 대한 구조적인 설명을 제공한다.
2. 평가 이론과의 일치: 결과는 정서적 반응이 예상된 결과와 사회적/규범적 기대의 위반에 의해 구동된다는 평가 이론을 뒷받침한다.
3. 통합된 프레임워크: 이 연구는 인지, 행동, 정서를 하나의 통합된 설명으로 보는 능동적 추론의 관점을 지지하며, 정서적 상태가 행동 모델링에 사용되는 것과 동일한 생성적 프레임워크로부터 추론될 수 있음을 보여준다.

한계점
저자들은 다음과 같은 한계를 언급하였다:

• 모델은 단기적 예측 오차를 포착하지만, 고차원적 또는 장기적 기대(예: 교통 체증 속의 운전자는 안정적인 단기 예측에도 불구하고 여전히 부정적인 정서적 가치를 느낄 수 있음)는 간과한다.
• 평가는 시뮬레이션에 국한되었으며, 인간 데이터(예: 얼굴 표정)와의 직접적인 비교는 수행되지 않았다.
• 모델은 단방향적(행동이 감정에 영향을 미침)이며, 감정이 어떻게 행동을 조절하는지(예: 분노가 위험 감수 성향을 높이는 현상)는 아직 다루지 않는다.