📈 economics

A Bayesian latent class reinforcement learning framework to capture adaptive, feedback-driven travel behaviour

본 논문은 베이지안 잠재 클래스 강화 학습 프레임워크를 제안하여 이질적이고 적응적인 이동 행동을 모델링하며, 운전 시뮬레이터 데이터 분석을 통해 고유한 선호도 진화 및 탐색-활용 전략을 가진 세 가지 뚜렷한 여행자 클래스를 식별한다.

원저자: Georges Sfeir, Stephane Hess, Thomas O. Hancock, Filipe Rodrigues, Jamal Amani Rad, Michiel Bliemer, Matthew Beck, Fayyaz Khan

게시일 2026-08-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Georges Sfeir, Stephane Hess, Thomas O. Hancock, Filipe Rodrigues, Jamal Amani Rad, Michiel Bliemer, Matthew Beck, Fayyaz Khan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 학교에 가는 가장 좋은 방법을 배우려고 노력하고 있다고 상상해 보세요. 때때로 당신은 빠르고 신뢰할 수 있기 때문에 매일 같은 경로를 이용합니다. 하지만 다른 때에는, 설령 그것이 당신을 더 늦게 도착하게 만들지라도 새로운 길을 시도해 보는 것이 더 빠른지 확인하기 위해 새로운 거리를 시도하기도 합니다. 이것이 인간이 의사결정을 내리는 방식의 핵심입니다: 우리는 익숙한 것을 고수하는 것(착취, exploitation)과 더 많은 것을 배우기 위해 새로운 것을 시도하는 것(탐색, exploration) 사이에서 균형을 잡습니다. 오랫동안, 사람들의 이동 방식을 연구하는 과학자들은 모든 사람이 같은 방식으로 학습하거나 우리의 선호도가 돌처럼 고정되어 있다고 가정하는 모델을 사용해 왔습니다. 하지만 현실 세계에서 사람들은 복잡합니다. 우리는 서로 다른 속도로 학습하며, 새로운 정보에 의해 혼란을 느끼기도 하고, 실제로 운전할 때와 단지 여행을 상상할 때 완전히 다르게 행동할 수도 있습니다. 이 논문은 심리학과 수학을 결합하여 사람들이 단순히 무엇을 선택하는지가 아니라, 시간이 지남에 따라 그들이 어떻게 선택을 하기 위해 학습하는지를 밝혀냄으로써 이 복잡한 현실을 파고듭니다.

조르주 세이르(Georges Sfeir)와 동료들이 이끄는 이 연구의 연구진은 '잠재 클래스 강화 학습(Latent Class Reinforcement Learning, LCRL)'이라는 새로운 종류의 "여행 뇌" 모델을 구축하기로 결정했습니다. 이것을 탐정들이 왜 서로 다르게 행동하는지 이유를 찾아내려는 탐정 이야기라고 생각해보세요. 모든 사람이 같다고 가정하는 대신, 그들은 83명의 사람들이 각각 20번의 경로 선택을 하는 모습을 관찰하기 위해 운전 시뮬레이터를 사용했습니다. 참가자들의 절반은 실제로 그 경로들을 운전하며 시간이 흐르는 것을 느꼈고(경험적 피드백), 나머지 절반은 화면상의 가상 시간을 보고 버튼을 클릭하기만 했습니다(진술 선호). 연구팀은 이 데이터를 그들의 정교한 새 모델에 입력했는데, 이 모델은 일종의 분류 기계 역할을 합니다. 이 모델은 단순히 "이 사람은 빠른 경로를 좋아한다"라고 말하는 것이 아니라, "이 사람은 오래된 습관을 고수하는 느린 학습자인가? 모든 것을 시도하는 모험가인가? 아니 혹은 실제로 운전하고 있는지 아니면 단지 생각 중인지에 따라 마음을 바꾸는 사람인가?"라고 묻습니다.

모델은 운전자 그룹이 하나의 덩어리가 아니라, 각기 다른 개성을 가진 세 가지 뚜렷한 "유형"으로 나뉜다는 것을 발견했습니다. 약 22%의 사람들은 "맥락 카멜레온(Context Chameleons)"이었습니다. 이들은 컴퓨터 화면상에서 여행을 상상할 때는 한 방식으로 행동했지만(안전하고 신뢰할 수 있는 경로를 선호), 실제로 시뮬레이터에서 운전대를 잡았을 때는 행동이 완전히 뒤바뀌어 갑자기 위험하고 예측 불가능한 경로를 갈망했습니다. 이들은 학습이 느렸으며, 새로운 경험을 바탕으로 자신의 믿음을 업데이트하는 데 시간을 들였습니다.

그다음으로는 가장 큰 그룹인, 참가자의 거의 절반(49%)을 차지하는 "지속적 착취자(Persistent Exploiters)"가 있었습니다. 이 운전자들은 위험하고 불확실한 경로를 무엇이든 상관없이 사랑하는 사람들이었습니다. 실제로 운전하고 있든 버튼을 클릭하고 있든, 그들은 때때로 더 오래 걸리더라도 불확실한 경로를 계속 선택했습니다. 이들은 가장 고집스러운 착취자들이었으며, 가장 느린 그룹보다 피드백에 다소 빠르게 적응하긴 했지만, 여전히 과거의 경험에 상당히 의존했습니다.

마지막으로, 샘플의 약 29%를 차지하는 세 번째 그룹은 "적응형 전환자(Adaptive Switchers)"였습니다. 이들은 여성일 가능성이 높고 소득이 높은 경향이 있었습니다. 이들은 실제로 운전할 때는 안전한 경로를 선호하기 시작했지만, 화면을 통해 질문에 답할 때는 갑자기 더 모험적으로 변하여 위험한 경로를 선택했습니다. 이들은 가장 높은 탐색 성향을 보였으며, 안전한 옵션과 위험한 옵션 사이를 왔다 갔다 했습니다. 이들은 세 그룹 중 가장 높은 학습률 추정치를 보였으나, 이는 통계적으로 유의미하지 않았는데, 이는 이들이 급격하고 휘발적인 변화에 반응하기보다는 시간이 지남에 따라 점진적으로 진화하는 안정적인 기대를 유지했음을 시사합니다.

이 논문은 우리가 이러한 다양한 "학습 성격"을 무시한다면, 교통 시스템을 설계하거나 새로운 도로에 사람들이 어떻게 반응할지 예측하는 데 있어 실수를 저지를 수 있다고 제안합니다. 만약 당신이 "맥락 카멜레온"을 "지속적 착취자"처럼 취급한다면, 당신의 교통 조언은 완전히 실패할 것입니다. 연구진은 단순히 이 그룹들이 존재한다고 추측한 것이 아니라, '베이지안 변분 추론(Variational Bayes)'이라는 정교한 수학적 기법을 사용하여 사람들을 이 세 가지 클래스로 나누는 것이 모든 사람이 동일하게 학습한다고 가정하는 것보다 데이터를 훨씬 더 잘 설명한다는 것을 증명했습니다. 그들은 또한 각 그룹이 계속해서 똑같이 나쁜 교통 상황이나 똑같이 좋은 교통 상황을 겪게 될 경우 어떻게 반응할지를 보여주는 시뮬레이션을 실행하여, 그들의 "성격"이 실제로 어떻게 학습 방식을 바꾸는지 확인했습니다.

요약하자면, 이 논문은 여행을 이해하기 위해서 우리는 단순히 지도를 보는 것이 아니라 운전자의 마음을 들여다봐야 한다고 주장합니다. 우리는 그들이 익숙한 것을 고수하는 유형인지, 새로운 것을 쫓는 유형인지, 아니면 상황에 따라 마음을 바꾸는 유형인지 알아야 합니다. 이러한 차이를 포착하는 모델을 구축함으로써, 저자들은 도시와 계획가들이 평균적인 사람이 아닌 모든 유형의 학습자에게 작동하는 더 나은 시스템을 설계할 수 있도록 돕기를 희망하고 있습니다.

기술 요약: 베이지안 잠재 계층 강화 학습 프레임워크

문제 제기
전통적인 통행 행동 연구는 선호도를 고정된 구성 요소로 취급하는 이산 선택 모델(Discrete Choice Models, DCMs)에 크게 의존한다. 그러나 실제 여행 결정은 개인의 기대치가 피드백(예: 지연, 새로운 경로)을 바탕으로 수정되는 적응적 학습을 포함하는 경우가 많다. 수학 심리학의 강화 학습(Reinforcement Learning, RL) 모델은 이러한 역동적인 피드백 기반 학습을 효과적으로 포착하지만, 기존의 교통 분야 적용 사례들은 대개 단일하고 연속적인 학습 파라미터 분포(예: 단봉형 사전 분포를 가진 계층적 베이지안 모델)를 가정한다. 이러한 접근 방식은 인구 집단 내의 뚜렷하고 이산적인 학습 유형(예: 끈질긴 탐험가 대 빠른 활용가)을 포착하는 데 실패한다. 이러한 서로 다른 행동들을 평균화하는 것은 오해의 소지가 있는 추론을 초래할 수 있다. 또한, 기존의 일반적인 통행 설문조사는 역동적인 학습을 모델링하는 데 필요한 경험적 피드백 데이터를 포착하기에는 데이터의 종단적 특성이 부족한 경우가 많다.

방법론
본 논문은 잠재 계층 선택 모델(Latent Class Choice Models, LCCMs)과 계층별 강화 학습 역학을 통합하는 잠재 계층 강화 학습(Latent Class Reinforcement Learning, LCRL) 프레임워크를 제안한다. 이 모델은 고차원 파라미터 공간과 잠재 변수를 처리하기 위해 완전 베이지안 프레임워크 내에서 **변분 베이즈(Variational Bayes, VB)**를 사용하여 추정된다.

강화 학습 핵심: 모델은 Rescorla-Wagner 학습 규칙을 활용한다.
- 예측 오차: 대안에 대한 기대치( $Q$ )는 학습률( $\alpha$ )에 의해 스케일링되어, 실제 결과( $r$ )와 사전 기대치 사이의 차이에 따라 시행별(trial-by-trial)로 업데이트된다.
- 선택 규칙: 업데이트된 기대치는 무작위 효용 극대화(Random Utility Maximization, RUM) 프레임워크(다항 로짓, Multinomial Logit)로 전달되며, 여기서 효용은 기대 결과와 탐색-활용(exploration-exploitation) 트레이드오프를 조절하는 민감도 파라미터( $\beta$ )에 따라 결정된다.
잠재 계층 통합: 모델은 인구가 $K$ $K$ 개의 이산적인 잠재 계층으로 구성되어 있다고 가정한다.
- 계층 멤버십: 특정 계층에 속할 확률은 사회인구학적 및 맥락적 속성의 다항 로짓 함수로 모델링된다.
- 계층별 역학: 각 계층 $k$ 는 고유한 RL 파라미터 세트인 학습률( $\alpha_k$ ), 탐색-활용 민감도( $\beta_k$ ), 편향 파라미터( $\gamma_{ik}$ ), 그리고 초기 기대치( $Q_{i,0,k}$ )를 갖는다.
추정: 사후 분포의 계산 불가능성 때문에, 저자들은 변분 추론(Variational Inference)을 채택한다. 평균장 가정(mean-field assumption)을 사용하여 참된 사후 분포를 다룰 수 있는 궤적 분포로 근사하며, 스토캐스틱 경사 하강법(Adam 옵티마이저)을 통해 증거 하한(Evidence Lower Bound, ELBO)을 최적화한다.

주요 기여

새로운 프레임워크: 이는 이산적 행동 이질성과 역동적 강화 학습을 완전 베이지안 변분 접근법을 사용하여 결합하여 모델링한 최초의 적용 사례이다. 이는 계량경제학적 이산 선택 모델과 수학 심리학 사이의 가교 역할을 한다.
이질성 처리: 공통 프로세스 주변의 연속적 변동을 가정하는 표준 계층적 RL 모델과 달리, LCRL은 뚜렷한 학습 유형(다봉성)을 명시적으로 식별하여 서로 다른 행동들이 평균화되는 것을 방지한다.
확장 가능한 추정: 변분 추론의 사용은 고차원의 복잡한 역동적 모델에 대해 확장 가능한 추정을 가능하게 하며, 파라미터에 대한 전체 사후 분포를 제공한다.
맥락적 적응: 모델은 혼합 데이터 환경(운전 시뮬레이터 vs. 진술 선호)을 처리하도록 조정되었으며, 실험 맥락에 따라 변화하는 계층별 민감도 및 편향 파라미터를 허용한다.

결과
모델은 83명의 참가자가 완료한 20회의 경로 선택 과업(운전 시뮬레이터 10회, 진술 선호 조사 10회) 데이터셋에 적용되었다. 과업은 신뢰할 수 있는 경로(고정 5분)와 신뢰할 수 없는 경로(가변 2~7분) 사이의 선택을 포함한다.

모델 적합도: 베이지안 정보 기준(BIC)에 따라 3개 계층 LCRL 모델이 선택되었으며, 이는 로그 가능도(Log-Likelihood), AIC, BIC 측면에서 단일 계층 벤치마크 RL 모델을 유의미하게 능가했다.
식별된 계층:
1. 계층 1 (맥락 의존적 활용가, ~22%): 주로 진술 선호(SP) 과업으로 시작한 참가자들이다. 이들은 강한 맥락 의존적 선호를 보인다: 가설적 SP 시나리오에서는 신뢰할 수 있는 경로를 활용하지만, 실제 물리적 운전 시뮬레이터(DS)에서는 신뢰할 수 없는 경로를 활용하는 쪽으로 전환한다. 이들은 학습 속도가 느리다(낮은 $\alpha$ ).
2. 계층 2 (지속적 활용가, ~49%): 저소득층 남성들이 주를 이루며, DS 과업으로 시작했다. 이들은 두 맥락 모두에서 신뢰할 수 없는 경로에 대한 강력하고 지속적인 선호를 보인다. 이들은 중간 정도의 학습 속도를 보이며 높은 활용 성향(유의미한 $\beta$ )을 나타낸다.
3. 계층 3 (맥락 의존적 탐험가, ~29%): 여성 및 고소득층일 가능성이 높다. 이들은 DS 과업에서는 신뢰할 수 있는 경로를 선호하지만, SP 시나리오에서는 이를 반전시킨다. 이들은 가장 높은 탐색 성향(낮은 $\beta$ )과 가장 높은 학습률을 보이지만, 기대치는 점진적으로 진화한다.
행동 통찰: 결과는 개인들이 단순히 정적인 선호뿐만 아니라, 어떻게 학습하는지(학습률), 어떻게 기대를 업데이트하는지, 그리고 어떻게 탐색과 활용 사이의 균형을 맞추는지에 대해서도 서로 다르다는 점을 강조한다. 모델은 진술된 선택과 경험된 선택 사이의 불일치를 성공적으로 포착하며, 이를 편향과 학습 역학의 맥락 의존적 변화의 결과로 설명한다.

의의 및 주장
본 논문은 LCRL 프레임워크가 경험 기반 학습과 이산적 형태의 이질성을 모두 포착함으로써 여행 행동에 대한 더 풍부한 특성화를 제공한다고 주장한다.

이론적: 초기 선호의 출현 메커니즘을 간과하는 전통적 모델의 공백을 메움으로써, 의사결정 선호가 시간에 따라 어떻게 역동적으로 진화하는지에 대한 더 포괄적인 이해를 제공한다.
실무적: 연구 결과는 정보 전략(예: 정보 제공 전략)이 특정 학습 유형에 맞춰 설계되어야 함을 시사한다. 즉, 탐험가에게 도움이 되는 전략이 활용가에게는 오히려 방해가 될 수 있다.
방법론적: 계량경제학적 선택 모델과 RL 및 베이지안 추론의 통합은 부상하는 모델링 기술로 제시된다. 저자들은 다음과 같은 분야에서의 잠재적 관련성을 제안한다:
- 자율주행 자동차(AV): 혼합 자율 주행 시스템에서 인간의 학습과 기대 형성을 예측하는 경로 알고리즘 설계.
- 서비스형 모빌리티(MaaS): 새로운 이동 수단을 탐색할 가능성이 높은 세그먼트를 식별하고, 인센티브가 도입을 어떻게 가속화하는지 이해.
- 교통 계획: 네트워크 중단(예: 폐쇄, 불확실성)에 대한 행동 반응을 예측하고, 서로 다른 집단이 새로운 인프라를 사용하는 법을 어떻게 학습하는지 평가.

저자들은 향후 적용에 대해 겸허한 어조를 유지하며, 본 연구의 초점이 인간의 경로 선택에 있으나, 이 프레임워크가 정적인 선호를 가정하는 대신 적응적 행동을 인식하는 정보 전략을 설계하기 위한 도구를 제공한다고 언급했다. 또한, RL 파라미터를 개인별로 다르게 설정함으로써 계층 내 이질성을 탐구하는 후속 연구를 제안하였다.

기술 요약: 베이지안 잠재 계층 강화 학습 프레임워크

유사한 논문