Rethinking Model Selection in Choice Behavior

기술적 요약: 선택 행동에서의 모델 선택에 대한 재고

문제 제기
선택 행동의 실험적 분석에 관한 전통적인 연구는 하나의 정형화된 모델(대개 일반화된 매칭 법칙(Generalized Matching Law) 또는 특정 로짓/프로빗 공식)을 다양한 맥락 전반을 설명하기 위해 선택하는 "이론적 일원론"에 크게 의존해 왔다. 이러한 접근 방식은 모델 비교를 단 하나의 "정확한" 공식을 찾는 과정으로 규정한다. 그러나 저자인 나오키 카미야(Naoki Kamiya)는 이러한 관점이 강화율, 크기, 전환 지연(changeover delay)과 같은 환경 변수의 조작을 통해 행동을 예측하고 통제하는 것을 우선시하는 행동 분석의 목표와 근본적으로 어긋난다고 주장한다. (참고: 본 논문의 연구 수행 당시 저자는 통계수학연구소(The Institute of Statistical Mathematics)에 소속되어 있었으며, 현재는 일본 도쿄의 Relations & Behavior Lab을 통해 연구를 진행하고 있다.)

본 논문은 어떤 단일 매개변수 형태도 모든 맥락에서 선택을 적절히 설명할 수 없다고 상정한다. 정적인 비율 기반 모델은 안정적인 조건하에서는 잘 작동할 수 있으나, 이력 의존적 역동성이나 구조가 약한 환경을 포착하는 데는 실패한다. 또한, 단일 모델에 의존하는 것은 서로 다른 모델들이 환경의 서로 다른 조작 가능한 구성 요소들을 포착하고 있다는 사실을 은폐하는 경우가 많다. 단일한 "최선의" 모델을 구하고자 하는 현재의 방법론적 틀은 예견적 통제를 위해 필요한 유연한 가설 공간을 구축하는 능력을 제한한다.

방법론
본 논문은 여러 선택 행동 모델을 평가하고 통합하기 위해 통일된 베이지안 프레임워크를 채택한다. 이 방법론은 세 가지 주요 구성 요소로 이루어진다:

1. 앙상블 학습 기법: 단 하나의 "승자"를 선택하는 대신, 연구는 두 가지 앙상블 방법을 활용한다:

   • 베이지안 모델 평균화 (BMA): 후보 모델 중 하나가 진정한 데이터 생성 기제라고 가정하여( "M-closed" 관점), 사후 모델 확률을 계산한다.
   • 스태킹 (Stacking): 단일 후보 모델이 완전히 옳지 않다고 가정하여( "M-open" 관점), 혼합 분포의 leave-one-out (LOO) 예측 로그 밀도를 최대화함으로써 최적의 가중치를 결정한다. 스태킹은 구조적 충실도보다 예측적 상보성을 강조한다.

2. 시뮬레이션 연구:

   • 시뮬레이션 1 (정적): 가상의 선택 데이터($N=2000$)를 로지스틱 함수를 사용하여 생성하였다. 세 가지 정적 일반화 선형 모델(GLM)을 테스트하였다: 로그-비율 모델(일반화된 매칭 법칙), 로짓 모델, 프로빗 모델.
   • 시뮬레이션 2 (역동적): 가상의 데이터($N=3000$)를 이력 의존적 프로세스(Value Difference 모델)를 사용하여 생성하였다. 네 가지 모델을 테스트하였다: 단순 모델(이전 결과만을 고려), 상호작용 모델(선택 $\times$ 결과), 가치 차이 모델(동적 가치 업데이트), 동적 GML 모델(비율 기반 동적 업데이트).

3. 경험적 재분석:

   • 두 개의 고전적인 동시 변이 간격(VI) 스케줄 데이터셋(Alsop & Elliffe, 1988; Elliffe & Alsop, 1996)을 재분석하였다.
   • 데이터가 조건 수준에서 집계되었기 때문에, 피험자별 랜덤 효과를 포함한 베타 회귀를 사용하였다.
   • 다섯 가지 모델을 비교하였다: 세 가지 정적 모델(GML, 로짓-차이, 프로빗-차이)과 지수 가중 이동 평균(EWMA) 강화 이력을 포함하는 두 가지 유사 동적 모델.
   • EWMA 감쇄 매개변수($\lambda$)에 대한 민감도와 예측 정확도(ELPD)를 평가하였다.

주요 기여

• 모델 선택의 재구성: 본 논문은 모델 선택을 보편적 법칙을 위한 경연이 아니라, 특정 이론적 질문에 대한 "합리적인 근사치"를 평가하는 과정으로 보아야 한다고 주장한다. 모델의 적절성은 목적(설명 vs 예측), 기제, 그리고 맥락에 따라 조건부적이다.
• BMA와 스태킹의 구분: 연구는 BMA와 스태킹의 가중치가 종종 갈라진다는 점을 보여준다. BMA 가중치는 가정된 생성 과정에 대한 구조적 충실도를 반영하는 반면, 스태킹 가중치는 예측적 상보성을 반영한다. 이러한 차이는 서로 다른 모델이 행동 조직의 서로 다른, 중복되지 않는 측면(예: 정상 상태 민감도 vs 일시적 이력 효과)을 포착할 수 있음을 강조한다.
• 하이브리드 모델 설계: 본 논문은 정적 비율 기반 구조와 동적 이력 의존적 항을 통합하는 "하이브리드" 공식을 제안한다. 이를 통해 서로 다른 시간적 기제(예: 단기 반복 vs 장기 축적)가 어떻게 공동으로 통제 가능성에 기여하는지 체계적으로 테스트할 수 있다.
• 맥락 의존적 가설 공간: 분석 결과, "최선의" 가설 공간은 불변하지 않으며, 배열된 조건의 구조에 따라 재구성된다. 어떤 맥락에서는 단일 모델이 지배적이지만, 다른 맥락에서는 공간이 분산되어 데이터를 설명하기 위해 여러 모델이 필요하다.

결과

• 시뮬레이션 1: 진정한 생성 과정이 로짓 모델이었을 때, BMA는 로짓 모델에 가장 높은 가중치(0.72)를 올바르게 할당하였다. 그러나 스태킹은 프로빗 모델(0.70)에 가장 높은 가중치를 할당하였으며, 로짓 모델은 0.30을 받았다. 이는 로짓 모델이 진정한 생성기임에도 불구하고, 프로빗 모델의 오차 구조가 혼합 내에서 로짓과 약간 더 상보적이었기 때문이다. 로그-비율 모델은 구조적 불일치(비율 vs 차이)로 인해 두 지표 모두에서 낮은 성능을 보였다.
• 시뮬레이션 2: 진정한 프로세스가 이력 의존적(Value Difference 모델)이었을 때, 진정한 모델은 가장 높은 BMA 가중치(0.97)를 받았다. 그러나 스태킹은 상호작용 모델(0.23)과 동적 GML(0.31)에 가중치를 분산시켰는데, 이는 이 모델들이 서로 보완적인 시간적 패턴(단기 상호작용 vs 장기 추세)을 포착하여 전체적인 예측 정확도를 높였음을 나타낸다.
• 경험적 재분석 (1988 데이터셋): 가설 공간이 일반화된 매칭 법칙(GML) 주변에 "날카롭게 집중"되어 있었다. 정적 비율 기반 모델들이 BMA와 스태킹 가중치 모두에서 지배적이었으며, 동적 항은 예측적 가치를 거의 더하지 못했다. 이는 이 데이터셋의 조건들이 안정적인 비율 기반 통제를 생성했음을 시사한다.
• 경험적 재분석 (1996 데이터셋): 가설 공간이 "분산"되어 있었다. 단일 모델이 일관된 지배력을 확보하지 못했다. 모델 가중치는 GML, 로짓, 프로빗 공식에 분산되었으며, 동적 모델들은 불안정한 방향 변화를 보였다. 이는 조건들이 약하게 구조화되어 있었으며, 강화와 선택 사이의 매핑이 불변하지 않았음을 시사한다.
• 강건성: 강화 이력 계수($\beta_1$)와 예측 정확도(ELPD)는 다양한 EWMA 감쇄 매개변수($\lambda$) 범위에서 강건하였으며, 이는 이력 효과에 관한 결론이 특정 매개변수 선택의 인위적 결과가 아님을 나타낸다.

의의 및 주장
본 논문은 행동 통제의 맥락 의존적인 특성을 고려할 때, 단 하나의 "정확한" 모델을 찾는 전통적인 탐색은 개념적으로 잘못되었다고 주장한다. 앙상블 학습 프레임워크를 채택함으로써 연구자들은 다음을 수행할 수 있다:

1. 유연한 가설 공간 구축: 단일 모델이 부분적으로 유효할 수 있고 서로 다른 프로세스의 구성 요소를 포착할 수 있음을 인정함으로써 "M-closed" 가정을 넘어설 수 있다.
2. 예견적 통제 강화: 앙상블 방법은 단일 모델보다 새로운 또는 비정상적인 조건(예: 강화율 또는 스케줄의 변화) 하에서의 행동을 예측하는 데 더 강력한 예측 분포를 제공한다.
3. 행동 분석의 목표와 일치: 이 접근 방식은 모델을 고정된 자연 법칙이 아니라 조작 가능한 변수(민감도, 편향, 이력 커널)를 식별하기 위한 도구로 취급함으로써, 모델 기반 추론을 기술, 예측, 통제라는 행동 분석의 핵심 목표와 일치시킨다.

저자는 행동 분석의 이론적 발전이 특정 매개변수 형태를 옹호하는 것보다, 환경의 조작 가능한 차원과 강화가 행동에 영향을 미치는 다중 프로세스를 반영하는 더 풍부한 가설 공간을 설계하는 것에 달려 있다고 결론짓는다.