Beyond model-based and model-free learning: irrational learning of successor features in addictive behaviour

기술적 요약: 모델 기반 및 모델 프리 학습을 넘어: 중독 행동에서의 후속 특징(Successor Features)의 비합리적 학습

문제 제기
중독은 흔-히 강화 학습(RL) 프레임워크 내에서 유연한 목표 지향적 "모델 기반(Model-Based, MB)" 제어에서 경직된 습관적 "모델 프리(Model-Free, MF)" 전략으로의 전환으로 개념화됩니다. 그러나 이러한 MB-MF 이분법은 주로 단일 작업 설정에서 도출되었으며, 일반화가 요구되는 복잡한 다중 작업 환경에서의 학습 역학을 포착하는 데는 한계가 있을 수 있습니다. 더욱이, 기존의 중독 모델들은 인지적 노력을 직접적으로 정량화하기보다는 수행 능력으로부터 간접적으로 추론하는 경향이 있습니다. 본 연구는 중독 장애(SUD) 환자들이 여러 과제를 어떻게 학습하고 일반화하는지를 조사하며, 특히 이들의 행동이 MF 제어로의 전환으로 설명되는지, 아니면 후속 특징(Successor Features, SF)과 인지적 노력 제약이 결려된 자원 합리적(Resource-Rational) 적응으로 설명되는지를 규명함으로써 기존의 공백을 메우고자 합니다.

연구 방법론
연구진은 83명의 SUD 환자 남성과 인구통계학적으로 매칭된 45명의 건강한 대조군(HC)을 모집했습니다. 참가자들은 2단계 의사결정 트리를 포함하는 다중 작업 강화 학습 패러다임을 수행했습니다.

• 과제 구조: 각 시행(trial)에서 참가자들은 세 가지 자원(나무, 돌, 철)에 대한 "가격 세트"(과제 $g$를 정의함)를 관찰합니다. 그 후, 참가자들은 최종적으로 고정된 양의 자원을 포함하는 방에 도달하기 위해 두 단계의 순차적 선택을 통해 경로를 탐색합니다. 보상은 현재 가격 세트와 자원 양의 내적(dot product)으로 계산됩니다.
• 다중 작업 설계: 실험에는 두 가지 유형(A와 B) 및 두 가지 난이도(쉬움과 어려움)로 분류된 네 가지 서로 다른 가격 세트가 사용되었습니다. 과제들은 잠재적 보상은 대칭적이지만 요구되는 정책(policy)의 복질(complexity)은 달랐습니다 (예: 유형 B 과제는 단순한 "왼쪽-왼쪽" 시퀀스를 선호하는 반면, 유형 A는 "오른쪽-왼쪽" 시퀀스를 요구함).
• 계산 모델링: 저자들은 두 가지 프레임워크에 걸쳐 8개의 계산 모델을 개발하고 비교했습니다:
  1. 고전적 RL: 모델 프리(MF), 모델 기반(MB), 그리고 후속 특징(SF) 모델. "지속성(perseveration, 행동 반복)" 변형 모델도 테스트되었습니다.
  2. 자원 합리적(Resource-Rational) RL: 정보 이론적 인지 노력 비용을 포함하는 모델들(RRMF, RRMB, RRSF). 목적 함수는 기대 보상과 기본 정책(default policy) 사이의 쿨백-라이블러(Kullback-Leibler, KL) 발산을 균형 있게 조절하며, 이는 $I_\pi(G; A|S)$로 공식화됩니다. 비용 민감도 파라미터($\lambda$)는 보상 극대화와 노력 보존 사이의 절충을 제어합니다.
• 분석: 저자들은 최대 사후 확률(Maximum A Posteriori, MAP) 추정을 사용하여 시행별 데이터에 모델을 적합시켰습니다. 모델 비교는 베이지안 정보 기준(BIC)과 보호된 초과 확률(Protected Exceedance Probability, PXP)을 사용하여 수행되었습니다. 모델 식별 가능성을 검증하기 위해 파라미터 회복 및 모델 회복 분석이 수행되었습니다.

주요 결과

1. SUD의 행동 결함: SUD 그룹은 HC 그룹보다 유의하게 적은 보상을 얻었으며 학습 곡선이 더 느렸습니다. 결정적으로, SUD 참가자들은 정책 유연성이 감소한 모습을 보였습니다. 이들은 유형 A 과제에서도 최적이 아닌 유형 B 과제의 최적 방인 '방 4'를 불균형적으로 선택했습니다. 반면, HC 참가자들은 특정 과제 요구 사항에 맞게 정책을 적응시켰습니다.
2. 고전적 RL 모델의 실패: 표준 MB, MF, SF 모델은 핵심적인 행동 징후, 특히 모든 과제에 대해 고정된 정책을 재사용하는 SUD 그룹의 경향과 유형 A와 유형 B 과제 간의 성능 비대칭성을 포착하는 데 실패했습니다.
3. 자원 합리적 SF(RRSF)의 우수성: R서스-래셔널 후속 특징(RRSF) 모델이 데이터에 가장 잘 부합했습니다. 이 모델은 최적이 아님에도 불구하고 기본 정책(방 4)을 재사용하는 SUD 그룹의 행동 패턴을 포함하여 관찰된 행동들을 성공적으로 재현했습니다.
4. 비합리성의 메커니즘: RRSF 모델은 두 그룹 모두 SF 학습을 활용하지만, 인지적 노력에 대한 민감도($\lambda$)에서 차이가 있음을 밝혔습니다. SUD 그룹은 인지적 노력에 대한 민감도가 현저히 높았으며, 이는 이들이 과제별 전략을 계산하기보다 단순화된 기본 정책을 재사용함으로써 인지적 노력을 최소화하려 했음을 의미합니다. 이는 유형 B 과제에 대한 체계적인 편향과 유형 A 과제에 대한 최적화 실패를 초래했습니다.
5. 임상적 상관관계: 낮은 인지적 노력 투입은 높은 자기 보고 불안, 높은 물질 사용 점수, 높은 인지적 충동성과 관련이 있었습니다. 낮은 후속 특징 학습률은 높은 자기 평가 우울감과 관련이 있었습니다.

의의 및 주장
본 논문은 MB-MF 이분법을 넘어 중독에서의 비전형적 학습에 대한 규범적 설명을 제공한다고 주장합니다. 저자들은 중독이 단순히 모델 기반 계획의 실패나 모델 프리 습관의 지배가 아니라, 인지 자원이 할당되는 방식의 체계적인 변화를 나타낸다고 주장합니다.

구체적으로, 본 연구는 다음과 같이 상정합니다:

• 통합 메커니즘으로서의 후속 특징: 다중 작업 환경에서 인간의 학습(건강한 상태와 병리적 상태 모두)은 MB와 MF 사이의 중간 전략 역할을 하는 후속 특징에 의존하여 과제를 일반화합니다.
• 자원 합리적 비합리성: SUD에서 관찰되는 "비합리적" 행동(최적화되지 않은 정책 재사용)은 인지적 비용에 대한 높아진 민감도에 대한 자원 합리적 적응입니다. SUD 환자들은 기본 상태로부터 정책을 업데이트하기 위한 인지적 노력을 지출하기보다, 인지적 노력을 보존하는 것을 우선시하는 경고한 모습을 보입니다.
• 계산 정신의학적 함의: 인지 노력을 정보 이론을 통해 정량화함으로써, 이 연구는 중독의 인지 제어 결함을 이해하기 위한 새로운 틀을 제공합니다. 이는 이러한 결함이 인지 능력의 부족 때문이 아니라, 기본 상태로부터 정책을 업데이트하기 위해 노력을 기울이려는 의지나 능력의 감소(노력 회피)에서 기인할 수 있음을 시사합니다.

저자들은 후속 특징 학습에 대한 자원 합리적 관점이 중독에서 보이는 비유연성을 설명하는 더 포괄적인 방안을 제공하며, 계산적 메커니즘을 임상적 증상 심각도와 직접 연결한다고 결론짓습니다.