기술 요약: 보상 함수 압축이 목표 의존적 강화 학습을 촉진한다

문제 정의

인간의 강화 학습(RL)은 일차적 및 이차적 보상을 넘어, 현재의 목표에 따라 새롭고 추상적인 자극에 가치를 부여하는 유연하고 목표 의존적인 결과물까지 포함한다. 이러한 유연성은 인간이 다양한 목표를 추구할 수 있게 해주지만, 인지적 비용을 발생시키며 종종 학습 효율을 저하시킨다. 인간이 자신의 가치 체계를 현재의 목표와 정렬하는 정확한 인지 메커니즘과, 왜 이러한 정렬을 유지하는 것이 어려운지에 대해서는 아직 규명되지 않았다. 특히, 새로운 결과에 가치를 할당하는 유연성과 그로부터 학습하는 효율성 사이의 절충안을 뇌가 어떻게 관리하는지는 불분명하다. 기존 연구들은 목표 의존적 학습이 작업 기억(WM)에 의존한다는 점을 시사하지만, 이러한 의존성이 어떻게 더 자동화되고 효율적인 처리 방식으로 전환되는지에 대한 구체적인 과정은 알려져 있지 않다.

방법론

저자들은 변형된 RL 과제를 사용하여 6가지 실험(4가지 주요 실험 및 2가지 보충 실험)을 수행하였으며, 참가자들은 시행착오를 통해 자극-반응 매핑을 학습했다.

실험 설계

• 과제 구조: 참가자들은 6개의 자극을 관찰하고 각 자사에 대한 올바른 키 입력을 학습해야 했다. 피드백은 결정론적이었다.
• 조건:
  • 포인트 블록 (기초선): 피드백은 표준적인 수치 포인트("정답 시 +1", "오답 시 +0")로 구성되었다.
  • 목표 블록: 피드백은 "목표(Goal)" 또는 "비목표(Nongoal)"로 라벨링된 추상적인 프랙탈 이미지로 구성되었다. 참가자들은 어떤 행동이 "목표" 이미지를 이끌어내는지 학습해야 했다.
• 보상 수집: 모든 블록에서 참가자들은 바람직한 결과(포인트 또는 목표 이미지)를 "수집"하기 위해 별도의 키를 눌러야 했으며, 바람직하지 않은 결과는 무시해야 했다. 이 수집 단계의 반응 시간(RT)은 보상 처리 효율성을 나타내는 행동적 대리 지표로 기록되었다.

구체적 조작

• 실험 1 (WM 부하): 블록당 고유한 Goal/Nongoal 이미지 쌍의 수를 변화시켰다 (1, 2, 3, 또는 4개 쌍). 전체 시행 횟수는 일정하게 유지했으나, 목표 공간의 크기를 키워 작업 기억(WM) 부하를 높였다.
• 실험 2 (압축 가능성): 고유한 목표 이미지의 총 개수는 8개로 일정하게 유지하되, 규칙의 복잡성을 조작했다.
  • 압축 가능한 경우 (Compressible): 단일 특징(예: 색상)이 모든 Goal 이미지를 Nongoal 이미지와 구분하였다.
  • 압축 불가능한 경우 (Incompressible): Goal과 Nongoal을 구분하기 위해 세 가지 특징(모양, 색상, 채우기)이 모두 필요했다 (결합 규칙).
• 보충 실험 (3–6): 단순 반복 효과, 압축 없는 하향식 가치 귀속, 또는 일관되지 않은 라벨링으로 인한 간섭과 같은 대안적 메커니즘을 배제하기 위해 기존 데이터를 재분석하거나 새로운 통제 변수를 도입했다.

계산 모델링

저자들은 표준 RL 아키텍처(가치 업데이트를 위한 델타 규칙, 행동 선택을 위한 소프트맥스 정책)를 기반으로 한 모델 군을 적합시켰다.

• 기본 모델: 학습률($\alpha$), 부정적 결과 승수($\zeta$), 노이즈($\epsilon$), 망각($\phi$), 그리고 끈적임(stickiness, $\eta$) 파라미터를 포함했다.
• 심화 모델: 특정 파라미터(학습률, 노이즈, 끈적임)가 조건에 따라 변하는지 테스트했다.
• RT-조건부 모델: 결정적으로, 저자들은 학습률이 해당 조건의 중앙값 로그 보상 수집 RT에 의해 직접적으로 스케일링되는 모델을 테스트했다. 이는 보상 처리가 빨라질수록(압축/자동화를 나타냄) 학습률이 개선된다는 가설을 검증하기 위함이었다.

주요 결과

행동적 발견

1. 목표 의전적 학습 비용: 학습 성능은 가장 단순한 단일 목표 조건에서도 포인트 블록에 비해 목표 블록에서 유의미하게 낮게 나타났다. 이는 추상적 목표 귀정의 인지적 비용을 확인시켜 준다.
2. WM 부하 효과 (실험 1): 학습 정확도는 고유한 Goal/Nongoal 쌍의 수가 증가함에 따라(1개에서 4개로) 매개변수적으로 감소했다. 이는 더 큰 목표 공간을 작업 기억에 유지하는 것이 학습 과정을 저해함을 시사한다한다.
3. 압축 효과 (실험 2): 목표 공간은 일정하게 유지하면서 규칙 복잡성을 변화시켰을 때, 학습 정확도는 '압축 불가능한' 블록보다 '압축 가능한' 블록에서 유의미하게 높았다. 이는 성능 향상이 단순히 반복에 의한 것이 아니라, 단순화된 규칙을 형성할 수 있는 능력에 의해 주도됨을 나타낸다.
4. 보상 수집 RT: 빠른 보상 수집 RT는 모든 조건에서 더 나은 학습 성능과 강한 상관관계를 보였다. 이 상관관계는 선택(choice) RT가 아닌 보상 수집 RT에 특이적으로 나타났으며, 이는 의사결정 과정 자체가 아닌 결과의 평가(보상 처리)가 병목 구간임을 시사한다.
5. 보충 실험 결과:
   • 반복 자체(실험 5)는 목표 공간이 WM 용량을 초과할 경우 학습을 개선하지 못했다.
   • 시행 간 일관되지 않은 라벨링(실험 6)은 학습을 구체적으로 저해했으며, 이는 압축을 위해 안정적인 규칙이 필요함을 뒷받침한다.

계산 모델링 결과

• 가치 업데이트 병목 현상: 가장 잘 적합된 모델들은 목표 의존적 학습의 주요 영향이 선택 노이즈가 아닌 가치 업데이트 단계(학습률)에 미친다는 것을 보여주었다.
• RT-조건부 학습률: 학습률이 보상 수집 RT의 함수인 모델이 각 조건에 대해 자유 파라미터를 가진 모델이나 RT가 선택 노이즈에 영향을 미치는 모델보다 더 나은 적합도와 간결성을 제공했다.
• 해석: 이는 효율적인 보상 처리(압축을 통해)가 실행 자원을 확보하여, 결과적으로 자극-행동 연합의 더 효과적인 업데이트를 가능하게 한다는 가설을 지지한다.

주요 기여

1. 보상 함수 압축: 본 논문은 복잡하고 고차원적인 목표 정보를 단순화되고 안정적인 규칙(즉, "압축된 보상 함수")으로 압축하여 작업 기억에서 장기 기억으로 전이할 수 있는 메커니즘을 제안하고 경험적으로 검증한다.
2. 효율성을 위한 메커니즘: 이러한 압축 과정이 목표 의존적 학습의 인지적 부하를 완화하여 학습 효율을 높이는 핵심 요소임을 입증한다.
3. 행동적 표지: 보상 수집 반응 시간(RT)을 보상 함수 압축 및 처리 효율성을 나타내는 구체적인 행동적 징후로 식별한다.
4. 계산적 정형화: 보상 처리 효율성(RT)을 학습률과 직접 연결하는 계산 모델을 제공하여, 실행 기능이 강화 학습과 어떻게 상호작용하는지에 대한 공식적인 설명을 제시한다.

의의

저자들은 이러한 발견이 내재적 동기 및 목표 지향적 학습의 인지적 메커니즘을 밝혀준다고 주장한다. 뇌가 보상 함수 압축을 통해 유연성과 효율성 사이의 절충안을 관리한다는 것을 보여줌으로써, 본 연구는 왜 어떤 목표가 다른 목표보다 달성하기 어려운지에 대한 틀을 제공한다. 저자들은 이러한 통찰이 개인의 목표 달성을 지원하기 위해, 특히 압축과 자동화를 용이하게 하는 방식으로 목표를 구조화하도록 돕는 교육적 전략 및 행동 중재에 기여할 수 있다고 제언한다. 본 논문은 이 압축의 구체적인 신경학적 구현에 대해서는 판단을 유보하지만, 이것이 작업 기억과 장기 기억 시스템 간의 상호작용에 의존한다고 상정한다.