기술 요약: 강화 학습에서 제로 예측 오차(Zero Prediction Errors)의 독특한 가치

문제 제기

강화 학습(RL) 이론은 전통적으로 학습이 예측 오차(PE)—기대값과 관찰된 결과 사이의 불일치—에 의해 주도된다고 가정한다. 표준 모델(예: Rescorla & Wagner, 1)에서 기대와 완벽하게 일치하는 결과(제로 PE)는 보상 자체 이외의 정보적 가치를 지니지 않는, 즉 학습 신호의 부재로 취급된다. 그러나 이러한 프레임워크는 '완벽한 예측'이 심리적으로 중립적인 상태인지, 아니면 정서, 신념 업데이트, 그리고 신경 처리 과정을 능동적으로 형성하는 별개의 정보적 사건인지에 대한 의문을 남겨둔다. 특히, 불확실한 환경이나 불확실성에 대한 인내력이 낮은 개인들에게 있어, 제로 PE가 별도의 잠재적 신념 상태(latent belief states) 형성과 같은 독특한 계산적 메커니즘을 유발하는지는 불분명하다.

연구 방법론

본 연구는 제로 PE의 영향을 조사하기 위해 행동 실험, 계산 모델링, 전기생리학(EEG)을 결합한 다중 모드 접근 방식을 채택하였다.

실험 설계:

• 과업: 참가자들은 다양한 폭(낮음, 중간, 높음 불확실성)을 가진 가우시안 분포에서 추출된 보상을 예측하는 "숫자 생성 과업(Number Generator Task)"을 수행하였다.
• 조작: 참가자들은 모르는 상태에서, 블록당 80회 중 15회(18.75%)의 시행이 실험적으로 제약되어 보상 결과가 예측값과 정확히 일치하도록 설정되었으며, 이를 통해 "제로 예측 오차"를 생성하였다.
• 측정 항목:
  • 정서(Affect): 참가자들은 3회 시행마다 순간적인 행복감을 보고하였다.
  • 행동(Behavior): 시행별 예측 업데이트가 기록되었다.
  • 신경(Neural): 일부 참가자($N=40$)를 대상으로 보상에 동기화된 EEG를 기록하여 사건 관련 전위(ERP)를 분석하였다.
• 참가자: 두 가지 실험이 진행되었으며, 온라인 연구($N=97$)와 EEG 실험실 연구($N=40$)를 합쳐 총 $N=137$명이다.

계산 모델링:
계층적 베이지안 추론을 사용하여 세 가지 강화 학습 모델을 비교하였다:

1. PH-standard: 학습률이 PE 크기에 따라 조절되는 표준 Pearce-Hall 모델로, 제로 PE 발생 시 업데이트가 일어나지 않는다.
2. PH-persist: 제로 PE가 "지속(persistence)" 상태를 유도하여 향후 예측을 확인된 결과 쪽으로 편향시키는 확장 모델이다.
3. ZePE (Zero Prediction Error) 모델: 제로 PE가 표준 신념 상태($B_{std}$)와 병렬로 추적되는 별도의 잠재적 신념 상태($B_{zero}$) 형성을 유발한다는 새로운 모델이다. 최종 예측은 파라미터 $\omega$에 의해 제어되는 두 상태의 가중치 혼합물이다.

분석:

• 행동적 분석: 혼합 효과 회귀 분석을 통해 행복도 수치와 예측 업데이트를 분석하였다.
• 모델 비교: 최적의 모델을 결정하기 위해 Leave-one-out 교차 검증(LOO)과 기대 로그 예측 밀도(ELDP)를 사용하였다.
• EEG: 질량 단변량 회귀(GLM) 및 클러스터 기반 순열 검정을 사용하여 PE에 대한 신경 반응을 분석하였다. 심리물리학적 상호작용(PPI) 분석을 통해 잔여 신경 활동이 후속 행동 업데이트를 예측하는지 테스트하였다.

주요 결과

1. 정서적 영향: 제로 PE가 행복을 극대화함

행복도가 양(+)의 PE 크기에 따라 선형적으로 증가할 것이라는 가정과 달리, 참가자들은 제로 PE 이후에 가장 높은 순간적 행복감을 보고하였다.

• 행복도는 PE 크기에 대해 역 U자형 관계를 보였으며, 제로(0)에서 정점을 찍고 큰 양(+) 또는 음(-)의 PE에서는 감소하였다.
• 행복도에 대한 계산 모델링 결과, 보상 크기와 표준 PE에만 의존하는 모델보다 제로 PE를 위한 특정 항을 추가했을 때 모델 적합도가 유의미하게 향상되었다. 제로 PE는 보상 결과 자체보다 행복도를 더 강력하게 예측하는 변수였다.

2. 행동적 적응: ZePE 모델

ZePE 모델은 두 실험 모두에서 PH-standard 및 PH-persist 모델보다 유의미하게 우수한 성능을 보이며 행동 데이터에 가장 잘 부합하였다.

• 별도의 잠재 상태: 데이터는 제로 PE가 후속 업데이트를 가이드하는 별도의 잠재적 신념 상태를 유도한다는 가설을 지지한다.
• 불확실성 조절: 제로-PE 상태의 영향력을 결정하는 가중치 파라미터 $\omega$는 환경적 불확실성이 높아짐에 따라 증가하였다. 참가자들은 불확실성이 높은 블록에서 제로-PE 상태에 더 많이 의존하였다.
• 개인차: 불확실성 인내력(IUS) 척도 점수가 높을수록 $\omega$ 값이 높게 나타났는데, 이는 불확실성을 기피하는 개인이 신념을 안정시키기 위해 완벽한 예측에 더 큰 비중을 둔다는 것을 시사한다.
• 업데이트 패턴: 제로 PE 이후에는 저불확실성 블록에서 더 큰 절대적 예측 업데이트가 뒤따랐으며, 이 효과는 높은 불확실성 하에서 더욱 강화되었다. 이는 완벽한 예측이 단순히 기존 신념을 확인하는 것을 넘어 학습 역동을 능동적으로 형성함을 나타낸다.

3. 신경학적 서명: 구별되는 EEG 반응

EEG 분석 결과, 제로 PE는 표준 PE와 구별되는 독특한 신경 반응을 유발하였다.

• ERP 성분: 제로 PE는 전두중앙 및 중심두정엽 전극에서 견고하고 지속적인 후기 양성 반응(P3-like)을 유발하였으며, 이는 큰 양(+)의 PE와 유사한 크기였고 다른 PE 조건보다 유의미하게 컸다.
• 잠재 상태 인코딩: 회귀 분석 결과, 제로-PE 시행의 EEG 활동은 제로-PE 잠재 신념 상태($B_{zero}$)로부터의 편차를 추적한 반면, 표준 시행은 표준 신념 상태($B_{std}$)로부터의 편차를 추적하였다.
• 신경-행동 결합: (모델로 설명되지 않는) 잔여 EEG 활동은 시행 유형에 따라 상반된 방향으로 후속 업데이트를 예측하였다:
  • 표준 시행: 더 강한 잔여 활동은 강화된 업데이트(학습)를 예측하였다.
  • 제로-PE 시행: 더 강한 잔여 활동은 감소된 업데이트(신념 고착)를 예측하였다.
  • 이 결합은 $\omega$에 의해 조절되었으며, $\omega$가 높을수록 이러한 해리 현상이 증폭되었다.

의의 및 주장

본 연구는 제로 예측 오차가 중립적인 사건이 아니라, 인간의 학습을 능동적으로 형성하는 구별되고 정보적인 신호라는 첫 번째 체계적 증거를 제공한다고 주장한다.

• 전통적 관점에 대한 도전: 본 연구의 결과는 학습이 오직 불일치를 통해서만 일어난다는 표준 RL 가설에 도전한다. 대신, "시행과 적중(trial-and-hit, 완벽한 예측)"은 보완적인 학습 메커니즘이 된다.
• 내재적 보상: 완벽한 예측은 외부 보상의 크기와 독립적으로 긍정적인 정서를 생성하는 내재적 보상처럼 보이며, 이는 아마도 불확실성의 성공적인 해결 때문일 것이다.
• 계산적 메커니즘: 본 연구는 뇌가 표준 PE와 제로 PE를 위해 병렬적인 잠재 신념 상태를 유지한다고 제안한다. 이 두 상태의 가중치($\omega$)는 환경적 불확실성과 개인적 특성(불확실성 인내력)에 의해 영향을 받는 유연한 제어 파라미터이다.
• 신경적 특이성: 제로 PE는 신념을 업데이트하기보다 안정시키는 역할을 하는 특정 신경 회로(P3-like 활동으로 반영됨)를 활용하며, 이는 예측이 성공했을 때 신념을 고착시키는(belief entrenchment) 메커니즘으로 작용한다.

결론적으로, 완벽하게 예측된 결과는 학습에 필수적이며, 특히 불확실성을 기피하는 개인들에게 신념을 안정시키고 불확실성을 줄이는 역할을 한다. 이는 완벽한 예측의 확인이 기대의 위반만큼이나 계산적으로 유의미하다는, 더 복잡한 학습 구조를 시사한다.