Emotional Context Changes Segment Memory, Predictions Determine Its Strength

기술적 요약: 정서적 맥락 변화가 사건 분절을 유도하며, 예측이 그 강도를 결정한다

문제 및 동기
연속적인 경험을 이산적이고 의미 있는 단위로 나누는 능력을 사건 분절(event segmentation)이라 한다. 사건 분절 이론은 안정적인 맥락의 변화가 사건 경계 형성을 유도한다고 가정하지만, 정서적 맥락 변화와 예측 처리(predictive processing) 사이의 구체적인 상호작용은 아직 충분히 탐구되지 않았다. 기존 연구들은 정서적 전이(예: 중립에서 부정적 상태로의 변화)가 기억의 시간적 팽창(temporal dilation)을 유도할 수 있음을 입증했으며, 이는 분절 효과를 시사한다. 그러나 이러한 효과가 단순히 객관적인 맥락 변화에 의해 발생하는 것인지, 아니면 관찰자의 순간적인 예측에 의해 조절되는지는 불명확하다. 구체적으로, 다가올 정서적 전이와 일치하는 예측은 분절 효과를 약화시키고, 불일치하는 예측은 이를 증폭시키는가? 또한, 트레이트 불안(trait anxiety)과 같은 개인차가 이러한 예측 궤적과 후속 기억 구조를 형성하는 데 어떤 역할을 하는지에 대한 조사가 필요하다.

연구 방법
본 연구는 90명의 참가자(평균 연령 22.13세)를 대상으로 변형된 사건 분절 패러다임을 사용하여 중립적 이미지와 정서적(고각성 부정적) 이미지 시퀀스를 인코딩하게 하였다. 실험 설계는 12개의 블록으로 구성되었으며, 각 블록은 가변적인 길이(5, 6, 또는 7개의 이미지)를 가진 6개의 이벤트를 포함했다. 결정적으로, 블록 내 정서적 이벤트의 수와 순서는 의사 무작위화(pseudorandomized)되어, 정서적 맥락 변화가 발생할지 여부와 시점에 대한 불확실성을 생성하였다.

인코딩 단계(예측 과제) 동안, 참가자들은 이미지를 하나씩 보면서 부정적인 이미지가 곧 나타날 가능성이 얼마나 높은지를 4점 척도로 실시간 평가하였다. 이를 통해 동적인 예측 데이터를 수집할 수 있었다. 주의 분산 과제 이후, 참가자들은 시간적 기억 과제(Temporal Memory Task)를 수행하였다. 이 과제에서 참가자들은 이미지 쌍 사이의 시간적 거리(1~4점 척도)와 시간적 순서(어느 것이 먼저 나타났는지)를 판단하였다. 이미지 쌍은 다음과 같이 체계적으로 선택되었다:

1. 이벤트 내부 쌍: 동일한 이벤트 내의 이미지들 (중립-중립 또는 정서-정서).
2. 이벤트 간 쌍: 전이를 가로지르는 이미지들 (중립-중립 또는 중립-정서적).

정서적 판단(가치 및 각성도)은 인코딩 후에 수집되었다. 개인차는 상태-특성 불안 척도(STAI-T)와 수정된 삶의 방향성 검사(LOT-R)를 사용하여 측정되었다. 통계 분석에는 R의 선형 및 일반화 선형 혼합 효과 모델(LMMs/GLMMs)을 사용하였으며, 심층 신경망 특징(VGG-16 및 ResNet-50)을 사용하여 이미지 쌍 간의 의미론적 유사성을 통제하였다.

주요 결과

1. 정서적 타당성: 정서적 이미지는 중립적 이미지보다 유의미하게 더 불쾌하고 각성이 높은 것으로 평가되었다. 특성 불안은 이러한 주관적 평가를 조절하지 않았다.
2. 예측 역학: 부정성에 대한 참가자들의 예측은 이벤트 유형과 위치에 민감하게 반응했다.
   • 중립 이벤트 동안: 부정성에 대한 예측은 이벤트가 진행됨에 따라 선형적으로 증가하였는데, 이는 다가올 정서적 전이에 대한 불확실성이 커짐을 반영한다. 이러한 경향은 특성 불안이 높은 참가자들에게서 유의미하게 더 가파르게 나타났다.
   • 정서적 이벤트 동안: 예측은 역 U자형 패턴을 보였다. 즉, 초기에 증가했다가 감소하였는데, 이는 참가자들이 정서적 이벤트가 진행됨에 따라 중립 상태로의 복귀를 예상했음을 시사한다.
   • 예측 반응 시간은 이벤트 전반에 걸쳐 U자형 패턴을 보였으며(시작과 종료 시점에서 느려짐), 이는 이벤트 모델 업데이트와 증가하는 불확실성을 나타낸다.
3. 시간적 거리를 통한 분절:
   • 맥락 변화: 중립-정서 전이는 유의미한 시간적 팽창을 유도했다(참가자들이 이벤트 간 쌍을 이벤트 내 쌍보다 시간적으로 더 멀다고 판단함). 반면, 중립-중립 전이는 유의미한 시간적 팽창을 일으키지 않았으며, 이는 안정적인 맥락이 이 패러다임에서 분절을 유발하지 않음을 나타낸다.
   • 예측에 의한 조절: 시간적 팽창의 크기는 예측에 의해 조절되었다. 중립-정서 전이 이전에 부정성에 대한 예측이 높았을 때(즉, 변화가 예측과 일치할 때), 시간적 팽창 효과는 감소했다. 반대로, 불일치하는 예측은 분절 효과를 증폭시켰다.
   • 예측 단독 효과: 정서적 맥락 변화가 없는 상태에서의 예측 오류(예: 중립-중립 전이 중 부정성을 예측함)는 시간적 팽창을 유도하지 않았다.
4. 시간적 순서 정확도: 일반적으로 경계가 순서 기억을 저해한다는 분절의 일반적 결과와 달리, 중립-정서 전이는 중립-중립 전이보다 더 높은 시간적 순서 정확도를 보였다. 이는 정서적 현저성(salience)이 순서 기억을 지원하여, 경계로 인한 저해 효과를 상쇄할 수 있음을 시사한다. 예측 일치 여부는 순서 정확도를 유의미하게 조절하지 않았다.
5. 개인차: 특성 불안은 예측의 궤적(예: 고불안 개인이 중립 이벤트에서 정서적 전이를 더 많이 기대함)에는 영향을 미쳤으나, 시간적 기억 결과에 대한 분절 효과를 유의미하게 조절하지는 않았다.

의의 및 주장
저자들은 본 연구 결과가 맥락 기반 설명과 예측 기반 설명을 화해시킨다고 주장한다. 본 연구는 정서적 맥락 변화가 기억 분절의 주요 동인임을 입증하였으며, 이는 시간적 팽창을 통해 확인되었다. 그러나 예측은 이 분절의 강도(크기)를 결정한다. 맥락 변화가 예측되었을 때 분절 효과는 약화되는데, 이는 다가올 맥락이 능동적으로 표상되어 현재의 맥락과 결합함으로써 지각된 시간적 거리를 줄이기 때문인 것으로 보인다. 반면, 변화가 예상되지 않았을 때 분절 효과는 증폭된다.

결정적으로, 본 논문은 예측만으로는 이벤트 경계를 생성하기에 불 충분하며, 예측 오류가 실제 외부 맥락의 변화와 동반되어야만 분절을 유발할 수 있다고 주장한다. 시간적 거리(분절)와 시간적 순서 정확도(정서적 현저성에 의해 강화됨) 사이의 해리(dissociation)는 이 두 척도가 에피소드 기억 조직의 서로 다른 측면을 포착하고 있음을 시사한다. 결론적으로, 에피소드 기억의 구조는 우리가 마주하는 맥락적 변화와 우리가 지니고 들어가는 예측 사이의 역동적인 상호작용에 의해 형성된다.