Reward changes the use and structure of predictive spatial maps

기술 요약: 보상이 예측적 공간 지도의 사용 및 구조를 변화시키는 방식

문제 및 동기
해마의 장소 세포(place-cell) 활동에서 나타나는 보상 관련 변화는 근본적인 모호성을 제시한다: 이것이 기존 공간 지도의 '사용 방식'이 변한 것인가(행동 정책 변화에 따른 샘플링 변화), 아니면 지도 자체가 '재형성'된 것인가(보상 의존적 가소성)? 기존 연구들은 장소 영역(place fields)이 보상 근처에 축적되거나 목표를 향해 이동한다는 것을 보여주었지만, 표준적인 행동 관찰은 이 두 메커니즘을 혼동한다. 왜냐하면 정책의 변화는 지도를 샘플링하는 데 사용되는 궤적과 감각적 이력(sensory histories)을 변화시키기 때문이다. 저자들은 "지도가 어떻게 사용되는가"와 "지도가 어떻게 다시 쓰여지는가"를 구분하는 것이 해마 코딩을 이해하는 데 필수적이라고 주장한다. 특히 서셉터 표현(successor representation)과 같은 예측 프레임워크 내에서는, 파라미터의 변화 없이도 정책의 변화가 상태 점유 예측을 본질적으로 변화시키기 때문이다.

방법론
저자들은 이러한 기여도를 분리하기 위해 두 가지 경로를 가진 계산 모델을 구축하였다:

1. 예측 순환 신경망 (Phase A): 512개의 은닉 유닛을 가진 순환 신경망(RNN)이 현재의 관측값과 행동으로부터 다음 자기중심적 감각 관측값(시야 내 객체 벡터 및 벽과의 거리)을 예측하도록 학습한다. 이 네트워크는 보상이나 목표 신호 없이 오직 감각 예측만을 통해 공간 표현(장소 세포와 유사한 튜닝)을 발달시킨다.
2. 목표 조건부 컨트롤러 (Phase B): RNN의 은닉 상태와 명시적으로 제공된 외적 목표 변위 벡터(allocentric goal-displacement vector)를 결합하여 행동을 선택하는 액터-크리틱(actor-critic) 강화 학습 컨트롤러가 하위에 추가된다. 컨트롤러는 PPO를 사용하여 보상된 위치에 도달하도록 훈련된다.
3. 실험적 대조군:
   • 행동 대조: 학습 전 탐색(무작위 보행) 시의 레이트 맵(rate maps)과 학습 후 목표 지향적 행동 시의 레이트 맵을 비교한다. 여기서 네트워크 파라미터와 샘플링된 궤적이 모두 달라진다.
   • 고정 궤적 재생 (Fixed-Trajectory Replay): 파라미터 의존적 변화를 격리하기 위해, 저자들은 학습 전과 후에 저장된 동일한 탐색적 관측-행동 궤적을 네트워크에 재현(replay)하였다. 이는 위치, 헤딩, 감각 이력을 일정하게 유지함으로써, 학습된 파라미터에 의해서만 발생하는 변화를 격리한다.
   • 교수 신호 (Teaching Signals): 모델은 "보상 근접 교수 신호"(보상까지의 거리에 대한 매끄러운 함수를 예측하도록 훈련된 보조 디코더)의 역할과 순환 가소성의 역할(가소성이 있는 경우와 거의 경직된 가중치를 가진 경우의 비교)을 테스트하였다.
   • 비교: 모델은 쥐의 보상 누락 및 보상 재배치 실험에서 얻은 실험 데이터와 비교되었다.

주요 결과

• 샘플링과 가소성의 분리: 목표 지향적 행동은 보상 근처에 장소 영역이 강하게 집중되는 현상을 만들어냈다. 그러나 고정 궤적 재생 결과, 파라미터 의존적 변화는 유의미하게 작았으며(행동적 변화의 약 16~19%만을 유지), 더 가변적이었다. 이는 행동 중에 관찰되는 장소 영역의 집중 대부분이 지도의 대대적인 재배선(rewiring)이 아니라, 기존 지도를 사용하는 방식의 변화(정책 변화)에서 기인함을 나타낸다.
• 교수 신호의 역할: 학습 목적 함수에 보상 근접 교수 신호를 추가했을 때, 고정 궤적 재생 하에서의 파라미터 의존적 변화가 더 커졌고 보상을 향해 더 일관되게 방향을 잡았다. 이는 가소성이 지도를 변화시킬 수는 있지만, 그 변화를 보상 쪽으로 신뢰성 있게 유도하기 위해서는 특정 교수 신호가 필요함을 시사한다.
• 가소성의 역할: 순환 가소성을 제한(경직된 가중치에 가까운 상태)했을 때 파라미터 의존적 변화가 한 자릿수 차이로 감소하였으며, 이는 교수 신호가 변화를 유도하더라도 지도가 재조직되기 위해서는 가소성이 필수적임을 확인시켜 준다.
• 재배치 역학: 보상이 재배치되었을 때, 목표 관련 방향 튜닝(directional tuning)은 장소 영역의 정점(peak) 위치보다 더 완전히 적응하였다. 장소 영역의 정점은 이전에 학습된 보상 위치의 영향을 유지한 반면, 영역의 전체적인 질량(mass)은 새로운 목표로 재중심화되었다. 이는 방향 튜닝은 빠르게 업데이트될 수 있는 반면 정점 위치는 역사적 영향을 보유할 수 있다는 해리(dissociation)를 시사한다.
• 보상 철회: 환경적 보상과 근접 교수 신호를 모두 철회하면, 보상 근처에서 학습된 장소 영역의 집중 현상이 역전되어 기초선(baseline)으로 돌아갔다. 이는 보상 관련 조직화가 영구적으로 "고정"된 것이 아니라, 이러한 신호들에 의해 능동적으로 유지되고 있음을 보여준다.
• 데이터와의 비교: 모델은 장소 영역의 축적, 보상 누락 시 조직화 상실, 재배치 시 장소 고정 반응과 보상 상대적 반응의 공존 등 해마의 보상 코딩의 특징들을 질적으로 재현하였다. 그러나 모델은 보상 철회 시 실험 데이터에 비해 맵의 신뢰도 감소 폭이 작게 나타났는데, 이는 모델이 특정 메커니즘은 포착하지만 다른 메커니즘(예: 잠재 상태 추론)은 부족할 수 있음을 시사한다.

의의 및 주장
본 논문은 예측적 공간 지도의 행동적 발현과 보상 의존적 학습에 의한 수정 사이를 구분하는 구체적인 프레임워크를 제공한다고 주장한다.

• 메커니즘적 구별: 결과는 보상이 분리 가능한 메커니즘을 통해 예측적 공간 지도에 영향을 미친다는 견해를 뒷받침한다: 즉, 목표 정보는 기존 지도가 어떻게 사용되는지(샘플링)를 바꾸고, 보상 관련 교수 신호는 지도 자체를 재형성(가소성)한다.
• 예측 코딩: 이 연구는 감각 예측이 보상 이전에 공간 표현을 확립할 수 있으며, 이것이 목표 지향적 항해를 위해 동원될 수 있음을 보여준다. 지도는 전체적인 조직을 유지하면서 행동적 요구에 의해 형성된다.
• 한계: 저자들은 모델이 회로 모델이 아닌 계산적 추상화임을 명시적으로 밝힌다. 모델은 목표 변위 신호와 외부에서 정의된 근접 교수 신호를 가정하며, 이를 경험으로부터 직접 학습하지 않는다. 또한 모델은 보상 누락 실험에서 보이는 것처럼 보상 활동의 역방향 진행(backward progression)이나 맵의 완전한 불안정화를 재현하지 못한다.
• 향 향후 방향: 논문은 향후 실험이 보상 정보, 가소성, 행동을 분리하는 데 집중해야 한다고 제안한다. 예를 들어, VTA/LC와 같은 카테콜아민성 입력을 조작하여, 보상 관련 교수 신호를 억제하는 것이 항해 능력을 저해하는 것보다 장소 영역의 집중을 더 많이 줄이는지 테스트하는 식이다. 또한 시스템이 감각 이력만으로 목표를 발견하고 교수 신호를 스스로 구축할 수 있는지 테스트할 것을 촉구한다.