Transition from model-free to structure-informed decision making in dynamic environments

생명체가 선택을 내리는 광활한 풍경 속에서, 과학자들은 오랫동안 세상을 탐색하는 두 가지 근본적인 방식의 차이를 구분해 왔습니다. 한 가지 접근 방식은 즉각적이고 반응적입니다. 동물은 특정 행동이 보상으로 이어진다는 것을 학습하고, 왜 그것이 효과가 있는지 반드시 이해하지 못한 채 그 행동을 반복합니다. 이는 어떤 일을 하는 것과 좋은 것을 얻는 것 사이의 단순한 연관성에 기반을 둔 습관의 전략입니다. 다른 접근 방식은 더 사려 깊고 의도적입니다. 동물은 세상이 어떻게 구조화되어 있는지에 대한 내부 지도를 구축하며, 어떻게 한 사건이 다른 사건을 유발하는지, 그리고 서로 다른 선택들이 보상을 얻을 확률을 어떻게 변화시키는지 이해합니다. 이것은 계획의 전략으로, 결정권자가 규칙에 대한 지식을 사용하여 행동을 안내하는 방식입니다. 수년 동안 연구자들은 동물이 과제를 오랫동안 연습함에 따라, 이 사려 깊은 계획 단계에서 점차 단순하고 자동적인 습관으로 서서히 옮겨갈 것이라고 믿었습니다. 이 아이디어는 충분한 반복이 이루어지면 뇌가 계산을 멈추고 근육 기억에 의존하기 시작할 것이라는 점을 시사했습니다.

한 연구팀은 쥐들이 복잡한 의사결정 과제를 학습하는 과정을 관찰함으로써 이 가설을 테스트하기로 결정했는데, 여기에는 중요한 반전이 있었습니다. 그들은 동물이 전문가가 될 때까지 기다리는 대신, 학습 과정의 아주 초기 단계를 주목했습니다. 쥐들은 보상을 찾기 위해 일련의 선택을 해야 하는 상황에 놓였습니다. 환경은 까다로웠습니다. 보상으로 가는 경로는 항상 직선적인 것은 아니었습니다. 때때로 어떤 선택은 예상대로 다음 단계로 직접 이어졌지만, 또 다른 때는 경로가 예상치 못한 방향으로 꺾이기도 했습니다. 게다가 경로 끝에서 보상을 발견할 가능성은 고정되어 있지 않았고, 시간이 지남에 따라 변했기에 쥐들은 끊임없이 기대를 업데이트해야 했습니다. 연구자들은 쥐들이 훈련 세션을 거치는 동안 그들의 행동을 면밀히 관찰하며, 동물들이 단순히 과거의 보상에 반응하고 있는 것인지, 아니면 과제의 숨겨진 구조를 이해하기 시작한 것인지를 추적했습니다.

결과는 기존의 관점에 도전하는 놀라운 패턴을 드러냈습니다. 쥐들이 연습을 거듭함에 따라, 그들의 행동은 단순히 습관을 형성하는 것과는 다른 방식으로 변화했습니다. 쥐들이 경로가 예상치 못한 방향으로 꺾이는 상황에 직면했을 때, 그들은 경로가 예상대로 진행되었을 때와는 다르게 미래의 선택을 조정했습니다. 이러한 행동의 분기는 동물들이 과업의 구조에 대한 지식을 사용하여 결정을 내리기 시작했다는 명확한 신호입니다. 연구자들은 다양한 학습 스타일의 수학적 모델을 쥐의 행동에 대입해 본 결과, 쥐들이 이러한 구조적 지식을 사용하는 전략에 점점 더 의존하고 있다는 것을 발견했습니다. 이러한 변화는 쥐들이 과제에 상당한 시간을 할애하기 훨씬 전인, 훈련 과정의 초기에 일어났습니다.

이 발견은 단순하고 반응적인 학습에서 복잡하고 구조를 파악하는 의사결정으로의 전환이 이전에 생각했던 것보다 훨씬 더 빨리 일어난다는 점을 시사합니다. 이전의 연구들은 동물이 오랫동안 연습한 후에 일어나는 현상에 집중하며, 뇌가 결국 생각을 멈추고 자동 조종 모드로 행동하게 된다고 결론짓곤 했지만, 이 새로운 연구는 뇌가 거의 즉시 규칙에 대한 정신적 모델을 구축하기 시작한다는 것을 보여줍니다. 쥐들은 습관이 들 때까지 기다렸다가 게임을 이해하기 시작한 것이 아니라, 과거의 보상에만 의존하는 것에서 빠르게 벗어나 과제가 어떻게 구성되어 있는지에 대한 이해를 사용하여 더 나은 선택을 하기 시작했습니다. 이는 규칙과 보상이 변할 수 있는 역동적인 환경에서, 구조를 이해하는 능력이 뇌가 조기에, 그리고 자주 활용하는 주요 생존 도구임을 입증합니다.