Adaptive integration of model-based and model-free strategies in human reinforcement learning of reachable space

이 연구는 인간이 도달 가능한 공간에서 장애물을 우회하는 행동을 학습할 때, 상태의 친숙도와 목표와의 거리, 그리고 촉각 피드백에 따라 계획 기반 (모델 기반) 전략에서 반사적 (모델 프리) 전략으로 적응적으로 전환하며, 이는 가상 항해 과제보다 도달 공간에서 더 강한 모델 프리 의존성을 보인다는 것을 밝혀냈습니다.

핵심

이 논문은 우리가 손으로 사물을 잡거나 장애물을 피할 때 뇌가 어떻게 학습하는지에 대한 흥미로운 연구를 담고 있습니다. 복잡한 과학 용어 대신, 일상적인 비유를 들어 쉽게 설명해 드릴게요.

🎮 핵심 내용: "지도 보는 사람" vs "습관대로 움직이는 사람"

우리가 새로운 미로 (미로 게임) 를 통과할 때, 뇌는 크게 두 가지 방식으로 작동합니다.

1. 지도 보는 사람 (모델 기반, Model-Based):

   • 비유: 미로 전체 지도를 머릿속에 그리고, "여기서 오른쪽으로 가면 벽이야. 왼쪽으로 가면 목표지점에 가까워지겠네"라고 계산하고 계획을 세우는 방식입니다.
   • 특징: 유연하고 똑똑하지만, 매번 계산하느라 시간이 많이 걸리고 뇌가 피곤해집니다.

2. 습관대로 움직이는 사람 (모델 프리, Model-Free):

   • 비유: "아, 어젯밤에 여기서 왼쪽으로 갔더니 성공했어! 그럼 오늘도 왼쪽으로 가자!"라고 과거의 성공 경험을 반복하는 방식입니다.
   • 특징: 계산이 필요 없어 매우 빠르고 자동화되지만, 환경이 바뀌면 (예: 갑자기 벽이 생김) 적응이 느립니다.

---

🔍 이 연구가 발견한 놀라운 사실들

연구진은 참가자들에게 로봇 손잡이를 이용해 가상 미로를 통과하게 했습니다. 이때 두 가지 조건을 만들었습니다.

• 눈 + 손 조건: 미로의 벽과 손의 위치를 눈으로 볼 수 있음.
• 손만 조건: 미로와 손의 위치를 볼 수 없고, 오직 손끝의 느낌 (촉각) 만으로 미로를 탐색해야 함.

1. 처음엔 '지도', 나중엔 '습관'

처음 미로를 시작할 때는 누구나 **지도 보는 방식 (계산)**을 사용합니다. 하지만 미로를 여러 번 통과할수록 뇌는 점점 **습관 방식 (자동화)**으로 전환합니다.

• 비유: 처음에는 낯선 길을 가는데 "지도 앱으로 경로를 검색하고, 신호등 몇 개를 지나고..."라고 생각하다가, 몇 번 지나고 나면 "아, 이 길은 그냥 직진하면 돼"라고 무의식적으로 운전하는 것과 같습니다.
• 발견: 심지어 미로가 처음부터 다 보였을 때도 (눈 + 손 조건), 뇌는 계산의 피로함을 줄이기 위해 나중에는 습관 방식을 더 많이 사용했습니다.

2. '손'으로 할 때 더 빨리 습관을 익힌다

가장 흥미로운 점은 시각 정보 (눈) 가 없을 때 (손만 조건) 참가자들이 습관 방식 (모델 프리) 을 훨씬 더 많이 사용했다는 것입니다.

• 이유: 손으로 움직이는 것은 걷는 것보다 훨씬 빠르고 에너지가 적게 듭니다. 따라서 "정확한 최적의 길"을 계산할 필요성이 줄어들고, "어제 성공했던 길"을 반복하는 것이 더 효율적이기 때문입니다.
• 비유: 걸어서 도시를 돌아다닐 때는 (내비게이션이 필요함) 정확한 경로를 계산하지만, 손가락으로 스마트폰 화면을 터치할 때는 (습관) "어디를 누르면 되는지"를 눈으로 확인하지 않고도 빠르게 누릅니다.

3. 빠른 사람일수록 '계산'을 덜 한다

연구 결과, 습관 방식 (모델 프리) 을 많이 사용한 참가자들이 미로를 더 빠르게 통과했습니다.

• 이유: 매번 "어디로 가야 하나?"라고 계산하지 않기 때문에, 손이 더 빠르게 움직일 수 있었습니다.
• 또 다른 발견: 계산 (지도 보기) 을 많이 한 사람들은 때때로 예상치 못한 벽에 부딪히기도 했지만, 습관대로 움직인 사람들은 "이미 성공했던 안전한 길"만 반복해서 부딪히는 일이 적었습니다.

---

💡 결론: 뇌는 상황에 맞춰 '전략'을 바꾼다

이 연구는 우리가 공간을 학습할 때 뇌가 단 하나의 방식만 쓰지 않는다는 것을 보여줍니다.

• 새로운 환경이나 복잡한 상황에서는 **지도 (계획)**를 펼쳐서 꼼꼼히 계산합니다.
• 익숙한 상황이나 손으로 빠르게 움직여야 할 때는 **습관 (자동화)**으로 전환하여 에너지를 아끼고 속도를 높입니다.

한 줄 요약:

"우리의 뇌는 미로를 풀 때, 처음엔 지혜로운 지도 제작자처럼 꼼꼼히 계획을 세우지만, 익숙해지면 빠른 달리기 선수처럼 습관대로 움직이며 에너지를 아낍니다. 특히 손으로 하는 작업에서는 이 '습관 모드'가 훨씬 더 강력하게 작동합니다."

이 연구는 우리가 일상생활에서 커피잔을 잡거나, 요리할 때 칼을 다루는 것처럼 손으로 하는 모든 숙련된 행동이 어떻게 뇌에서 학습되고 자동화되는지를 설명해 줍니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대부분의 숙련된 행동은 신체 주변 도달 가능 공간에서 발생합니다. 그러나 인간이 이 공간 내에서 장애물을 피하며 어떻게 학습하고 행동을 계획하는지에 대한 연구는 거의 이루어지지 않았습니다. 기존 연구는 단순한 환경에서의 운동 제어나 대규모 내비게이션 (navigation) 에 집중해 왔습니다.
• 문제: 도달 가능 공간 학습에서 MB(환경의 내부 모델을 구축하여 계획) 와 MF(경험을 통해 가치 함수를 캐싱) 전략의 상대적 기여도가 어떻게 진화하는지, 그리고 내비게이션과 같은 대규모 공간 학습과 어떤 차이가 있는지 불명확합니다. 또한, 기존 하이브리드 모델은 학습 과정에서 전략의 가중치가 고정되어 있다고 가정하는 경우가 많아, 학습 중 발생하는 동적인 전략 전환을 포착하지 못했습니다.

2. 방법론 (Methodology)

• 실험 과제: 새로운 로봇 미로 과제를 개발하여 사용했습니다. 참가자는 로봇 핸들을 조작하여 가상 공간의 공 (sphere) 을 목표 지점까지 이동시키며 장애물 (블록) 을 피해야 했습니다.
  • 시각 - 촉각 조건 (Visual-Haptic): 미로 구조와 손의 위치가 시각적으로 모두 노출됨.
  • 촉각 조건 (Haptic): 미로 구조와 손의 위치가 가려져 있으며, 장애물 접촉 시에만 촉각 (힘) 피드백을 받음. (인지 지도를 경험으로 구축해야 함)
• 참가자: 각 조건별 18 명씩 총 36 명. 각 미로에서 10 회씩 총 25 개의 미로에서 학습 수행.
• 모델링 접근법:
  • MB 알고리즘: 상태 전이 확률 (Transition Probability) 을 학습하고, 가치 반복 (Value Iteration) 을 통해 최적 경로를 계획.
  • MF 알고리즘: Q-learning 및 자격 흔적 (eligibility traces) 을 사용하여 행동 가치를 경험에 따라 업데이트.
  • 하이브리드 모델: MB 와 MF 전략을 결합한 세 가지 모델 비교.
    • HC (Hybrid-Constant): 고정된 가중치로 두 전략을 혼합.
    • HD (Hybrid-Dynamic): 시도 횟수 (trial number) 에 따라 MF 가중치가 로그 함수로 변화.
    • HS (Hybrid-Stepwise): 각 행동 단계 (step) 마다 독립적인 MF 가중치를 허용 (가장 정교한 모델).
  • 비교 분석: 기존에 출판된 가상 현실 내비게이션 데이터 (de Cothi et al.) 와 동일한 미로 구조를 사용하여 도달 가능 공간 학습과 내비게이션 학습을 직접 비교.

3. 주요 결과 (Key Results)

• 전략의 동적 전환: 참가자들은 학습 초기에는 MB 전략을 주로 사용하다가, 학습이 진행됨에 따라 MF 전략으로 점진적으로 전환했습니다. 이는 미로가 처음부터 완전히 보이는 조건 (Visual-Haptic) 에서도 관찰되었으며, 환경 모델의 불확실성뿐만 아니라 MB 계획의 계산 비용이 전환을 주도함을 시사합니다.
• 상황에 따른 전략 의존도:
  • 시각 정보 부재: 촉각 조건 (Visual 정보 없음) 에서 MF 의존도가 시각 - 촉각 조건보다 유의하게 높았습니다.
  • 상태 친숙도 및 거리: MF 가중치는 현재 상태에 대한 방문 횟수 (친숙도) 가 많을수록, 그리고 목표까지의 거리 (Manhattan distance) 가 멀수록 증가했습니다. 이는 불확실성이 높은 상태 (먼 거리, 낯선 상태) 에서는 MB 계획이, 익숙한 상태에서는 MF 습관이 더 효율적임을 보여줍니다.
• 행동 지표와의 상관관계:
  • 속도: MF 전략에 더 의존하는 참가자들이 미로 통과 속도가 더 빨랐습니다. 이는 MB 계획의 계산 부하를 줄여 실시간 실행 속도를 높였음을 의미합니다.
  • 충돌: MF 의존도가 높은 참가자들은 장애물과의 접촉 (충돌) 이 적었습니다. 이는 MF 가 이전에 성공한 행동을 반복하여 보수적인 경로를 선택하기 때문으로 해석됩니다.
• 내비게이션 vs 도달 가능 공간: 동일한 미로 구조를 사용한 내비게이션 과제와 비교했을 때, 도달 가능 공간에서 MF 의존도가 유의하게 더 높았습니다. 이는 손의 움직임이 보행보다 biomechanical 비용이 낮아, 최적 경로를 찾기 위한 고비용 MB 계획의 필요성이 상대적으로 낮기 때문으로 분석됩니다.
• 모델 성능: 단일 MF 알고리즘은 무작위 탐색 수준에 머무르거나 목표 도달에 실패하는 경우가 많았으나, MB 와 MF 가 협력하는 하이브리드 모델 (특히 HS 모델) 은 인간의 수행도와 유사한 높은 성공률과 최적 경로를 보였습니다. 초기 MB 계획이 MF 가치 함수를 '스캐폴딩 (scaffolding)'하여, 이후 MF 가 이를 모방 (imitate) 하여 효율적인 행동을 선택하는 구조로 작동했습니다.

4. 주요 기여 (Key Contributions)

1. 도달 가능 공간 학습의 규명: 일상생활의 숙련된 행동이 발생하는 도달 가능 공간에서의 강화 학습 메커니즘을 최초로 체계적으로 분석했습니다.
2. 동적 전략 통합 모델: 학습 과정에서 MB 와 MF 전략의 가중치가 고정되지 않고, 상태 친숙도, 목표 거리, 감각 입력 유무에 따라 단계별 (step-wise) 로 동적으로 조정됨을 입증했습니다.
3. 효기 시스템 (Effector System) 의 영향: 공간 학습의 계산 아키텍처가 보편적이지만, 특정 효과기 시스템 (손 vs 다리/보행) 의 비용과 제약 조건에 따라 MB/MF 균형이 보정됨을 보여주었습니다. 즉, 손 움직임은 비용이 낮아 MF 전략을 더 선호하는 경향이 있습니다.
4. 행동 - 계산 상관관계: MF 전략 의존도가 높을수록 이동 속도가 빨라지고 충돌이 줄어든다는 행동적 증거를 제시하여, MB 가 '느린 계획', MF 가 '빠른 자동화'임을 실증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 인간이 복잡한 환경에서 행동을 학습할 때, 불확실성과 계산 비용의 트레이드오프에 따라 MB 와 MF 전략을 유연하게 전환한다는 것을 보여줍니다. 특히, 도달 가능 공간에서의 학습이 대규모 내비게이션과 질적으로 유사하지만, 효과기의 물리적 특성에 따라 양적으로 다른 전략적 균형을 가진다는 점을 밝혔습니다.

이러한 발견은 뇌의 해마 (내비게이션/MB) 와 기저핵/운동 피질 (습관/MF) 간의 상호작용을 이해하는 데 중요한 통찰을 제공하며, 파킨슨병이나 강박장애와 같은 신경학적 질환에서 운동 학습 및 의사결정 장애를 연구하는 새로운 패러다임을 제시합니다. 또한, 로봇 공학 및 인공지능 분야에서 인간과 유사한 적응적 운동 제어 시스템을 설계하는 데 이론적 기반을 마련합니다.