Trial-by-Trial Behavioral Adaptation in a Restless Bandit Task: A Mixed-Effects Modeling Approach

우리는 매일도 변하지 않는 세상 속에서 선택을 하며 살아갑니다. 오늘 아침에는 최고의 선택이었던 커피숍이 내일은 붐빌 수도 있고, 어제는 빨랐던 출근길이 오늘은 막혀 있을 수도 있습니다. 이처럼 변화하는 풍경을 헤쳐 나가기 위해 우리의 뇌는 우리가 알고 있는 것을 끊임없이 업데이트하고 행동을 조정해야 합니다. 게임의 규칙이 바뀌는 와중에 경험으로부터 학습하는 이 과정은 우리가 어떻게 생각하고 결정하는지를 연구하는 과학자들에게 핵심적인 난제입니다. 연구자들이 이를 탐구하는 강력한 방법 중 하나는 '레스틀리스 밴딧(restless bandit)' 과업이라고 불리는 설정입니다. 네 대의 슬롯머신 앞에 앉아 있다고 상상해 보십시오. 표준적인 게임에서는 어떤 기계가 가장 많이 지급하는지 학습하여 그것을 고수할 수 있습니다. 하지만 '레스틀로스(restless)' 버전에서는 당신이 플레이하는 동안 기계들의 보상률이 변합니다. 방금 전까지 잘 지급하던 기계가 갑자기 멈출 수도 있고, 조용했던 다른 기계가 보상을 주기 시작할 수도 있습니다. 잘 해내기 위해서는 단순히 고정된 규칙에 의존하는 것이 아니라, 실시간으로 계속 관찰하고 배우며 선택을 조정해야 합니다.

연구자 에르판 자리푸르(Erfan Jaripour)의 새로운 연구는 사람들이 이러한 역동적인 도전에 어떻게 대처하는지를 새로운 시각으로 살펴봅니다. 이 연구는 사람들이 이러한 결정을 내릴 때 사용하는 숨겨진 정신적 수학을 추측하려 하는 대신, 실제로 관찰 가능하고 측정 가능한 것, 즉 사람들의 실제 선택, 그들이 얻은 보상, 반응 속도, 그리고 다른 옵션으로 주의를 전환하기로 결정한 시점에 온전히 집중합니다. 약 천 명의 사람들이 참여한 4지 선다형 게임의 방대한 데이터를 분석함으로써, 연구자는 행동이 매 순간 어떻게 변하는지를 정밀하게 그려냈습니다. 목표는 뇌의 복잡한 컴퓨터 모델을 구축하는 것이 아니라, 환경이 일정하게 유지되지 않을 때 인간의 의사결정이 어떻게 진화하는지에 대한 정밀한 통계적 초상화를 만드는 것이었습니다.

연구자는 총 139,000개 이상의 개별 선택을 수행한 965명의 참가자 데이터를 조사했습니다. 각 참가자는 네 가지 옵션 중 하나를 반복해서 골라야 하는 게임을 수행했습니다. 이 옵션들의 가치는 시간이 지남에 따라 변했으며, 변화의 패턴이 약간씩 다른 세 가지 버전의 게임이 준비되었습니다. 연구자는 네 가지 특정 요소를 추적했습니다: 현재 가장 많이 지급하는 옵션을 선택했는지 여부, 실제로 얻은 금액, 선택을 내리는 데 걸린 시간, 그리고 직전에 선택했던 것과 다른 옵션으로 전환했는지 여부입니다. 이 방대한 데이터를 이해하기 위해, 연구자는 모든 사람이 서로 다르다는 점을 고려할 수 있는 정교한 통계적 방법을 사용했습니다. 이 접근 방식은 집단 전체의 일반적인 추세를 보여주는 동시에, 각 개인이 변화하는 규칙에 적응하는 독특한 방식 또한 존중할 수 있게 해주었습니다.

가장 놀라운 발견은 사람들이 단순히 직선적이고 꾸준하게 게임 실력을 향상시키는 것이 아니라는 점이었습니다. 만약 누군가가 최선의 옵션을 선택할 확률을 시간에 따라 도식화한다면, 그 선은 일정한 각도로 올라가지 않을 것입니다. 대신 곡선을 그릴 것입니다. 연구 결과, 이 곡선의 모양은 플레이되는 게임의 특정 버전에 따라 크게 달라졌습니다. 한 버전의 게임에서는 최선의 옵션을 선택할 확률이 위쪽으로 휘어지는 경로를 따랐는데, 이는 가속화되는 꾸м 꾸준한 개선을 시사했습니다. 또 다른 버전에서는 경로가 아래쪽으로 휘어졌는데, 이는 사람들이 초기에 개선되기는 하지만, 최선의 선택을 고수하는 능력이 결국 정체되거나 다른 방식으로 변화함을 나타냈습니다. 이는 사람들이 적응하는 방식이 단일하고 보편적인 과정이 아니라, 그들이 처한 변화하는 환경의 구체적인 구조에 의해 깊이 형성된다는 것을 의미합니다.

또한 이 연구는 사람들이 어떻게 시작하고 어떻게 변화하는지에 있어서도 상당한 차이가 있음을 밝혀냈습니다. 일부 참가자들은 최선의 옵션을 선택하는 높은 경향성을 가지고 게임을 시작한 반면, 다른 이들은 더 낮은 상태에서 시작했습니다. 더 중요한 것은, 시간이 흐름에 따라 변화하는 방식이 개인마다 고유했다는 점입니다. 어떤 사람들은 초기에 빠르게 개선되었다가 속도가 느려지는 양상을 보였고, 다른 이들은 다른 패턴의 학습을 보여주었습니다. 통계 모델은 이러한 기초 성과와 학습의 속도 및 형태의 차이가 단순한 무작위 소음이 아니라 실제적이고 일관된 것임을 확인해주었습니다. 이는 인간이 적응하는 방식에는 일반적인 패턴이 존재하지만, 그 적응의 궤적은 매우 개인적인 경험이라는 점을 강조합니다.

다른 측정치들을 살펴보면 더욱 미묘한 차이를 알 수 있습니다. 사람들이 실제로 얻은 금액은 항상 그들의 선택 패턴과 일치하지는 않았습니다. 사람들이 최선의 옵션을 더 자주 선택하더라도, 게임 버전에 따라 그들이 받는 총 보상은 다른 방식으로 변할 수 있었습니다. 이는 변화하는 환경에서 '올바른' 선택을 하는 것과 높은 보상을 얻는 것이 서로 관련되어 있지만 별개의 결과임을 보여줍니다. 마찬가지로 의사결정 속도도 시간이 지남에 따라 변했습니다. 게임이 진행됨에 따라 사람들은 일반적으로 더 빨라졌으며, 선택을 내리는 데 걸리는 시간을 줄였습니다. 그러나 이러한 속도 향상은 어떤 버전의 게임을 하든 유사한 속도로 일어났는데, 이는 특정 선택 전략이 무엇이든 간에 의사결정을 수행하는 일반적인 숙련도는 모두에게 효율적으로 변했음을 시사합니다.

연구자는 또한 사람들이 얼마나 자주 선택을 바꾸는지도 살펴보았습니다. 일반적으로 사람들은 게임이 진행됨에 따라 선택을 덜 바꾸는 경향을 보였는데, 이는 사람들이 일정한 리듬에 안착하고 있음을 시사합니다. 그러나 선택을 멈추는 속도는 게임 버전에 따라 달랐습니다. 한 버전에서는 사람들이 다른 버전보다 훨씬 더 급격하게 선택 전환을 줄였습니다. 이는 환경 자체가 플레이어에게 현재의 선택을 고수할 것인지 아니면 새로운 것을 탐색할 것인지를 판단할 근거를 제공한다는 것을 나타냅니다. 연구는 이러한 패턴들이 사람들이 실제로 무엇을 했는지를 설명하지만, 그 이면에 숨겨진 정신적 메커니즘을 설명하는 것은 아니라고 주의 깊게 명시했습니다. 연구자는 사람들이 머릿속으로 무엇을 생각하고, 믿고, 계산하는지를 측정하지 않았습니다. 그들은 단지 출력값인 선택, 속도, 그리고 보상을 측정했을 뿐입니다.

이러한 구분은 매우 중요합니다. 이 연구는 역동적인 세상에서의 관찰 가능한 행동이 개인과 환경에 따라 복잡하고 비선형적인 패턴을 따른다는 것을 증명합니다. 적응은 단순한 직선적 향상이 아니라 곡선적이고 변화하는 과정임을 보여줍니다. 이러한 패턴을 정밀하게 지도화함으로써, 이 연구는 미래 연구를 위한 견고한 토대를 제공합니다. 과학자들은 이제 이러한 상세한 실제 행동 묘사를 사용하여 뇌가 어떻게 학습하는지에 대한 이론을 테스트할 수 있습니다. 그들은 특정 컴퓨터 학습 모델이 이 데이터에서 보이는 정확한 곡선과 변동을 재현할 수 있는지 물을 수 있습니다. 그때까지 이 연구는 인간의 행동이 주변 세계가 멈춰 서기를 거부할 때 어떻게 굽어지고 변화하는지에 대한 명확하고 정량적인 기술로서 남을 것입니다. 이 연구는 역동적인 세상에서 우리의 선택이 정적인 것이 아니라, 게임의 규칙과 플레이어의 고유한 마음 모두에 의해 형성되는, 지속적이고 진화하는 적응의 춤이라는 것을 확인시켜 줍니다.