Dynamic distortion of inferred reward probability shapes choice over time

이 연구는 시간 경과와 보상 확률에 대한 불확실성 하에서 선택이 어떻게 이루어지는지 규명하며, 추론된 보상 확률의 체계적 왜곡과 보상 기반의 시간 정밀도 조절이라는 두 가지 상호작용 원리가 시간과 보상을 추론해야 하는 상황에서의 행동을 형성함을 보여줍니다.

핵심

🎮 게임의 설정: "시간에 따른 보상의 미스터리"

상상해 보세요. 여러분이 어떤 게임을 하고 있다고 칩시다.

1. 시작 신호 (Set): 화면에 빨간불이 켜집니다.
2. 종료 신호 (Go): 잠시 후 초록불이 켜집니다. 이 '빨간불'과 '초록불' 사이의 시간이 매번 무작위로 바뀝니다.
3. 선택: 초록불이 켜지면, 여러분은 **'왼쪽 버튼'**을 누를지 **'오른쪽 버튼'**을 누를지 즉시 결정해야 합니다.

여기서 중요한 규칙은 다음과 같습니다:

• 빨간불이 켜진 지 0.4 초 뒤 (초반): 왼쪽 버튼을 누르면 보상을 받을 확률이 매우 높고, 오른쪽은 매우 낮습니다.
• 빨간불이 켜진 지 1.4 초 뒤 (후반): 상황이 반전됩니다. 오른쪽 버튼이 매우 유리해지고, 왼쪽은 불리해집니다.
• 중간 지점: 어느 시점에서는 왼쪽과 오른쪽의 보상 확률이 정확히 50:50 이 됩니다.

이 게임의 목표는 **"지금 시간이 얼마나 지났는지"**를 내적으로 추정하고, 그 시간에 따라 **"어떤 버튼을 누르면 보상을 받을 확률이 높은지"**를 계산하여 최적의 선택을 하는 것입니다.

---

🔍 연구자가 발견한 두 가지 놀라운 사실

사람들은 이 게임을 잘 해냈지만, 완벽하게 계산된 로봇처럼 행동하지는 않았습니다. 연구자들은 사람의 뇌가 이 문제를 해결할 때 두 가지 독특한 방식을 사용한다는 것을 발견했습니다.

1. "확률의 왜곡": 내면의 나침반이 약간 휘어있다 (Dynamic Distortion)

보통 우리는 "보상 확률이 80% 라면 80% 확률대로 행동한다"고 생각하기 쉽습니다. 하지만 이 연구에 따르면, 사람들의 뇌는 확률을 직선적으로 받아들이지 않습니다.

• 비유: 마치 왜곡된 거울을 통해 세상을 보는 것과 같습니다.
  • 확률이 아주 낮을 때는 (예: 10%), 뇌는 "아, 이건 거의 불가능한 일이야"라고 생각해서 실제보다 더 낮게 평가합니다.
  • 확률이 아주 높을 때는 (예: 90%), 뇌는 "이건 거의 확실한데!"라고 생각해서 실제보다 더 높게 평가합니다.
  • 하지만 **중간 구간 (50% 근처)**에서는 이 왜곡이 줄어들며, 사람들은 "어느 쪽이든 비슷해"라고 생각하다가도, 조금이라도 유리한 쪽으로 확신 있게 선택하려는 경향을 보입니다.

연구자들은 이 현상을 **"로그-오즈 (Log-odds) 공간에서의 선형 변환"**이라고 불렀는데, 쉽게 말해 **"뇌가 확률을 계산할 때, 극단적인 값은 더 극단적으로, 중간 값은 더 확신 있게 해석하는 특유의 필터"**를 쓴다는 뜻입니다. 이 필터 덕분에 사람들은 완벽한 계산은 못 하더라도, 보상을 최대화하는 방향으로 효율적으로 선택을 했습니다.

2. "시간의 흐림": 보상이 중요한 순간에는 시간이 더 선명하다 (Reward-based Temporal Precision)

두 번째 발견은 우리가 시간을 어떻게 느끼는지에 관한 것입니다.

• 기존의 생각 (웨버의 법칙): "시간이 오래 지날수록, 우리는 시간을 더 흐릿하게 느낀다." (예: 1 초를 재는 것보다 10 초를 재는 게 더 부정확하다.)

• 이 연구의 발견: "시간이 얼마나 지났는지가 중요한 게 아니라, 그 시간에 보상이 얼마나 큰지가 시간을 흐리게 만드는지 선명하게 만드는지 결정한다."

• 비유: 카메라의 초점을 생각해 보세요.

  • 보상이 아주 큰 순간 (예: 90% 확률로 당첨되는 순간) 에는 카메라의 초점이 정말 선명하게 맞춰집니다. 뇌는 "지금 이 순간이 중요해!"라고 생각해서 시간을 정밀하게 측정합니다.
  • 반면, 보상이 거의 없는 순간 (예: 10% 확률) 에는 카메라의 초점이 흐릿해집니다. 뇌는 "이때는 뭐가 되든 상관없지"라고 생각해서 시간을 대충 측정합니다.

즉, 우리의 시간 감각은 시계 바늘의 움직임에 따라 변하는 것이 아니라, 그 순간에 기대되는 보상에 따라 변한다는 것입니다.

---

💡 결론: 우리는 어떻게 살아남는가?

이 연구는 우리의 뇌가 **"시간"**과 **"보상"**이라는 두 가지 불확실한 정보를 동시에 처리할 때, 다음과 같은 지혜를 발휘한다고 말합니다.

1. 확률을 완벽하게 계산하지 않는다: 대신, 보상을 극대화하는 방향으로 확률을 적절히 왜곡하여 빠르게 결정합니다. (완벽한 수학자보다는 현명한 전략가)
2. 시간을 기계적으로 재지 않는다: 보상이 중요한 순간에는 시간을 정밀하게 재고, 중요하지 않은 순간에는 대충 재서 에너지를 아낍니다. (효율적인 자원 관리자)

한 줄 요약:

"우리의 뇌는 시간을 재는 시계가 아니라, 보상을 노리는 사냥꾼입니다. 중요한 순간에는 시간을 예리하게 포착하고, 확률을 계산할 때는 완벽함보다 효율적인 선택을 위해 약간의 왜곡을 감수합니다."

이러한 원리는 우리가 일상생활에서 타이밍을 재고, 기회를 포착하며, 불확실한 상황에서 결정을 내리는 방식의 근본적인 메커니즘을 설명해 줍니다.

기술 요약

논문 개요

이 연구는 감각적 단서 (sensory evidence) 가 없는 상태에서 시간 경과에 따라 변화하는 보상 확률을 추론하여 선택을 내려야 하는 인간의 의사결정 메커니즘을 규명합니다. 기존 연구들이 시간 추정과 보상 추정을 분리하여 다루거나, 고정된 확률 하에서의 의사결정을 다뤘던 것과 달리, 본 연구는 시간과 보상 확률이라는 두 가지 잠재 변수 (latent variables) 에 대한 불확실성이 결합된 상황에서의 선택 원리를 제시합니다.

1. 연구 문제 (Problem)

• 배경: 많은 자연스러운 의사결정 (예: 포식자의 공격 타이밍, 사회적 응답의 적절성) 은 사건의 타이밍에 따라 보상이 달라집니다. 이 경우 에이전트는 감각적 입력 없이 내부적으로 경과 시간을 추정하고, 그 시간에 따른 보상 확률을 추론해야 합니다.
• 미해결 과제: 기존 계산 모델 (증거 축적 모델, 강화학습 등) 은 연속적인 감각 입력이 있거나 상태가 고정된 상황을 가정합니다. 그러나 본 연구와 같이 감각적 단서가 없고 보상 확률이 시간에 따라 동적으로 변하는 환경에서는, 시간 추정 불확실성이 어떻게 보상 추론과 결합되어 선택을 형성하는지 명확하지 않았습니다.
• 핵심 가설:
  1. 시간 불확실성의 원인: 시간 불확실성이 경과 시간 (Weber's law, $\sigma \propto t$) 에 비례하는지, 아니면 예상 보상 확률에 따라 조절되는지 (Reward-contingent) 를 비교합니다.
  2. 확률의 왜곡: 객관적인 보상 확률이 선택 확률로 매핑될 때, 고정된 확률 환경 (Prospect Theory 등) 에서와 유사한 체계적인 왜곡이 동적 추론 환경에서도 발생하는지 확인합니다.

2. 방법론 (Methodology)

• 실험 과제 (Set-Go Task):
  • 참가자는 'Set' 신호 후 'Go' 신호가 나타나는 시간 간격 (Go time, 0.4~1.4 초) 을 추론해야 합니다.
  • 'Go' 신호가 나타나면 왼쪽 또는 오른쪽 버튼을 선택해야 하며, 선택에 따른 즉각적인 금전적 보상 피드백을 받습니다.
  • 보상 구조: 4 가지 조건에서 좌/우 선택의 보상 확률이 Go time 에 따라 역동적으로 변화합니다 (왼쪽은 시간 증가에 따라 감소, 오른쪽은 증가). 두 확률의 합은 항상 1 입니다.
  • 최적 전략: 각 시간점에서 더 높은 보상 확률을 가진 옵션을 선택하는 것 (계단 함수 형태의 결정).
• 참가자 및 데이터: 12 명의 참가자가 총 31,931 회의 시도를 수행했습니다.
• 계산 모델링:
  1. DLLO (Dynamic Log-Odds Linear Operator) 모델: 객관적 보상 확률 $p(t)$를 선택 확률 $\pi(p(t))$로 매핑하는 변환을 로그-오즈 (log-odds) 공간에서 선형 변환으로 모델링했습니다.
     • 수식: $DLLO(\pi(p(t))) = \gamma Lo(p(t)) + (1-\gamma)Lo(p_0)$
     • $\gamma$ (기울기): 1 이면 객관적 확률과 일치 (mimicking), $\infty$이면 최적의 계단 함수 (step function) 에 수렴합니다.
     • $p_0$: 변환의 고정점 (crossover point).
  2. 시간 불확실성 모델 비교:
     • Temporal Blurring (Weber 법칙): 시간 불확실성 ($\sigma$) 이 경과 시간 $t$에 비례하여 증가 ($\sigma = \varphi t$).
     • Probabilistic Blurring (보상 의존성): 시간 불확실성 ($\sigma$) 이 보상 확률에 반비례 (보상이 높은 구간일수록 시간 추정이 정밀함).

3. 주요 결과 (Key Results)

• 행동 성능: 참가자들의 평균 보상률은 우연 수준 (0.5) 을 크게 상회하여 (약 0.70~0.72), 동적 보상 구조를 학습하고 활용했음을 보여줍니다. 하지만 최적의 계단 함수 전략을 완전히 따르지는 않았습니다.
• 보상 확률의 체계적 왜곡 (DLLO):
  • 참가자의 선택 확률은 객관적 보상 확률과 1:1 로 일치하지 않았습니다.
  • **로그-오즈 선형 변환 (DLLO)**이 데이터를 매우 잘 설명했습니다 (Adj. $R^2 \approx 0.99$).
  • 추정된 기울기 $\gamma$는 1.7~2.2 사이로, 1 보다 크지만 무한대 (최적) 는 아닌 중간 영역에 위치했습니다. 이는 참가자가 작은 확률은 과대평가하고 큰 확률은 과소평가하여 선택을 최적화 방향으로 왜곡하되, 극단적인 계단 함수까지는 가지 않는 전략을 취했음을 의미합니다.
  • 이 $\gamma$ 값은 기대 보상 (Expected Reward) 을 크게 향상시키는 "고수익 영역"에 해당합니다.
• 시간 불확실성의 보상 의존성:
  • Weber 법칙 (시간 의존성) 모델은 교차점 (crossover point) 과 선택 동역학을 잘못 예측했습니다.
  • 보상 의존성 (Probabilistic Blurring) 모델이 데이터를 가장 잘 설명했습니다. 즉, 시간 추정의 정밀도는 경과 시간이 아니라 해당 시간점의 예상 보상 확률에 의해 결정되었습니다 (보상이 높은 구간일수록 시간 추정이 더 정밀함).
• 교차점 이동 ($p_0$): 주관적인 교차점은 객관적인 0.5 에서 약간 이동했으나, 이는 전체 기대 보상에 큰 영향을 미치지 않았습니다. 이는 시간 추정의 편향이나 내부 기준점의 영향을 반영하는 것으로 해석됩니다.

4. 주요 기여 (Key Contributions)

1. 이중 불확실성 하의 선택 프레임워크 정립: 시간 추정 불확실성과 보상 확률 추론이 결합된 환경에서 선택이 어떻게 이루어지는지를 계산적으로 공식화했습니다.
2. 동적 확률 왜곡의 발견: 고정된 확률이 아닌, 시간으로부터 추론된 동적 보상 확률에서도 체계적인 왜곡 (로그-오즈 선형 변환) 이 발생함을 증명했습니다. 이는 기존 Prospect Theory 를 동적 추론 영역으로 확장한 것입니다.
3. Weber 법칙의 반박 및 새로운 시간 불확실성 원리 제시: 시간 불확실성이 단순히 경과 시간에 비례하는 것이 아니라, 보상 기대치 (behavioral relevance) 에 의해 조절됨을 행동 데이터와 모델링을 통해 입증했습니다. 이는 뇌가 중요한 시간 구간 (높은 보상 구간) 에 시간 정밀도를 할당한다는 것을 시사합니다.
4. 계산 원리의 통합: '동적 보상 확률의 선택 매핑'과 '보상 기반 시간 정밀도 조절'이라는 두 가지 상호작용하는 계산 원리를 제시하여 시간 의존적 선택을 통합적으로 설명했습니다.

5. 의의 (Significance)

이 연구는 자연 환경에서 에이전트가 감각적 단서가 부재한 상태에서 시간과 보상을 동시에 추론하여 의사결정을 내리는 메커니즘을 규명했습니다. 특히, 시간 인식의 정밀도가 보상의 중요도에 따라 동적으로 조절된다는 발견은 시간 지각과 보상 시스템이 분리된 것이 아니라 긴밀하게 상호작용함을 보여줍니다. 이는 강화학습, 신경과학 (도파민 신호와 시간 인식의 관계), 그리고 인간 의사결정 이론에 중요한 통찰을 제공하며, 동적 환경에서의 적응적 행동을 이해하는 새로운 계산적 틀을 마련했습니다.