🧠 신경과학

Task-specific preferences guide forward planning in sequential decision-making

이 논문은 인간이 비용이 많이 드는 전방 계획(forward planning)과 상태 의존적 사전 확률(state-dependent priors) 역할을 하는 작업 특화적 선호도를 결합함으로써 복잡한 문제를 효율적으로 해결하며, 특히 계획 수립이 계산적으로 불가능할 때 이 선호도들의 불확실성에 따라 가중치를 두어 행동을 유도한다는 것을 입증함으로써 순차적 의사결정을 위한 베이즈 방식에서 영감을 얻은 프레임워크를 제안하고 검증한다.

원저자: Lepauvre, A., Ott, F., Kiebel, S. J.

게시일 2026-10-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lepauvre, A., Ott, F., Kiebel, S. J.

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

일상생활은 서로 다른 미래의 결과를 초래하는 행동들 사이에서 선택해야 하는 순간들로 가득 차 있습니다. 시간을 아껴주지만 길을 잃을 위험이 있는 지름길을 택해야 할까요? 지금 돈을 써서 식사를 즐겨야 할까요, 아니면 나중의 비상사태를 위해 저축해야 할까요? 인간의 뇌는 이러한 복잡한 문제들을 해결하는 데 매우 뛰어나며, 모든 가능한 결과를 계산하는 데 너무 많은 시간과 정신적 에너지가 소요될 때조차 종종 효율적인 해결책을 찾아냅니다. 과학자들은 뇌가 이를 어떻게 처리하는지, 특히 지각과 운동 분야에서 오랫동안 연구해 왔습니다. 그들은 뇌가 눈으로 보는 것이나 손으로 느끼는 것과 같은 감각 정보에만 의존하는 경우가 드물다는 것을 발견했는데, 왜냐하면 그러한 정보는 노이즈가 섞여 있거나 불완전할 수 있기 때문입니다. 대신, 뇌는 이 현재의 증거를 과거의 경험, 즉 특정 상황에서 보통 어떤 일이 일어나는지에 대한 정신적 요약인 '사전 지식(priors)'과 결합합니다. 현재의 정보가 불분clear할 때 뇌는 이러한 과거 경험에 더 많이 의존하며, 정보가 명확할 때는 즉각적인 증거를 더 신뢰합니다. 이와 동일한 균형 잡기 과정이 미래에 대한 결정을 내릴 때도 나타나는 것으로 보이지만, 최근까지도 복잡한 다단계 과업에서 뇌가 이를 어떻게 관리하는지는 불분명했습니다.

드레스덴 공과대학교(Technische Universität Dresden)의 연구진은 이 원리, 즉 현재의 증거를 과거의 선호도와 결합하는 방식이 복잡한 의사결정 게임에서도 우리의 선택을 안내하는지 테스트하기 위해 연구를 시작했습니다. 연구진은 40명의 참가자를 모집하여 점수 제안을 수락할지 거절할지를 결정하는 디지털 게임을 수행하게 했습니다. 각 제안에는 1점에서 4점 사이의 보상이 따랐지만, 이를 수락하는 데는 1 또는 2 단위의 에너지가 소모되었습니다. 제안을 거절하면 점수는 얻지 못하지만 에너지 1 단위를 회복할 수 있었습니다. 게임은 에너지가 제한되어 최대 6 단위까지만 보유할 수 있도록 설계되었으며, 제안을 수락하는 비용은 4회마다 변경되었습니다. 게임에서 이기기 위해 플레이어들은 즉각적인 보상과 에너지 비용, 그리고 그 선택이 미래의 제안을 수락하는 능력에 어떤 영향을 미칠지를 저울질하며 앞을 내다봐야 했습니다. 연구진은 플레이어들이 단순히 무작위적인 실수를 하는 것인지, 아니면 세심한 미래 계획과 학습된 경험칙(rules of thumb)을 결합한 특정 전략을 사용하는 것인지 확인하고자 했습니다.

무슨 일이 일어나고 있는지 이해하기 위해, 연구진은 먼저 '전방 계획(forward planning)'이라 알려진 수학적으로 완벽한 게임 플레이 방식을 계산했는데, 이는 최선의 움직임을 찾기 위해 가능한 모든 미래의 결과를 시뮬레이션하는 과정을 포함합니다. 그런 다음 연구진은 플레이어들이 실제로 내린 선택을 이 완벽한 계획과 비교했습니다. 만약 플레이어들이 단순히 추측하거나 무작위적인 오류를 범하는 것이라면, 그들의 선택은 노이즈처럼 보일 것입니다. 만 만약 그들이 단순히 직전에 했던 행동에 반응하는 것이라면, 그들의 선택은 반복되는 패턴을 보일 것입니다. 연구진은 이 두 가지 설명 모두 데이터에 부합하지 않는다는 것을 발견했습니다. 대신, 플레이어들의 선택은 전방 계획의 결과와 '과업 특화적 선호도(task-specific preferences)'를 결합한 모델에 의해 가장 잘 설명되었습니다. 이러한 선호도는 무작위적인 편향이 아니라 제안의 크기, 현재 에너지 수준, 다음 차례의 비용과 같은 게임의 특정 특징들에 기반한 구조화된 경향성이었습니다.

이 연구는 이러한 선호도가 정신적 지름길 역할을 한다는 것을 보여주었습니다. 에너지 수준이 높고 제안이 큰 경우처럼 게임 상황이 명확할 때, 플레이어들은 자신들의 선호도에 크게 의존하여 빠르게 결정을 내렸습니다. 이런 순간에 그들은 앞을 내다보기 위해 많은 정신적 노력을 기울일 필요가 없었습니다. 그러나 제안이 중간 크기이거나 에너지 수준이 낮은 경우처럼 상황이 혼란스러울 때, 플레이어들의 선호도는 불확실해졌습니다. 이러한 불확실성의 순간에 플레이어들은 속도를 늦추고 최선의 움직임을 파악하기 위해 전방 계획에 더 많이 의존했습니다. 연구진은 플레이어들이 결정을 내리는 데 걸리는 시간을 관찰함으로써 이를 측정했습니다. 연구진은 플레이어들의 내부 선호도가 불분명할 때 결정을 내리는 데 걸리는 시간이 유의미하게 증가한다는 것을 발견했으며, 이는 뇌가 모호함을 해결하기 위해 더 복로한 계산을 수행하고 있음을 시사했습니다.

연구진은 또한 이러한 선호도가 임의적인 습관이 아니라 실제로 매우 영리하다는 것을 발견했습니다. 설령 플레이어가 복잡한 전방 계획을 완전히 무시하고 학습된 선호도만을 따른다 하더라도, 무작위로 선택하는 것보다는 훨씬 더 좋은 성과를 낼 수 있었습니다. 사실, 이 선호도는 제안의 가치와 현재 에너지 수준을 중심으로 게임 구조의 가장 중요한 부분들을 포착하고 있었습니다. 에너지 수준을 의사결정 전략에서 무시하는 것은 무작위 추측보다 훨씬 더 심각한 성과 저하를 초래했는데, 이는 플레이어가 에너지를 다 써버려 미래의 보상을 놓칠 수 있기 때문입니다. 플레이어들은 경험을 통해 이러한 핵심적인 관계들을 학습하여, 대부분의 상황에서 잘 작동하는 정신적 가이드를 형성한 것으로 보였습니다. 이 가이드가 강력할 때 그들은 빠르게 움직였고, 가이드가 약할 때 그들은 생각하기 위해 멈추어 섰습니다.

이 연구는 인간의 뇌가 의사결정을 단일하고 경직된 과정으로 취급하지 않는다는 것을 시사합니다. 대신, 뇌는 빠르고 경험에 기반한 가이드가 느리고 더 상세한 계획 과정과 협력하는 유연한 시스템을 사용하는 것으로 보입니다. 뇌는 자신의 직관을 믿어야 할 때와 미래를 계산하는 힘든 일을 해야 할 때를 아는 듯합니다. 이러한 발견은 완벽한 논리로부터의 일탈이 단순한 오류나 습관에 불과하다는 생각을 뒤집습니다. 대신, 이러한 일탈은 정신적 에너지를 절약하는 효율적인 전략의 일부입니다. 경험에 기반한 선호도를 첫 번째 단계로 사용함으로써, 뇌는 익숙한 상황에서 빠르게 좋은 결정을 내릴 수 있으며, 단순한 경험칙만으로는 처리하기 너무 복잡한 순간을 위해 한정된 계산 자원을 아껴둘 수 있습니다. 이러한 균형을 통해 인간은 과거를 사용하여 미래를 안내하면서도 끝없는 계산에 빠지지 않고, 복잡하고 불확실한 환경을 놀라운 효율성으로 헤쳐 나갈 수 있습니다.

기술적 요약: 작업 특이적 선호도가 순차적 의사결정의 전방 계획을 안내한다

문제 정의
복잡한 환경에서의 순차적 의사결정은 종종 현재 행동의 미래 결과를 평가하는 것을 필요로 한다. 그러나 생물학적 에이전트에게 전방 계획(forward planning)을 통한 이러한 결과의 완전한 평가는 계산적으로 불가능하다. 인간의 뇌는 이러한 문제를 효율적으로 해결하지만, 비용이 많이 드는 전방 계획과 다른 의사결정 휴리스틱 사이의 균형을 맞추는 메커니즘은 여전히 불분명하다. 구체적으로, 최적의 계획으로부터의 이탈이 단순히 비체계적인 오류인지, 아니면 계획에서 도출된 가치와 상호작용하는 구조화된 작업 특이적 선호도를 반영하는 것인지는 알려져 있지 않다. 저자들은 의사결정이 지각에서의 베이지안 통합과 유사하게, 전방 계획의 증거를 작업 특이적 "사전 지식(priors, 선호도)"과 결합하며, 이때 선호도의 불확실성에 의해 가중치가 부여된다고 가설을 세웠다.

방법론
본 연구는 대규모 상태 공간을 가진 순차적 의사결정 과제를 수행한 40명의 참가자를 대상으로 한 기존 발표 데이터셋(Ott et al., 2022a, 2022b)을 활용하였다.

과제 설계: 참가자들은 240회의 시행(trial) 동안 제안(1~4포인트)을 수락하거나 거절할지 결정하였다. 수락 시에는 에너지 비용(1 또는 2 포인트)이 발생하며, 거절 시에는 에너지가 보충(1 포인트)된다. 에너지는 6으로 제한된다. 비용은 4회의 시행(세그먼트) 단위로 고정되며, 참가자들은 현재 및 향후 예정된 세그먼트의 비용을 모두 알고 있었다.
최적 벤치마크: 저자들은 12-시행 호라이즌(현재/차기 세그먼트와 터미널 아티팩트를 피하기 위한 추가 한 세그먼트 포함)에 대해 역방향 귀납법(backward induction)으로 해결된 마르코프 결정 과정(MDP)을 사용하여 최적의 행동을 모델링하였다. 이는 수락과 거절 사이의 장기적 가치 차이를 나타내는 "의사결정 가치(Decision Value, DV)"를 생성하였다.
모델 비교: 저자들은 참가자들의 선택을 설명하기 위해 네 가지 베이지안 계층적 로지스틱 회귀 모델을 비교하였다:
1. 계획 모델(Planning Model): 최적의 DV만을 포함함 (비체계적인 노이즈를 테스트함).
2. 빈도-사전 모델(Frequency-prior Model): 최근에 선택된 행동에 대한 편향을 포함함.
3. 제안-맥락 모델(Offer-context Model): 극단적 제안 대 중간적 제안에 기반한 편향을 포함함 (이전에 가장 적합한 모델로 확인된 모델).
4. 선호도 모델(Preference Model, 주요 가설): 최적의 DV와 상태 의존적 선호도 점수를 결합함. 이 점수는 작업 요인(제안 가치, 에너지 수준, 현재 비용, 미래 비용)의 가중 합이다. 결정적으로, 이 모델은 선호도 점수의 엔트로피(불확실성)에 따라 DV의 영향력이 조절되는 변조 항을 포함하였다.
분석: 연구는 ELPD(Expected Log Pointwise Predictive Density)를 이용한 모델 비교를 채택하였고, 적합된 요인별 가중치를 분석하였으며, 선호 불확실성이 높을 때 계획 갈등(낮은 |DV|)이 반응 속도를 늦추는지 테스트하기 위해 반응 시간(RT) 분석을 수행하였다.

주요 결과

체계적 이탈: 참가자들의 최적 계획으로부터의 이탈은 체계적이었다. 선호도 모델은 40명 중 34명의 참가자에게서 가장 좋은 적합도를 보였으며, 계획, 빈도-사전, 제안-맥락 모델보다 유의미하게 우수한 성능을 보였다.
구조화된 선호도: 적합된 선호도 가중치는 다음과 같은 구조화된 편향을 드러냈다:
- 참가자들은 최적 계획이 제시하는 것보다 낮은 제안(1, 2)을 더 자주 거절하고, 높은 제안(3, 4)을 더 자주 수락하였다.
- 에너지 상태는 의사결정에 큰 영향을 미쳤다: 에너지가 최대(6)일 때 참가자들은 거절이 최적임에도 불구하고 제안을 수락하였고, 에너지가 0일 때 참가자들은 작은 수락 확률이 최적임에도 불구하고 제안을 거절하였다.
- 제안 가치와 에너지는 선호도를 형성하는 데 지배적인 요인이었으나, 비용의 영향력은 상대적으로 약했다.
불확실성 가중 통합: 선택에 미치는 전방 계획(DV)의 영향은 선호 엔트로피에 의해 조절되었다. 선호 불확실성이 낮을 때(명확한 행동 경향이 있을 때)는 선호도가 주로 선택을 안내하였고, DV의 영향력은 감소하였다. 반대로, 선호 불확실성이 높을 때는 전방 계획에 대한 의존도가 증가하였다.
반응 시간: RT 분석은 가설을 확인해주었다. 계획 갈등(낮은 |DV|)은 반응을 늦추었으나, 선호 엔트로피가 낮을 때 이 효과는 완화되었다. 참가자들은 계획 갈등이 높으면서 동시에 선호가 불확실할 때 가장 느린 반응을 보였는데, 이는 휴리스틱 가이드가 모호할 때만 비용이 많이 드는 계산에 의존한다는 것을 나타낸다.
선호도의 적응적 가치: 선호도는 임의적인 것이 아니었다. 적합된 선호도 점수만을 기반으로 도출된 정책은 확률적 정책(stochastic policy)보다 유의미하게 높은 수익을 달alah하였다(단, 최적 계획보다는 낮음). 선호도 정책에서 에너지 정보를 제거했을 때 성능이 급격히 하락(69.80% 손실)하였는데, 이는 참가자들의 선호도가 최적 행동에 근접하는 핵심적인 작업 구조(특히 에너지 관리)를 포착하고 있음을 시사한다.
성과와의 상관관계: 계획 유래 가치에 대한 민감도( $\beta_{plan}$ )와 선호 불한실성에 의한 계획의 조절 강도( $\beta_{modulation}$ )가 높은 참가자들이 더 높은 총 수익을 달성하였다.

의의 및 주장
본 논문은 비용이 많이 드는 전방 계획이 상태 의존적 사전 지식(선호도)과 통합되는 베이지안 방식의 해석에 대한 증거를 제공한다고 주장한다.

편향의 재구성: 저자들은 작업 요인 효과(제안, 에너지, 비용)를 단순한 기술적 편향이나 오류로 보는 것이 아니라, 계획 가치와 상호작용하는 구조화된 행동 경향으로 보아야 한다고 주장한다.
자원 합리성(Resource-Rationality): 결과는 뇌가 선호 기반 가이드의 신뢰도에 따라 계획의 깊이를 조절한다는 자원 합리적 설명을 뒷받침한다. 선호도는 작업 특징이 명확한 행동 경향을 암시할 때 충분한 "1차 통과(first-pass)" 솔루션 역할을 하며, 선호가 불확실할 때 전방 계획이 모호함을 해결하기 위해 동원된다.
상태 의존성: 상태 독립적 사전 지식(예: 정책 압축 프레임워크)을 가정하는 이전 모델들과 달리, 본 연구는 에이전트가 작업 특징을 인자로 하는 상태 의존적 선호를 사용한다는 것을 입증한다.
적응적 휴리스틱: 이러한 발견은 최적성으로부터의 이탈이 반드시 체계적인 오류가 아니라, 작업의 통계적 구조를 포착하는 적응적 휴리스틱임을 시사하며, 이는 완전한 전방 계획이 없는 상황에서도 확률적 성과 이상의 성과를 지원한다.

저자들은 이러한 "사전 지식"의 형식적 성격에 대해 겸손한 태도를 유지하며, 모델이 기술적(descriptive)이고 선호도가 과제 중 안정적으로 나타나기는 하지만, 본 연구가 이것이 명확히 베이지안 사전 지식임을 확정하거나 그것이 정확히 어떻게 학습되는지(예: 훈련을 통한 학습 혹은 일반적 스키마)를 밝히는 것은 아니라고 언급하였다. 이 연구는 계획 알고리즘의 구체적인 신경적 구현보다는 계획과 선호 사이의 상호작용 구조를 확립하는 데 주력하였다.

유사한 논문