Unintended Consequences: Updating Causal Models

이 논문은 구조적 방정식 모델을 기반으로 에이전트의 인과적 신념이 선택에 미치는 영향과 선택에 대한 피드백이 신념을 어떻게 업데이트하는지 분석하며, 에이전트의 최적 행동과 신념이 서로 일관되게 설명될 수 있는 '정상 상태' 개념을 제안합니다.

핵심

🌍 핵심 주제: "나만의 지도"와 "현실의 길"

이 논문의 주인공은 세상을 살아가는 **'나'**입니다. 우리는 모두 세상을 이해하기 위해 마음속에 **'지도 (인과 모델)'**를 가지고 삽니다. 하지만 이 지도가 항상 정확한 것은 아닙니다. 때로는 지도가 엉망이거나, 중요한 길이 빠져있을 수도 있죠.

논문의 핵심은 우리가 잘못된 지도를 들고 있을 때, 현실에서 겪는 경험 (피드백) 이 어떻게 우리의 마음을 바꾸는지, 그리고 그 과정에서 우리가 영원히 착각 속에 살 수도 있다는 사실을 설명하는 것입니다.

🗺️ 1. 지도를 믿고 길을 가다 (선택과 행동)

우리는 매일 결정을 내립니다. "비 오니까 우산 챙겨야지" 혹은 "주식 사야지" 같은 거죠. 이때 우리는 마음속 지도를 봅니다.

• 지도가 맞다면: 비가 오면 우산을 쓰고 젖지 않습니다. (최적의 선택)
• 지도가 틀리다면: 비가 오는데 우산이 필요 없다고 생각하면, 결국 젖게 됩니다. (비효율적인 선택)

이 논문은 우리가 어떤 지도를 믿고 있는지 (믿음), 그리고 **그 지도에 따라 어떤 행동을 취하는지 (선택)**를 수학적으로 분석합니다.

🔄 2. 현실이 주는 충격 (피드백과 업데이트)

우리가 길을 가다 예상치 못한 일을 겪으면 어떻게 될까요?

• 상황 A (지도가 틀렸을 때): "어? 비가 오는데 우산이 필요 없다고 생각했는데 젖었네? 아, 내 지도가 틀렸구나!"라고 깨닫고 새로운 지도를 그립니다.
• 상황 B (지도가 틀렸는데도 괜찮을 때): "어? 비가 오는데 우산이 필요 없다고 생각했는데, 이상하게도 젖지 않았네?"라고 생각할 수 있습니다. 이때는 **"아, 내 지도가 맞았구나!"**라고 착각하며 기존의 잘못된 지도를 고집하게 됩니다.

이 논문은 바로 이 상황 B에 주목합니다. 우리가 잘못된 믿음을 가지고 있어도, 현실이 그 잘못된 믿음을 완벽하게 뒷받침해 준다면 우리는 영원히 그 착각 속에서 살게 된다는 것입니다.

🐍 3. 실례로 이해하기: 두 가지 이야기

논문의 저자들은 두 가지 유명한 이야기를 예로 들며 이 원리를 설명합니다.

🐍 이야기 1: 뱀 사냥꾼과 총독 (실수에서 깨달음)

• 상황: 영국 총독은 뱀을 줄이려고 "죽은 뱀 머리를 가져오면 돈을 주겠다"는 정책을 냈습니다.
• 총독의 생각 (잘못된 지도): "사람들이 뱀을 잡으면 뱀이 줄어든다."
• 현실의 반응: 사람들은 뱀을 잡기 위해 뱀을 직접 키우기 시작했습니다. 그리고 그 뱀들이 도망가면서 오히려 뱀의 수가 급증했습니다.
• 결과: 총독은 "어? 뱀이 줄어야 하는데 왜 늘어났지?"라고 놀라 자신의 지도가 완전히 틀렸음을 깨닫고 정책을 바꿨습니다.
  • 이것은 현실이 지도와 너무 달라서, 강제로 믿음을 수정한 경우입니다.

☀️ 이야기 2: 아티온 부족과 해돋이 (영원한 착각)

• 상황: 한 부족은 매일 해 뜨기 전에 기도를 합니다.
• 부족의 생각 (잘못된 지도): "우리가 기도하지 않으면 해가 뜨지 않는다."
• 현실의 반응: 매일 해는 뜹니다.
• 결과: 부족 사람들은 "보라! 우리가 기도했으니 해가 뜨지 않았는가? 내 지도가 완벽해!"라고 생각하며 매일 기도를 계속합니다.
  • 이것은 현실이 잘못된 지도를 완벽하게 지지해주기 때문에, 그들은 절대 깨닫지 못하고 영원히 같은 행동을 반복하는 경우입니다.

🎲 4. 왜 우리는 영원히 착각할 수 있을까? (고정 상태)

이 논문은 수학적으로 **"고정 상태 (Steady State)"**라는 개념을 소개합니다.
이는 **"내가 지금 하는 행동이 내 믿음을 바꾸지 않고, 그 믿음 때문에 다시 똑같은 행동을 하게 되는 상태"**를 말합니다.

• 안정된 착각: 만약 내가 잘못된 믿음을 가지고 있어도, 그 믿음대로 행동했을 때 나오는 결과가 내 믿음과 일치한다면, 나는 절대 그 믿음을 고치지 않습니다.
• 지나친 확신: 우리는 종종 "내 생각이 맞을 거야"라고 너무 확신합니다. 그래서 예상치 못한 일이 일어나지 않는 한, 내 생각이 틀릴 수 있다는 가능성조차 고려하지 않습니다.

🔮 5. 더 깊은 생각: "내가 모르는 게 있다는 걸 아는" 사람

논문의 마지막 부분에서는 아주 흥미로운 가정을 덧붙입니다.
"만약 내가 **'아, 내가 모르는 게 있을지도 몰라'**라고 스스로 의심할 수 있다면 어떨까?"

• 일반적인 사람: "내 지도가 완벽해. 이상한 일이 생기면 지도가 틀린 거야."
• 자기 성찰이 있는 사람: "내 지도가 완벽할 수도 있고, 아닐 수도 있어. 만약 내가 전혀 예상치 못한 일이 생기면, 그건 내 지도가 너무 작아서일지도 몰라."

이런 사람은 **새로운 것을 발견할 가능성 (호기심)**에 가치를 둡니다. 그래서 당장은 손해일지라도, 새로운 정보를 얻을 수 있는 행동을 하기도 합니다. 하지만 논문에 따르면, 대부분의 사람들은 이런 '자기 성찰'을 하지 못하고, 자신이 모르는 영역이 있다는 사실조차 인식하지 못한 채 살아갑니다.

💡 요약: 이 논문이 우리에게 주는 교훈

1. 우리는 모두 편향된 지도를 들고 삽니다. 우리는 세상을 완벽하게 이해하지 못합니다.
2. 현실이 우리를 깨워주지 않으면, 우리는 착각에 빠집니다. 만약 우리의 잘못된 생각이 현실에서 '성공'처럼 보인다면, 우리는 그 착각을 고치지 않습니다. (아티온 부족의 예)
3. 충격이 필요할 때가 있습니다. 우리가 잘못된 지도를 가지고 있을 때, 현실이 그걸 깨뜨려주지 않으면 우리는 영원히 그 길만 가게 됩니다. (총독의 예처럼 큰 충격이 필요할 수 있습니다.)
4. 스스로를 의심하는 것이 중요합니다. "내가 모르는 게 있을지도 몰라"라고 생각할 때, 우리는 더 나은 결정을 내리고 더 빠르게 진화할 수 있습니다.

결국 이 논문은 **"우리가 세상을 이해하는 방식이 얼마나 취약한지, 그리고 그 취약함이 어떻게 우리를 영원한 반복의 고리에 빠뜨리는지"**를 보여주는 통찰력 있는 연구입니다.

기술 요약

1. 연구 문제 (Problem)

이 논문은 에이전트 (행위자) 가 인과적 신념 (causal beliefs) 을 어떻게 형성하고, 선택에 따른 피드백을 통해 이를 어떻게 업데이트하는지, 그리고 이러한 과정이 어떻게 비합리적이거나 비효율적인 행동으로 이어질 수 있는지를 규명하는 것을 목표로 합니다.

• 핵심 문제: 에이전트는 종종 실제 인과 관계를 오해하거나 간과합니다. 이러한 오류는 비용이 큰 비최적 선택을 초래합니다.
• 동적 환경의 딜레마: 에이전트가 잘못된 인과 모델을 가지고 반복적인 상호작용을 할 때, 관찰된 데이터가 초기 신념과 모순되더라도 신념이 올바르게 수정되지 않거나, 오히려 잘못된 신념이 영구적으로 유지되는 (Steady State) 상황이 발생할 수 있습니다.
• 예시:
  • 예제 1 (코브라 보상금): 영국 동인도 회사의 총독이 뱀 퇴치를 위해 뱀 머리에 보상을 주었으나, 오히려 뱀 사육이 늘어나 뱀 개체수가 급증했습니다. 이는 에이전트가 '뱀 사육'이라는 변수를 인식하지 못했기 때문입니다.
  • 예제 2 (아이티온 부족): 해가 뜨는 것을 신의 의지로 믿고 매일 의식을 치르지만, 해가 뜨는 것은 자연 현상이므로 의식이 해를 뜨게 하는 것이 아닙니다. 그러나 매일 해가 뜨는 관찰 결과가 그들의 잘못된 신념을 '확인'해주므로 신념이 수정되지 않습니다.

2. 방법론 (Methodology)

저자들은 구조적 방정식 모델 (Structural-Equations Framework, Pearl, 2000) 을 기반으로 에이전트의 신념 업데이트와 의사결정을 형식화했습니다.

2.1 기본 프레임워크

• 인과 모델 (Causal Models): 변수 집합 $U$ (외생 변수) 와 $V$ (내생 변수), 그리고 구조적 방정식 $F$ 로 구성된 모델 $M = \langle S, F \rangle$ 을 정의합니다.
• 불확실성: 에이전트는 참인 모델 $M^\star$ 를 알지 못하며, 가능한 모델들의 집합에 대한 확률적 신념을 가집니다. 외생 변수의 실현은 확률 분포 $\pi$ 에 따라 결정됩니다.
• 조건부 확률 시스템 (Conditional Probability System, CPS):
  • 에이전트가 관찰할 수 없는 (확률 0 인) 사건에 대해 어떻게 반응할지 정의하기 위해 CPS 를 도입했습니다.
  • 이는 에이전트가 "설명할 수 없는 데이터 (inexplicable evidence)"를 관찰했을 때 신념을 어떻게 갱신할지 (혹은 기존 모델을 폐기할지) 를 규정합니다.

2.2 에이전트 행동과 효용 (Agency and Utility)

• 행동 (Action): 에이전트는 변수에 개입 (Intervention, $do(X=x)$) 하고 결과를 관찰하는 행동을 취합니다.
• 효용 함수: 에이전트는 변수의 값에 기반한 효용을 얻으며, 개입은 직접적으로 효용에 영향을 미칩니다.
• 가치 함수 (Value Function): 에이전트는 즉각적인 효용뿐만 아니라, 관찰을 통해 신념을 업데이트하여 미래의 의사결정을 개선할 수 있는 정보 가치 (Information Value) 도 고려합니다.
  $$VAL(a, \mu) = E[UTIL + \delta \max_{a'} VAL(a', \mu')]$$
  여기서 $\delta$ 는 할인율이며, $\mu'$ 는 관찰 후 업데이트된 신념입니다.

2.3 정상 상태 (Steady State) 정의

• 정의: 에이전트의 현재 신념 $\mu$ 하에서 최적의 행동 $a$ 를 취했을 때, 그 행동으로 인해 생성된 관찰 데이터가 신념을 변경하지 않고, 그 결과 $a$ 가 여전히 최적 행동으로 남는 상태 $(\mu, a)$ 를 의미합니다.
• 의미: 이 상태에서는 새로운 정보가 시스템에 유입되지 않으며, 에이전트는 잘못된 인과 모델을 기반으로 영구적으로 비최적 행동을 반복하게 됩니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

3.1 정상 상태의 존재와 비수렴성

• 결정론적 환경: 환경이 결정론적일 경우 (외생 변수가 고정됨), 에이전트의 신념 업데이트는 유한한 모델 집합 내에서 결국 정상 상태로 수렴합니다 (Remark 2).
• 확률적 환경 (Stochastic Environments): 환경이 확률적일 경우, 반복적인 최적화 행위가 정상 상태나 안정적인 행동으로 수렴한다는 보장이 없습니다.
  • 예제 3: 에이전트가 서로 다른 인과 모델 ($M_r, M_l$) 사이에서 신념이 진동하며, 최적 행동이 무한히 교차하는 순환 (Cycle) 이 발생할 수 있음을 보였습니다. 이는 관찰된 데이터가 어떤 모델과도 모순되지 않아 신념이 고정되지 않기 때문입니다.

3.2 잘못된 신념의 영구화 메커니즘

• 자기 확인적 신념 (Self-Confirming Beliefs): 에이전트가 취한 행동이 생성한 데이터가 에이전트의 현재 (잘못된) 모델과 완벽하게 일치하는 경우, 에이전트는 신념을 수정하지 않습니다 (예제 2).
• 의도하지 않은 결과 (Unintended Consequences): 에이전트가 특정 변수 (예: 뱀 사육) 를 인식하지 못하거나 (Unawareness), 그 변수의 인과적 영향을 간과할 때, 최적이라고 생각한 행동이 실제 시스템에서는 역효과를 낳을 수 있습니다. 그러나 관찰된 데이터가 에이전트의 제한된 모델 범위 내에서만 해석될 경우, 에이전트는 오류를 깨닫지 못합니다.

3.3 내성적 무지 (Introspective Unawareness) 모델링

• 에이전트가 자신의 신념이 불완전할 수 있음을 인지하는 경우를 모델링했습니다.
• 새로운 가치 함수 ($VAL^*$): 에이전트는 예측 불가능한 결과 (paradigm shift) 를 발견할 가능성에 대한 주관적 가치 $v^*$ 와 그 확률 $\xi(a)$ 를 고려합니다.
• 결과: 객관적 효용이 낮은 행동이라도 '새로운 것을 발견할 가능성'이 높다면 에이전트가 이를 선택할 수 있습니다. 이는 Bonawitz et al. (2014) 의 심리학 연구 결과와 일치하며, 에이전트가 탐색 (Exploration) 을 통해 신념의 한계를 넘을 수 있음을 시사합니다.

4. 의의 및 결론 (Significance & Conclusion)

• 이론적 기여:

  • 인과적 신념과 의사결정의 통합: 기존의 구조적 인과 모델에 에이전트의 동적 신념 업데이트와 효용 최적화를 결합한 최초의 체계적 프레임워크 중 하나입니다.
  • 모델 오지정 (Model Misspecification) 연구 확장: 경제학 및 게임 이론에서 다루어지는 모델 오지정 문제를, 에이전트의 '인과적 추론 오류'와 '무지 (Unawareness)'의 관점에서 분석했습니다.
  • 비수렴 현상의 설명: 왜 에이전트가 무한한 상호작용 후에도 진실을 깨닫지 못하고 잘못된 행동을 반복하는지에 대한 형식적 설명을 제공합니다.

• 실용적 함의:

  • 정책 입안자나 기업 경영자가 자신의 인과 모델을 맹신할 때 발생할 수 있는 '의도하지 않은 결과'를 예측하고 방지하는 데 도움을 줍니다.
  • 에이전트가 자신의 무지를 인지하고 (Introspective Unawareness), 새로운 정보를 탐색할 동기를 부여하는 메커니즘을 설계하는 데 이론적 토대를 제공합니다.

• 향후 연구 방향:

  • 전략적 환경 (게임 이론적 상황) 으로의 확장.
  • 에이전트가 다른 에이전트를 속이기 위해 인과 모델을 의도적으로 조작하는 전략적 행동 분석.

요약하자면, 이 논문은 에이전트가 불완전한 인과 모델을 가지고 있을 때, 피드백 루프가 어떻게 작동하여 잘못된 신념을 영구화하거나, 반대로 새로운 발견을 통해 신념을 갱신하게 하는지를 수학적 모델로 정교하게 분석한 연구입니다.