Value Under Ignorance in Universal Artificial Intelligence

이 논문은 AIXI 강화학습 에이전트를 더 넓은 범위의 효용 함수로 일반화하여, '사망' 해석과 불완전 확률론의 초적분 (Choquet integral) 을 통해 기대 효용을 계산하는 새로운 접근법을 제시하고 그 계산 가능성과 표준 가치 함수와의 관계를 탐구합니다.

핵심

1. 배경: "무한한 점수 게임"을 하는 로봇

이 논문에서 다루는 AIXI는 가상의 초지능 로봇입니다. 이 로봇은 세상의 모든 가능한 상황을 예측하며, 주어진 목표를 달성하기 위해 최선의 행동을 합니다.

• 기존 방식: 이 로봇은 보통 "보상 (Reward)"이라는 점수만 봅니다. 예를 들어, "사과를 먹으면 +1 점, 벽에 부딪히면 -1 점"처럼요. 로봇은 평생 동안 이 점수 합계를 최대화하려고 합니다.
• 문제점: 하지만 현실의 목표는 점수 하나로만 표현하기 어렵습니다. "인류의 행복을 증진하라"거나 "자신의 존재를 유지하라" 같은 복잡한 목표는 단순한 점수보다 훨씬 복잡합니다.

2. 핵심 문제: "게임이 갑자기 끝날 때" (불완전한 예측)

이 로봇은 미래를 예측할 때, 모든 가능성을 계산합니다. 그런데 여기서 재미있는 문제가 생깁니다.

• 비유: 로봇이 내일을 예측할 때, "내일 비가 올 확률 50%, 맑을 확률 50%"라고 예측한다고 칩시다. 그런데 어떤 예측 모델은 "내일 비가 올 확률 50%, 맑을 확률 30%"라고 말합니다. 나머지 20% 는 어디로 갔을까요?
• 기존 해석 (죽음의 해석): 이 '빠진 20%'를 로봇이 갑자기 죽거나 게임이 끝났을 가능성으로 봅니다. 즉, "아, 이 시나리오에서는 로봇이 20% 확률로 사망했구나"라고 해석하는 것입니다.
• 저자의 새로운 해석 (무지의 해석): 저자들은 "아니, 로봇이 죽은 게 아니라, 우리가 그 20% 에 대해 '아무것도 모른다' (Ignorance)"라고 해석하는 게 더 자연스럽다고 말합니다. 마치 안개 낀 날에 앞이 안 보이는 것과 비슷합니다.

3. 해결책: "최악의 시나리오를 대비하는 보수적인 계산"

이제 이 '무지 (모르는 부분)'를 어떻게 처리할지 결정해야 합니다.

• 방식 A (죽음으로 해석): 게임이 끝났으니, 그 이후의 점수는 0 점으로 간주합니다. (로봇이 죽으면 더 이상 점수를 못 받죠.)
• 방식 B (무지로 해석 - 이 논문의 제안): "우리가 모르는 20% 에 대해 우리는 가장 나쁜 경우를 가정하자"는 것입니다.
  • 비유: 길을 가다가 안개 낀 구석진 길 (20% 확률) 을 마주쳤다고 칩시다.
    • 기존 방식: "아, 길이 끊어졌나? 그냥 멈추자."
    • 새로운 방식 (Choquet 적분): "아, 길이 끊어졌을 수도 있고, 함정이 있을 수도 있겠구나. **가장 나쁜 경우 (함정)**를 가정하고 조심스럽게 계산하자."

이론적으로 이 '가장 나쁜 경우'를 계산하는 수학적 도구를 초 (Choquet) 적분이라고 합니다. 이 방법을 쓰면 로봇은 불확실한 상황에서 너무 무모하게 행동하지 않고, 더 안전하게 목표를 달성할 수 있습니다.

4. 왜 이것이 중요한가요? (AI 와의 조화)

이 연구가 중요한 이유는 두 가지입니다.

1. 더 유연한 목표 설정: 로봇이 단순히 "점수"만 쫓는 게 아니라, "인간이 원하는 복잡한 가치"를 추구하도록 만들 수 있습니다. 예를 들어, "인간이 행복해하는 상태"를 유지하는 것 같은 목표도 설정할 수 있게 됩니다.
2. 안전한 AI: '죽음'을 가정하면 로봇이 위험한 행동을 할 수 있습니다 (예: "내가 죽으면 점수가 0 이니까, 죽기 전에 최대한 점수를 따자" -> 폭주). 하지만 '무지'를 가정하고 보수적으로 계산하면, 로봇은 불확실한 상황에서 더 신중하게 행동하게 됩니다.

5. 결론: "모르는 것에 대한 겸손한 태도"

이 논문은 **"우리가 미래를 완벽하게 알 수 없을 때, 그것을 '죽음'으로 치부하기보다 '아는 게 없는 상태'로 받아들이고, 그 상태에서 최선의 결정을 내리는 방법"**을 수학적으로 증명했습니다.

• 한 줄 요약: "미래를 예측할 때, '안 보이는 부분'을 '죽음'으로 생각하면 로봇이 위험해질 수 있으니, '아는 게 없는 상태'로 생각하고 가장 나쁜 경우를 대비하는 보수적인 계산을 하도록 로봇을 설계하자."

이 아이디어는 미래의 인공지능이 인간과 더 잘 협력하고, 예측 불가능한 상황에서도 안전하게 행동할 수 있는 길을 열어줍니다.

기술 요약

이 논문은 **보편적 인공 지능 (Universal Artificial Intelligence, UAI)**의 핵심 모델인 AIXI를 더 넓은 범위의 효용 함수 (utility functions) 를 수용할 수 있도록 일반화하는 것을 목표로 합니다. 저자들은 (Cole Wyeth 와 Marcus Hutter) 에이전트의 신념 분포 내 가설 중 일부가 유한한 히스토리 (interaction history) 만을 예측하는 상황에서 발생하는 모호성을 해결하기 위해 불확실성 하의 가치 (Value Under Ignorance) 개념을 도입하고, 이를 정확하지 않은 확률 (imprecise probability) 이론과 **초적분 (Choquet integral)**을 통해 수학적으로 엄밀하게 다룹니다.

다음은 논문의 문제 제기, 방법론, 주요 기여, 결과 및 의의에 대한 상세한 기술적 요약입니다.

---

1. 문제 제기 (Problem)

• AIXI 의 한계: 기존 AIXI 에이전트는 외부 보상 신호 (reward signal) 를 최대화하는 강화학습 (RL) 설정에 국한되어 있습니다. 이는 임의의 의사결정 이론적 에이전트나 복잡한 효용 함수를 모델링하는 데 본질적인 한계가 있습니다.
• 반감 (Semimeasure) 손실의 해석 문제: 보편적 예측 모델 (예: Solomonoff induction) 은 종종 **반측도 (semimeasure)**를 사용합니다. 반측도는 확률의 합이 1 이 되지 않을 수 있으며, 그 차이 (손실) 는 에이전트가 유한한 시간 내에 상호작용이 종료될 확률로 해석됩니다.
  • 기존 해석: 이 손실을 에이전트의 **"죽음 (death)"**으로 간주하여, 종료된 히스토리에 대해 0 보상을 부여하거나 특정 보상을 할당합니다.
  • 문제점: "죽음" 해석은 효용 함수를 유한한 히스토리 전위에 할당할 때 모호성을 초래하며, 특히 음수 보상이 존재할 경우 기대 효용 계산이 복잡해집니다.
• 확률의 가산성 부재: 보편적 에이전트는 마르코프 성질과 같은 단순한 가정을 사용할 수 없으며, 종종 "결함 있는 (defective)" 반측도를 다뤄야 하므로 확률의 가산성 (additivity) 을 가정할 수 없습니다.

2. 방법론 (Methodology)

저자들은 다음과 같은 수학적 도구를 도입하여 문제를 해결합니다.

• 반측도 확장 (Semimeasure Extension):
  • 유한한 문자열에 정의된 pre-semimeasure를 카라테오도리 확장 정리 (Carathéodory's extension theorem) 를 사용하여 완전한 $\sigma$-대수 (sigma-algebra) 상의 **측도 (measure)**로 확장합니다.
  • 이 확장을 통해 유한한 히스토리에서 "종료"된 경우를 별도의 점 (point mass) 으로 처리하거나, 무한한 시퀀스 공간으로의 확장을 수학적으로 엄밀하게 정의합니다.
• 정확하지 않은 확률 (Imprecise Probability) 관점:
  • 반측도 손실을 단순히 '죽음'으로 해석하는 대신, 이를 **불완전한 정보 (total ignorance)**로 간주합니다.
  • 하나의 반측도 $\nu$를 **신념 집합 (Credal Set, Core($\nu$))**으로 해석합니다. 즉, 손실된 확률 질량을 지지 집합 (support) 에 임의로 분배할 수 있는 모든 가능한 확률 분포들의 집합을 의미합니다.
• 초적분 (Choquet Integral) 을 통한 기대 효용 계산:
  • 가산성이 없는 반측도에 대한 기대값을 계산하기 위해 초적분을 도입합니다.
  • 초적분은 신념 집합 (Credal Set) 내의 모든 확률 분포에 대한 기대 효용의 **최소값 (min)**으로 해석될 수 있습니다. 이는 최악의 경우를 대비한 (max-min) 보수적인 의사결정 규칙을 제공합니다.
• 효용 함수의 일반화:
  • 보상 합 (reward sum) 대신 연속적인 (continuous) 임의의 효용 함수 $u$를 정의합니다.
  • 유한한 (종료된) 히스토리와 무한한 히스토리 모두에 효용을 할당할 수 있도록 설정합니다.

3. 주요 기여 (Key Contributions)

1. AIXI 의 일반화된 효용 함수 프레임워크:
   • 보상 신호에 국한되지 않고, 연속적인 임의의 효용 함수를 최적화하는 AIXI 의 일반화 버전 (Utility-based AIXI) 을 제안했습니다.
   • 이는 AIXI 를 단순한 강화학습 에이전트에서 일반적인 의사결정 이론 에이전트로 확장합니다.
2. 반측도 손실에 대한 새로운 해석 및 수학적 형식화:
   • 반측도 손실을 '죽음'으로 해석하는 기존 관점과 달리, 이를 **정확하지 않은 확률 (imprecise probability)**의 관점에서 해석하고, 이를 초적분을 통해 계산하는 방법을 rigorously (엄밀하게) 증명했습니다.
   • 이 접근법은 유한한 히스토리에 대한 효용 할당의 모호성을 해소합니다.
3. 최적 정책의 존재성 증명:
   • Cantor 공간의 컴팩트성과 효용 함수의 연속성을 이용하여, 일반화된 가치 함수 하에서 최적 정책의 존재성을 증명했습니다.
4. 계산 가능성 (Computability) 분석:
   • 일반화된 가치 함수의 계산 가능성 수준을 조사했습니다. 특히, 초적분 형태의 가치 함수는 기존 기대 효용보다 **약간 더 좋은 계산 가능성 (lower semicomputability)**을 가질 수 있음을 보였습니다.

4. 주요 결과 (Results)

• 재귀적 가치 함수와의 동치성:
  • 표준적인 AIXI 의 재귀적 가치 함수 (recursive value function) 는 초적분의 특수한 경우로 복원될 수 있음을 증명했습니다. 즉, 제안된 프레임워크는 기존 AIXI 를 포함하는 일반화입니다.
• 계산 가능성의 향상:
  • 효용 함수가 하반가산 (lower semicomputable, l.s.c.) 이고 연속적일 때, 초적분으로 정의된 가치 함수 $V^{\pi}_{\nu, u}$도 하반가산임을 보였습니다.
  • 반면, "죽음" 해석을 따르는 표준 가치 함수 (보상 합) 는 음수 보상이 존재할 경우 하반가산이 아닐 수 있어 계산적으로 더 까다로울 수 있음을 지적했습니다.
• 최적 정책의 성질:
  • 일반화된 설정에서도 결정론적 최적 정책이 존재하며, 이는 모든 시간 단계에서 (측도 0 의 예외를 제외하고) 최적임을 보였습니다.

5. 의의 및 결론 (Significance)

• AI 정렬 (AI Alignment) 에의 기여:
  • AIXI 를 보상 신호가 아닌 사용자가 지정할 수 있는 모듈식 효용 함수로 확장함으로써, AI 의 목표 정렬 문제를 더 유연하게 다룰 수 있는 이론적 기반을 마련했습니다.
• 불확실성 하의 의사결정 이론:
  • 모델 오-specification 이나 실현 불가능성 (unrealizability) 을 다룰 때, 단일 확률 분포 대신 **정확하지 않은 확률 (Credal Set)**과 초적분을 사용하는 것이 더 자연스럽고 계산적으로 유리할 수 있음을 시사합니다.
• 철학적 함의:
  • "죽음"이라는 해석에 의존하지 않고, 지식의 결여 (ignorance) 를 정량화하는 새로운 방식을 제시했습니다. 이는 에이전트가 불확실한 환경에서 어떻게 행동해야 하는지에 대한 새로운 철학적, 수학적 통찰을 제공합니다.

요약하자면, 이 논문은 AIXI 를 단순한 보상 최대화 에이전트에서 임의의 연속 효용 함수를 최적화하는 보편적 에이전트로 확장하며, 이를 위해 반측도 손실을 불확실성 (ignorance) 으로 재해석하고 초적분을 도입하여 수학적 엄밀성과 계산 가능성 측면에서 기존 모델을 개선했습니다.