One if by Land, Two if by Sea, Three if by Four Seas, and More to Come -- Values of Perception, Prediction, Communication, and Common Sense in Decision Making

기술 요약: 의사결정에서의 지각, 예측, 통신 및 상식의 가치

문제 정의
본 연구는 자율 의사결정 시스템의 맥락에서 지각(perception), 예측(prediction), 통사(communication), 상식(common sense)이라는 특정 인지 작용의 가치를 엄밀하게 정의하고 정량화하는 과제를 다룬다. 저자들은 에이전트가 기대 손실 $\mathbb{E}[\ell(X, Y, u)]$을 최소화하기 위해 $\mathcal{U}$ 공간에서 행동 $u$를 선택하는 일반적인 의사결정 문제를 설정한다. 여기서 $X$는 무작위로 관측 가능한 상태를, $Y$는 무작위로 관측 불가능한 상태를 나타내며, $\ell$은 두 상태와 행동에 의존하는 손실 함수이다. 핵심 문제는 서로 다른 유형의 지식(주변 분포, 결합 분포, 관측된 상태 또는 관측되지 않은 상태)을 획득하고 활용함으로써 얻을 수 있는 최소 달성 가능 기대 손실(리스크)의 감소량을 결정하는 것이다.

방법론
본 논문은 특정 작용이 부재할 때의 기준점과 비교하여, 해당 작용을 통합함으로써 얻어지는 리스크 감소량을 통해 작용의 "가치"를 정의하는 의사결정 이론적 프레임워크를 채택한다. 방법론은 다음과 같이 진행된다:

1. 운영 가치의 정의:

   • 상식 (Common Sense): 독립성($P_X P_Y$)을 가정하는 것과 비교하여 결합 분포 $P_{X,Y}$(통계적 의존성)를 아는 것의 가치로 정의된다. 이는 직접적인 관측 없이 상관관계를 추론하는 것의 이점을 정량화한다.
   • 지각 (Perception, 좁은 의미): $X$를 관측하고 이에 기반하여 행동하되, $X$를 바탕으로 $Y$에 대한 신념을 업데이트하지 않는 것(즉, $Y$를 $X$와 독립적으로 취급하는 것)의 가치이다.
   • 예측 (Prediction): $X$의 관측을 바탕으로 $Y$에 대한 신념을 업데이트하는 것($P_{Y|X}$를 활용하는 것)과, $Y$에 대한 의존성을 무시한 채 $X$에 기반하여 행동하는 것의 가치이다.
   • 지각 + 예측 (Perception + Prediction): $X$를 관측하고 $X$를 바탕으로 $Y$를 예측하는 결합된 가치이다.
   • 통신 (Communication): 의사결정을 위해 ($X$와 더불어) 관측 불가능한 상태 $Y$에 직접 접근하는 것의 가치로 정의된다.

2. 정보 이론적 실현:
   저자들은 손실 함수가 음의 로그 가능도($\ell = -\log u(x,y)$)인 특수한 경우를 고려하여, 이러한 의사결정 이론적 가치들을 정보 이론적 척도로 매핑한다. 이 설정에서 정의된 가치들은 다음과 같이 대응된다:

   • 상식 $\leftrightarrow$ 상호 정보량 $I(X; Y)$.
   • 지각 $\leftrightarrow$ 조건 엔트로피 $H(X|Y)$.
   • 예측 $\leftrightarrow$ 상호 정보량 $I(X; Y)$.
   • 지각 + 예측 $\leftrightarrow$ 엔트로피 $H(X)$.
   • 통신 $\leftrightarrow$ 조건 엔트로피 $H(Y|X)$.

3. 함수 분석:
   본 논문은 이러한 가치들이 기저 확률 분포에 대해 가지는 오목성(concavity)과 볼록성(convexity)을 분석한다. 저자들은 이러한 성질을 증명하기 위해 결정 이론적 발산(Kullback-Leibler 발산의 일반화)을 활용한다.

4. 다중 에이전트 확장:
   이 프레임워크는 $n$명의 에이전트가 포함된 시나리오로 확장된다. 저자들은 특정 에이전트를 관측하고 예측함으로써 얻는 리스크 감소량을 바탕으로, 해당 에이전트를 단독으로 혹은 다른 에이전트들이 고려된 후 순차적으로 고려했을 때의 중요도를 정의한다.

주요 결과 및 발견

• 결합 가치의 비음수성: 예측 단독의 가치, 통신의 가치, 그리고 지각과 예측의 결합 가치는 항상 비음수(non-negative)임이 증명되었다.
• 지각의 부정적 가치: 예측 없이 지각만을 수행할 경우 그 가치가 음수가 될 수 있다는 점이 중요한 발견이다. 저자들은 수치적 예시와 (트럭과 가려진 차량이 등장하는 운전 시나리오를 통해, $X$를 관측하고 이를 바탕으로 행동하되 종속 변수인 $Y$에 대한 신념을 업데이트하지 않는 것이 사전 지식(상식)만으로 행동하는 것보다 더 나쁜 결정을 초래할 수 있음을 보여준다. 이는 적절히 예측을 통해 맥락화되지 않은 가공되지 않은 감각 데이터가 오히려 해로울 수 있음을 시사한다.
• 다중 에이전트 시스템에서의 순서 의존성: 다중 에이전트 환경에서 에이전트의 중요도는 절대적이지 않으며, 관측 순서에 따라 달라진다. 본 논문은 알려진 결합 분포와 손실 함수만을 사용하여 리스크 감소를 최대화하는 지각 및 예측의 최적 순서를 결정하는 탐욕 알고리즘(greedy algorithm)을 제공한다.
• 수학적 성질:
  • 지각 + 예측의 가치는 $P_{Y|X}$가 고정되었을 때 $P_X$에 대해 오목하다.
  • 통신의 가치는 $P_X$가 고정되었을 때 $P_{Y|X}$에 대해 오목하며, $P_X$에 대해서는 선형이다.
  • 상식과 예측의 가치는 주변 분포가 고정되었을 때 $P_{Y|X}$에 대해 볼록하다.

의의 및 주장
저자들은 본 연구가 다음과 같은 자율 시스템 설계의 실질적인 질문에 답할 수 있는 엄밀하고 공식적인 경로를 제공한다고 주장한다:

• 특정 에이전트를 관측하고 예측하는 것이 필요한가?
• 에이전트 간의 상대적 중요도는 무엇인가?
• 여러 에이전스로부터 오는 정보를 처리하기 위한 최적의 순서는 무엇인가?

본 논문은 정의된 양들이 자연적 의사결정자들이 다양한 정보원으로부터 정보를 어떻게 활용하는지를 설명함으로써 인지 및 신경 과학에 통찰을 줄 수 있다고 상정한다. 또한, 본 연구의 결과는 기존 문헌(예: Blackwell, Lindley, DeGroot)에서 발견된 "정보의 가치"가 여기서 정의된 지각과 예측의 결합 가치의 특수한 사례로 볼 수 있음을 시사한다. 마지막으로, 본 연구는 이러한 이론적 가치들이 자원 제약 환경에서 에이전트의 우선순위를 정하는 머신러닝 모델을 학습시키기 위한 "그라운드 트루스(ground truth)" 라벨 역할을 할 수 있음을 제안하며, 이는 인간의 라벨이나 휴리스틱 규칙에 의존하는 기존 방식의 간극을 메우는 것이다.

제목과 프레임워크는 로버트 갤러거(Robert Gallager) 교수의 강연에서 영감을 받았으며, 정보 가치의 계층 구조를 설명하기 위해 역사적 신호 체계("육지로 가면 하나, 바다로 가면 둘")와 평행하게 구성되었다.