기술 요약: 반사실적 정보 없이 의사결정자 테스트하기

1. 문제 정의

본 논문은 반사실적 정보(counterfactuals)가 관찰되지 않는 환경에서 의사결정의 질을 평가하는 데 따르는 근본적인 과제를 다룬다. 지정학적 전략이나 기업 경영과 같은 많은 중요한 영역에서, 의사결정자(Decision-Maker, DM)는 불확실성 하에 행동하며, 선택된 행동의 결과만이 관찰된다. 경쟁 관계에 있는 대리인인 고문(Adviser, AD)은 권고안을 제공하지만, 선택되지 않은 권고안들의 결과는 관찰되지 않는 반사실적 정보로 남는다.

핵심 질문은 다음과 같다: 외부 관찰자가 오직 관찰된 결정, 권고, 그리고 실현된 결과의 시퀀스에만 의존하여, 어떤 에이전트가 더 많은 정보를 가졌는지 식별할 수 있는가?

본 논문은 '더 많은 정보를 가졌다'는 개념을 블랙웰 순서(Blackwell ordering)를 사용하여 공식화한다. 즉, 한 에이전트가 다른 에이전트의 정보에 추가적인 사적 정보를 더 보유하고 있는 상태를 의미한다. 에이전트들은 공적 테스트에 의해 '승자'로 선택되는 것을 유일한 목표로 하는 전략적 주체로 모델링된다. 이는 에이전트 간의 제로섬 게임을 유발한다. 본 논문은 스코어링 테스트(scoring test)—각 관찰에 수치적 점수를 부여하고 평균 점수가 더 높은 에이전트를 선택하는 규칙—가 평형 상태에서 더 많은 정보를 가진 에이전트를 성공적으로 식별할 수 있는지 조사한다.

2. 방법론 및 프레임워크

모델 구조

저자들은 상호작용을 $n$개의 팔(arms, 행동)을 가진 반복적 밴딧(bandit) 환경으로 모델링한다.

• 에이전트: 의사결정자(DM)와 고문(AD). 한 명은 정보 $r$(더 많은 정보 보유)을 가지고, 다른 한 명은 정보 $q$(더 적은 정보 보유)를 가진다. 여기서 $r$은 $q$의 정교화된 형태이다.
• 관찰: 각 기간마다 DM은 팔 $a_{DM}$을 선택하고, AD는 팔 $a_{AD}$를 제안한다. 오직 $a_{DM}$의 실현 결과만이 관찰된다.
• 인센티브: 두 에이전트는 순수하게 전략적이며, 테스트에 의해 선택될 확률을 극대화하는 것을 목표로 한다. 이들은 사회적 후생(social welfare)에는 관심이 없으며, 오직 그것이 테스트 결과에 영향을 미칠 때만 고려한다.
• 테스트 정의: 스코어링 함수 $s: O \to \mathbb{R}$는 모든 결과 삼중항 $(a_{DM}, a_{AD}, u_{DM})$에 점수를 부여한다. 승자는 이 점수들의 극한 평균에 의해 결정된다.

분석 접근법

본 논문의 핵심 방법론적 기여는 불완전 정보 하의 복잡한 반복적 상호작용을 완전 정보 하의 일회성 상호작용으로 환원하는 것이다.

1. 분리(Separation) vs 식별(Identification): 저자들은 스코어링 함수가 일회성 제로섬 게임에서 더 많은 정보와 더 적은 정보를 가진 에이전트를 구별할 수 있다면 이를 '분리하는(separating)' 것이라고 정의한다.
2. 등가성 정리(Equivalence Lemmas):
   • 정리 1: 만약 스코어링 함수가 분리 가능하다면, 대응하는 스코어링 테스트는 변화하는 환경에서도 더 많은 정보를 가진 에이전트를 식별할 수 있다.
   • 정리 2: 만약 분리 가능한 스코어링 함수가 존재하지 않는다면, 고정된 환경에서도 어떤 스코어링 테스트도 더 많은 정보를 가진 에이전트를 식별할 수 없다.
3. 완전 정보 환원: 함수가 분리 가능한지 결정하기 위해, 저자들은 두 에이전트가 공통 사전 확률 $p$를 공유하고 사적 신호가 없는 게임 $G(s, p)$를 분석한다.
   • 정리 3: 분리를 위한 필요 조건은 모든 사전 확률 $p$에 대해 게임 $G(s, p)$의 가치가 0이어야 한다는 것이다.
   • 정리 4: 특정 가정 하에서, 분리는 $G(s, p)$에서 결합을 깨는(tie-breaking) 에이전트의 최적 전략이 모든 사전 확률에 대해 후생을 극대화하는 팔을 유일하게 식별할 것을 요구한다.

3. 주요 결과

본 논문은 동시적 결정 설정과 순차적 결정 설정 사이의 이분법, 그리고 식별과 후생 사이의 근본적인 트레이드오프를 확립한다.

A. 동시적 결정 (Simultaneous Decisions)

정리 1 (긍정적 결과): 동시적 결정이 이루어지는 설정과 변화하는 환경에서는, 더 많은 정보를 가진 에이𝙩를 식별할 수 있는 스코어링 테스트가 존재한다.

• 메커니즘: 제안된 테스트는 에이전트들이 일치할 경우($a_{DM} = a_{AD}$) 실현된 후생과 동일한 점수를 부여하고, 불일치할 경우 후생에 비례하는 음(-)의 점수를 부여한다.
• 논리: 더 많은 정보를 가진 에이전트는 정보 구조 전반에 걸쳐 최적일 때 적은 정보를 가진 에이전트의 행동에 맞춤으로써 양(+)의 기대 점수를 보장할 수 있는 반면, 적은 정보를 가진 에이전트는 모든 정보 구조에서 이러한 행동을 일관되게 모방할 수 없다.

정리 2 (부정적 결과 - 후생 트레이드오프): 이진 팔(binary-arm) 환경의 동시적 결정 설정에서, 더 많은 정보를 가진 에이전트를 식별하면서 동시에 최적 후생의 절반 이상을 달성할 수 있는 스코어링 테스트는 존재하지 않는다.

• 시사점: 더 나은 에이전트를 식별하는 데 성공하는 테스트는 DM을 제로섬 게임으로 몰아넣어, 그들이 자신을 방어하기 위해 행동을 무작위화하도록 강제한다. 이러한 무작위화는 최악의 시나리오에서 심각하게 차하적인 후생(무작위 추측의 성능에 근접함)을 초래한다.

B. 순차적 결정 (Sequential Decisions)

정리 3 (불가능성 결과): 고정된 환경의 순차적 결정 설정에서는, 더 많은 정보를 가진 에이전트를 식별할 수 있는 스코어링 테스트가 존재하지 않는다.

• 이유: 순차적 설정에서는 추종자(follower)가 리더의 선택에 항상 반응할 수 있다. 저자들은 어떤 스코어링 테스트에 대해서도 추종자가 사적 정보 없이도 비음(-)의 점수를 보장할 수 있음을 보여주며, 이로 인해 테스트가 정보 수준을 구별할 수 없게 된다고 설명한다.

특수 사례에서의 뉘앙스 (안전한 팔 vs 위험한 팔):

• 명제 1: 환경이 하나의 안전한 팔과 하나의 위험한 팔로 구성되어 있고, 고문이 먼저 행동하는 경우, 식별이 가능하다. 더 많은 정보를 가진 에이전트는 위험한 팔의 실현에 대한 DM의 정보 부족을 이용할 수 있다.
• 명제 2: 동일한 안전/위험 설정에서 의사결정자가 먼저 행동하는 경우, 식별은 불가능하다. DM의 안전한 팔 선택은 위험한 팔의 반사실적 결과를 숨겨버리므로, AD가 우월한 정보를 증명하는 것을 방해한다.

4. 의의 및 주장

본 논문은 반사실적 정보가 없는 상황에서 의사결정의 질을 평가하는 것과 최적의 행동을 유도하는 것 사이의 긴장을 해결한다고 주장한다.

1. 식별의 가능성: 저자들은 반사실적 정보가 식별을 불가능하게 만든다는 직관과 달리, 동시적 설정에서는 단순한 스코어링 규칙을 통해 더 많은 정보를 가진 에이전트를 식별하는 것이 가능하다는 것을 입증했다.
2. 식별의 비용: 논문은 심각한 한계를 강조한다: 더 나은 에이전트를 식별할 수 있게 해주는 바로 그 메커니즘(제로섬 스코어링 게임)이 에이전트의 후생 극대화 동기를 파괴한다. 논문은 식별을 달성하는 것은 필연적으로 DM의 행동이 실제 후생이 아닌 테스트에 의해 좌우되는 '차하적인' 평형으로 이어진다고 주장한다.
3. 전략적 데이터의 성격: 이 연구는 전략적 환경에서 공공이 관찰하는 데이터가 테스트를 통과하려는 에이전트들의 시도에 의해 형성된다는 점을 강조한다. 이는 반사실적이 단순히 관찰되지 않을 뿐 조작되지 않는 비전략적 인과 추론 문제와 구별되는 지점이다.
4. 스코어링 테스트의 한계: 결과는 스코어링 테스트가 동시적 설정에서는 식별에 충분할 수 있지만, (순서나 안전/위험 구조와 같은 특정 구조적 제약이 충족되지 않는 한) 순차적 설정에서는 근본적으로 불충분함을 시사한다.

결론적으로, 본 논문은 "승자를 뽑기 위한" 테스트를 설계하는 것은 가능하지만, 이는 의사결정자의 성과를 희생하는 대가를 치러야 하며, 이는 유능한 리더를 선출하려는 공공의 욕구와 현재의 좋은 결정을 보장해야 하는 필요성 사이의 내재적 갈등을 만들어낸다고 밝히고 있다.