Distributional Change in Ordinal Data with Missing Observations: Minimal Mobility and Partial Identification

이 논문은 결측치가 존재하는 반복 횡단면 데이터에서 순서형 변수의 분포 변화를 측정하기 위해, 확률 질량의 최소 재배치를 기반으로 한 '최소 이동' 개념을 도입하고 부분 식별 접근법을 통해 민감도 분석이 가능한 엄밀한 추정 구간을 제시합니다.

핵심

이 논문은 **"우리가 가진 정보가 불완전할 때, 두 집단 사이의 변화가 얼마나 컸는지, 그리고 그 변화가 어떻게 일어났을지 추측하는 새로운 방법"**을 제시합니다.

한마디로 요약하면: **"누가 어디로 이동했는지 정확히 알 수 없는 상황에서, '가장 적은 이동'만으로도 두 상황을 설명할 수 있는 최소한의 시나리오를 찾아내는 방법"**입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "누가 어디로 갔는지 모르는 마법 상자"

상상해 보세요. 두 개의 큰 도시 (A 도시와 B 도시) 가 있습니다. 우리는 두 도시의 인구 분포를 알고 있습니다.

• A 도시: 부자 40%, 중산층 30%, 서민 20%, 빈곤층 10%
• B 도시: 부자 20%, 중산층 30%, 서민 30%, 빈곤층 20%

우리는 두 도시의 **전체적인 비율 (마진)**만 알고 있을 뿐, **어떤 사람이 A 에서 B 로 이동했는지 (결합된 데이터)**는 모릅니다. 또한, 설문조사에 답하지 않은 사람 (결측치) 도 있어서 데이터가 100% 완벽하지도 않습니다.

기존 통계 방법은 "A 와 B 의 비율이 달라졌으니 변화가 있었다"라고만 말합니다. 하지만 **"얼마나 많은 사람이 계단을 오르내려야 이 변화가 설명될 수 있을까?"**는 질문에 답하지 못합니다.

2. 해결책: "최소 이동 원리 (Minimal Mobility)"

저자는 이렇게 질문합니다.

"만약 우리가 마법으로 사람들을 A 에서 B 로 옮길 수 있다면, **가장 적은 노력 (이동)**으로 A 의 분포를 B 로 바꿀 수 있는 방법은 무엇일까?"

이를 위해 **'최적 수송 (Optimal Transport)'**이라는 개념을 사용합니다.

• 비유: A 도시의 사람들이 B 도시의 빈자리로 들어가는 '이동 비용'을 계산하는 것입니다.
• 원리: 1 층에 있던 사람이 4 층으로 바로 점프하는 것보다, 1 층에서 2 층으로, 2 층에서 3 층으로 한 칸씩 이동하는 것이 비용이 적게 듭니다. 저자는 **"가장 비용이 적게 드는 이동 방식"**을 찾아냅니다.

이렇게 찾아낸 이동 방식을 **'최소 이동 구성 (Minimal-Mobility Configuration)'**이라고 부릅니다.

• 의미: "이 변화가 일어났다면, 적어도 이만큼은 사람들이 움직였을 것이다"라는 필수적인 기준을 제시합니다.
• 중요한 점: 이것이 실제 일어났던 모든 이동을 보여주는 것은 아닙니다. 또한, 이 최소 이동을 설명하는 방식이 단 하나의 정해진 청사진 (Blueprint) 만 있는 것도 아닙니다. 대신, **"어떤 최소 이동 설명이든 반드시 포함해야 하는 공통된 특징"**을 보여줍니다. 즉, 가능한 모든 최소 이동 시나리오의 집합을 의미하며, 그 안에서 변화의 본질을 파악합니다.

3. 데이터가 부족할 때: "범위로 제시하는 불확실성"

실제 데이터에는 설문조사에 답하지 않은 사람 (결측치) 이 있습니다.

• "답하지 않은 사람들은 부자였을까, 빈곤층이었을까?" 우리는 모릅니다.

저자는 **"가장 나쁜 경우 (Worst-case)"**를 가정하여 가능한 모든 시나리오를 계산합니다.

• 데이터가 완벽할 때: 결측치가 없다면, 이동의 크기를 **단 하나의 정확한 숫자 (Point Estimate)**로 계산할 수 있습니다.
• 데이터가 불완전할 때: 결측치가 있다면, 이동의 크기를 하나의 숫자로 확정할 수 없습니다. 대신, **"변화의 크기는 최소 0.12 에서 최대 0.34 사이일 것이다"**라고 **범위 (Interval)**를 제시합니다.

이 범위는 단순히 통계적 오차가 아니라, 데이터가 불완전하기 때문에 발생할 수 있는 이동의 최대와 최소 한계를 의미합니다. 이는 특정 변수 간의 의존성 (Fréchet bounds) 을 다루는 것과는 구별되며, **카테고리 간 이동 (Extremal Movement)**의 한계를 다룹니다.

4. 실제 사례: 아랍 바로미터 (Arab Barometer)

이론을 실제 데이터에 적용해 보았습니다.

• 대상: 이라크와 모로코 사람들이 "미국에 대한 호감도"를 1 단계 (매우 호감) 에서 4 단계 (매우 불호) 로 평가한 데이터.
• 질문: "시간이 지나면서 사람들의 호감도가 어떻게 변했을까?"

결과:

1. 변화는 작지 않다: 최소한 인구의 4%~12% 정도가 호감도 등급을 바꿔야만 두 시기의 데이터를 설명할 수 있었습니다. (단순한 오차가 아니라 실제 변화가 있었다는 뜻)
2. 점진적인 변화: 사람들은 갑자기 1 단계에서 4 단계로 점프하기보다, 이웃한 단계 (예: '호감'에서 '약간 불호'로) 로만 이동하는 경향이 강했습니다.
3. 결측치의 영향: 설문에 답하지 않은 사람이 누구였든, 결론의 **핵심 구조 (점진적 이동)**는 변하지 않았습니다. 다만, 데이터가 불완전하므로 정확한 수치는 범위로 제시됩니다.

5. 핵심 교훈: "무엇을 알 수 있고, 무엇을 알 수 없는가"

이 논문의 가장 큰 메시지는 **"우리가 모르는 것 (결합된 데이터) 을 억지로 추측하지 않고, 우리가 아는 것 (마진) 으로 할 수 있는 최소한의 결론을 내는 것"**입니다.

• 기존 방법: "아직 모르니 비교할 수 없다"거나, "가정 (예: 무작위 이동) 을 하고 계산한다."
• 이 논문의 방법: "가정을 하지 않는다. 대신 '가장 적은 이동'으로 설명 가능한 시나리오를 보여준다. 만약 이 최소한의 이동으로도 설명이 안 된다면, 그건 더 큰 변화가 있었을 거야."

이 논문이 제시하는 기준은 도덕적 판단을 내리는 규범적 (Normative) 기준이 아니라, 데이터가 논리적으로 허용하는 극단적 (Extremal) 또는 해석적 (Interpretive) 기준입니다. 즉, "이 정도는 움직였을 수밖에 없다"는 논리적 필연성을 보여줍니다.

요약

이 논문은 불완전한 데이터 속에서도 "두 집단 사이의 변화가 얼마나 컸는지"와 "그 변화가 어떤 형태로 일어났을지"를 가장 보수적이고 논리적인 기준으로 보여줍니다. 마치 미스터리 사건에서 용의자의 정확한 동선을 알 수는 없지만, "최소한 이 정도는 움직였을 거야"라고 필수적인 이동 경로를 그려주는 것과 같습니다.

이는 정책 입안자나 연구자들이 "데이터가 부족해서 아무것도 못 한다"고 포기하지 않고, 신뢰할 수 있는 최소한의 근거 (완벽한 데이터면 정확한 숫자, 불완전하면 그 범위) 를 바탕으로 변화를 이해하고 의사결정을 내리는 데 도움을 줍니다.

기술 요약

1. 연구 문제 (Problem)

• 배경: 많은 실증 분석에서 집단 간 또는 시계열에 따른 서열형 변수 (예: 만족도, 신뢰도 등) 의 분포를 비교할 때, 반복 횡단면 데이터를 사용합니다. 이 경우 개별 수준의 이동 (transition) 을 추적할 수 없어 결합 분포 (joint distribution) 는 식별되지 않으며, 오직 한계 분포 (marginal distributions) 만 관찰됩니다.
• 제약 조건:
  1. 결합 분포의 비식별성: 두 시점 (또는 집단) 의 한계 분포만 주어졌을 때, 이를 연결하는 결합 분포는 무수히 많을 수 있어, 관찰된 차이가 어떻게 발생했는지 (개인이 어떻게 이동했는지) 를 파악하기 어렵습니다.
  2. 결측 데이터 (Missing Data): 실제 데이터에서는 무응답 (nonresponse) 으로 인해 한계 분포조차 완전히 관찰되지 않는 경우가 흔합니다.
• 핵심 질문: 결합 분포에 대한 정보가 없으면서도, 관찰된 한계 분포 간의 차이를 설명하기 위해 **필요한 최소한의 확률 질량 재배분 (minimal reallocation of probability mass)**은 얼마이며, 그 형태는 어떻게 되는가?

2. 방법론 (Methodology)

가. 최적 수송 (Optimal Transport) 기반 측정 및 식별

• 측도 정의: 저자는 분포 변화의 크기를 L1 거리로 정의합니다.
  $$D(\mu, \nu) = \sum_{k=1}^{K-1} |F_\mu(k) - F_\nu(k)|$$
  여기서 $F_\mu, F_\nu$는 각 분포의 누적 분포 함수 (CDF) 입니다.
• 최적 수송의 역할: 본 연구에서 최적 수송 (Optimal Transport) 표현 자체는 새로운 것이 아닙니다. 저자의 핵심 기여는 이 최적 수송 이론을 활용하여, 주어진 한계 분포 정보와 일치하는 가능 집합 (feasible set) 내의 최소 재배분 (minimal reallocations) 을 체계적으로 특징짓는 것입니다. 특히 결측 데이터 하에서 이러한 집합이 어떻게 변화하는지를 규명합니다.
• 식별 결과의 형태:
  • 완전 관찰 시: 한계 분포가 완전히 관찰된 경우, 분포 변화의 크기에 대한 **점 추정치 (point estimate)**가 도출됩니다.
  • 결측 데이터 시: 결측 데이터로 인해 한계 분포가 부분적으로만 관찰될 경우, 분포 변화의 크기는 **부분 식별 (partially identified)**되어 식별 구간 (identification interval) $[\underline{D}, \overline{D}]$로 표현됩니다.
• 최소 이동 구성 (Minimal-Mobility Configurations):
  • 이 거리를 최소화하는 결합 분포 (coupling) 들은 단일한 고유한 구성이 아니라, 관찰된 한계 분포와 일치하는 **가능 집합 (feasible set)**을 형성합니다.
  • 이 집합은 실제 데이터 생성 메커니즘을 가정하지 않고, 관찰된 데이터가 요구하는 최소한의 질량 재배분 패턴들의 범위를 나타내는 해석적 기준 (interpretive benchmark) 또는 **극단적 기준 (extremal benchmark)**으로 기능합니다.
  • 이를 통해 분포 변화의 크기 (스칼라 값) 와 구조 (어떤 카테고리로 이동했는지) 에 대한 불확실성을 명시적으로 다룰 수 있습니다.

나. 부분 식별 (Partial Identification) 및 결측 데이터 처리

• 한계 분포의 식별 집합: 결측 데이터가 존재할 때, 실제 분포 $\mu$는 관찰된 분포 $\mu_{obs}$와 무응답자 분포 $\mu_{mis}$의 혼합으로 표현됩니다. 추가적인 가정 없이, $\mu$는 **Manski (2005)**의 방식에 따라 **정확한 상하한 (sharp bounds)**을 가진 식별 집합 $M_\mu$ 내에 존재합니다.
• 불일치 측정치의 식별 집합: 분포 차이 $D(\mu, \nu)$ 역시 부분적으로 식별됩니다. 저자는 식별 집합 $M_\mu$와 $M_\nu$ 내의 모든 가능한 분포 쌍에 대해 $D(\gamma, \eta)$를 최적화하여 식별 구간 $[\underline{D}, \overline{D}]$를 도출합니다.
• 단말점 조건부 최적 결합 (Endpoint-Conditioned Optimal Couplings):
  • 하한 $\underline{D}$와 상한 $\overline{D}$를 달성하는 결합 분포들의 집합을 정의합니다.
  • 이를 통해 결측 데이터의 불확실성 하에서도 최소 이동 패턴의 구조가 어떻게 변할 수 있는지에 대한 상하한을 제공합니다.
  • Fréchet 부등식과의 연결: 전통적인 Fréchet 부등식은 결합 확률의 상하한을 제공하지만, 본 연구에서는 이를 서열형 이동의 '비용' 관점에서 확장하여, **카테고리 간 극단적인 이동 (extremal movement across categories)**을 특징짓는 상하한으로 해석합니다. 이는 단순한 종속성 (dependence) 의 극단값이 아니라, 분포 변화를 설명하기 위해 필요한 이동의 극단적 패턴을 의미합니다.

다. 추론 (Inference)

• 부트스트랩 (Bootstrap): Horowitz and Manski (2000) 의 방법을 사용하여 표본 변동성과 식별 불확실성 (결측 데이터로 인한) 을 모두 고려한 신뢰구간을 구성합니다.

3. 주요 기여 (Key Contributions)

1. 해석 가능한 분포 변화 측정: 기존 확률 우세 (stochastic dominance) 나 단순 차이 분석을 넘어, 최소 이동 비용이라는 경제적/실질적 의미를 가진 스칼라 측정치 (점 추정치 또는 구간) 를 제시합니다.
2. 구조적 기준 제공: 단순한 수치 차이가 아니라, 분포 변화를 일으키기 위해 **반드시 발생해야 하는 이동 패턴들의 가능 집합 (feasible set of minimal-mobility configurations)**을 시각화하고 구조화합니다. 이는 실제 데이터 생성 메커니즘이 아니라, 관찰된 데이터가 요구하는 '최소한의 변화'를 규명하는 해석적 기준입니다.
3. 결측 데이터에 대한 강건한 추론: 결측 데이터가 있을 때, 분포 변화의 크기와 구조 모두에 대해 부분 식별 (partial identification) 접근법을 적용하여, 불확실성을 명시적으로 다루는 식별 구간과 결합 구조를 제공합니다.
4. Fréchet 부등식의 확장: 전통적인 Fréchet 부등식을 서열형 이동의 '비용' 관점에서 확장하여, 카테고리 간 **극단적인 이동 패턴 (extremal movement)**을 특징짓는 상하한을 도출함을 보여줍니다.

4. 실증 결과 (Results: Arab Barometer 데이터)

• 데이터: 아랍 바로미터 (Arab Barometer) 의 이라크와 모로코에 대한 미국에 대한 호의성 (4 점 척도) 조사 데이터 (Wave 7 vs Wave 8) 를 사용했습니다.
• 주요 발견:
  1. 필요한 최소 이동: 두 국가 모두에서 관찰된 분포 차이를 설명하기 위해 **인구 중 약 4%~12%**가 응답 범주를 변경해야 함이 확인되었습니다. 이는 단순한 무작위 오차가 아닌 체계적인 재배분이 필요함을 의미합니다.
  2. 이동의 구조: 최소 이동 가능 집합은 주로 **인접한 카테고리 간의 이동 (local transitions)**으로 이루어져 있습니다. 즉, 극단적인 양극화 (원격 카테고리 간 이동) 보다는 점진적인 태도 변화가 주를 이룹니다.
  3. 결측 데이터에 대한 강건성: 결측 데이터 (무응답) 로 인해 변화의 '크기'는 불확실하지만, 이동의 '구조' (인접 카테고리 간 이동이 주를 이룸) 는 식별 집합의 하한과 상한에서 모두 유사하게 유지되었습니다. 이는 결론이 결측 데이터 처리 방식에 민감하지 않음을 시사합니다.

5. 의의 및 결론 (Significance)

• 방법론적 의의: 구조적 모델을 가정하지 않고도, 오직 한계 분포 정보만으로 분포 변화의 '필요 조건'을 규명할 수 있는 새로운 도구를 제공합니다. 특히 완전 관찰 시에는 점 추정치를, 결측 데이터 시에는 부분 식별 구간을 제공하여 유연한 분석을 가능하게 합니다.
• 실증적 의의: 패널 데이터가 없는 상황에서 (중동 및 북아프리카 등), 반복 횡단면 데이터를 통해 사회경제적 변화의 본질을 더 깊이 있게 이해할 수 있게 합니다.
• 정책적 함의: 관찰된 분포 차이를 설명하기 위해 실제로 필요한 최소한의 사회적 이동 (mobility) 을 정량화함으로써, 정책 개입의 필요성과 규모를 평가하는 객관적인 기준을 제시합니다.

요약하자면, 이 논문은 최적 수송 (Optimal Transport) 이론을 경제학/계량경제학의 부분 식별 (Partial Identification) 문제와 결합하여, 결측 데이터가 있는 서열형 데이터의 분포 변화를 크기와 구조 측면에서 동시에 해석할 수 있는 강력한 프레임워크를 제시했습니다. 핵심은 최적 수송 표현의 novelty 가 아니라, 이를 활용하여 한계 정보 하에서 가능한 최소 재배분 집합을 특징짓는 방법론에 있습니다.