📈 economics

Prediction Sets and Conformal Inference with Interval Outcomes

이 논문은 구간 관측치 (censored 또는 interval-valued) 를 가진 데이터에 대해 오라클 예측 구간을 추정하고, 유한 표본에서 유효하며 점근적으로 일관된 예측 집합을 구성하기 위해 컨포멀 추론을 적용하는 방법을 제안하고 실증 분석을 통해 그 유효성을 입증합니다.

원저자: Weiguang Liu, Áureo de Paula, Elie Tamer

게시일 2026-02-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Weiguang Liu, Áureo de Paula, Elie Tamer

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"정확한 숫자를 알 수 없을 때, 어떻게 미래를 가장 정확하게 예측할 수 있을까?"**라는 질문에 대한 해답을 제시합니다.

기존의 통계학은 보통 "다음 달의 월급이 300 만 원일 것이다"라고 점 (Point) 을 찍어 예측하는 데 집중했습니다. 하지만 현실에서는 "월급이 200 만 원에서 300 만 원 사이일 것이다"처럼 **범위 (Interval)**로만 알려지는 경우가 많습니다. (예: "연봉 5 천만 원~~6 천만 원", "통장 잔고 100 만 원~~200 만 원")

이 논문은 이런 **불완전한 정보 (범위 데이터)**를 가지고도, "정답이 이 안에 있을 확률이 90% 이다"라고 보장하면서도 가장 좁고 정확한 범위를 찾아내는 새로운 방법을 개발했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드리겠습니다.

1. 문제 상황: "어둠 속의 보물 찾기"

상상해 보세요. 어두운 방에 보물이 숨겨져 있습니다. 하지만 당신은 보물의 정확한 위치를 모릅니다. 대신, "보물은 A 구역과 B 구역 사이에 있다"라는 힌트만 받았습니다.

기존 방법 (구식): "아마도 A 구역의 중앙쯤 있겠지?"라고 점 하나를 찍습니다. 하지만 보물이 그 점과 조금만 멀어도 틀리게 됩니다.
이 논문의 방법: "보물은 A 구역과 B 구역 사이의 가장 좁은 공간에 있을 확률이 90% 이다"라고 그 공간을 표시합니다.

여기서 중요한 점은, 정답이 그 공간 안에 들어갈 확률을 90% 로 보장하면서도, 불필요하게 넓은 공간을 표시하지 않고 최소한의 공간을 찾아내는 것입니다. 이를 통계학자들은 '오라클 예측 집합 (Oracle Prediction Set)'이라고 부릅니다.

2. 핵심 기술 1: "불완전한 퍼즐 맞추기" (부분 식별)

보통 우리는 데이터가 명확할 때만 예측을 합니다. 하지만 이 논문은 "데이터가 일부 가려져 있어도 (Censored Data)" 어떻게 예측할지 다룹니다.

비유: 퍼즐이 100 조각인데 20 조각이 사라졌습니다.
- 기존 방식: 사라진 조각을 임의로 만들어서 (Imputation) 퍼즐을 완성하려 합니다. 하지만 이 가짜 조각이 틀리면 전체 그림이 왜곡됩니다.
- 이 논문의 방식: 사라진 조각을 만들지 않습니다. 대신, **"남은 80 조각으로 가능한 모든 퍼즐 그림을 그려보고, 그 그림들이 공통적으로 겹치는 부분"**을 찾습니다.
- 이 겹치는 부분이 바로 우리가 예측할 수 있는 가장 확실한 범위입니다. 이 방법은 가짜 조각을 끼워 넣는 실수를 방지하여 더 신뢰할 수 있는 결과를 줍니다.

3. 핵심 기술 2: "스마트한 안전벨트" (Conformal Inference)

예측을 할 때 "100 번 중 90 번은 맞아야 한다"는 규칙 (90% 신뢰도) 을 지키는 것은 중요합니다. 하지만 예측 모델이 처음에는 너무 넓게 잡거나 너무 좁게 잡을 수 있습니다.

이 논문은 **'콘포멀 예측 (Conformal Inference)'**이라는 기술을 도입했습니다.

비유: 스마트 안전벨트를 생각해보세요.
- 우리가 예측한 범위가 너무 넓다면 (안전벨트가 헐거우면), 자동으로 조여줍니다.
- 너무 좁다면 (안전벨트가 너무 꽉 끼면), 조금 더 넓혀줍니다.
- 이 조정은 과거의 데이터 (교정용 데이터) 를 보고 자동으로 이루어집니다.
- 결과적으로 **"어떤 상황에서도 100 번 중 90 번은 보물을 이 안전벨트 안에 넣을 수 있다"**는 것을 수학적으로 100% 보장합니다.

4. 실제 적용 사례: "실제 세상에서의 테스트"

이론만 좋은 게 아니라, 실제 데이터를 가지고 테스트했습니다.

영국 구직 광고 데이터:
- 많은 구직 공고가 "연봉 3 만~4 만 파운드"처럼 범위로만 적혀 있습니다.
- 이 방법으로 런던, 맨체스터 등 지역별 최저 연봉과 최고 연봉의 범위를 예측했습니다.
- 결과: 런던은 범위가 매우 넓게 나왔습니다 (고소득자와 일반 직원의 격차가 큼). 반면 다른 도시는 상대적으로 좁았습니다. 이는 단순한 '평균 연봉'만 알려주는 것보다 훨씬 풍부한 정보를 줍니다.
미국 인구조사 (CPS) 데이터:
- 사람들이 "월급이 얼마냐"고 물으면 "5 만~6 만 달러 사이"라고 대답하는 경우가 많습니다.
- 기존에는 이 데이터를 임의로 숫자로 바꾸어 분석했지만, 이 논문은 범위 그대로 분석했습니다.
- 결과: 범위를 그대로 분석했을 때, 고소득층의 분포가 임의로 숫자를 바꿨을 때보다 훨씬 더 넓고 정확하게 잡혔습니다. 즉, 데이터를 왜곡하지 않고도 더 정확한 예측이 가능했습니다.

5. 요약: 왜 이 연구가 중요한가요?

불확실성을 인정합니다: "정확한 숫자는 모른다"는 사실을 인정하고, 그 불확실성 속에서도 가장 좁고 확실한 범위를 찾아냅니다.
가짜 데이터를 만들지 않습니다: missing data(결측치) 를 임의로 채워 넣는 대신, 원래의 범위 정보를 최대한 활용합니다.
안전합니다: "이 범위를 믿어도 90% 는 맞다"는 것을 수학적으로 보장해 줍니다.

한 줄 요약:

"정확한 숫자를 알 수 없는 불완전한 세상에서, 가짜 숫자를 만들어내지 않고도 '정답이 이 좁은 공간 안에 있을 확률이 90% 이다'라고 수학적으로 보장된 예측을 해내는 새로운 나침반을 만들었습니다."

이 방법은 경제학뿐만 아니라 의료 (환자의 수명 예측), 금융 (리스크 관리), 기후 변화 예측 등 불확실성이 큰 모든 분야에 적용될 수 있는 강력한 도구입니다.

1. 연구 배경 및 문제 정의 (Problem)

배경: 경제 및 사회 과학 데이터에서 관측된 결과 변수 ( $Y$ ) 가 정확한 점 (point) 값이 아닌 구간 (interval) 으로 관측되는 경우가 빈번합니다. 예를 들어, 소득 조사에서 응답자가 정확한 금액 대신 소득 구간 (예: $10,000~$ 20,000) 을 선택하거나, 데이터가 우측/좌측에 절단 (censoring) 된 경우 등이 이에 해당합니다.
문제점:
- 기존 예측 방법론은 대부분 관측된 점 값을 가정하거나, 결측치를 임의의 값으로 대체 (imputation) 하는 방식을 사용합니다. 이는 모델의 가정에 의존하여 편향을 초래할 수 있습니다.
- 오라클 예측 집합 (Oracle Prediction Set): 주어진 오차 수준 ( $\alpha$ ) 하에서 결과 변수 $Y$ 를 포함하는 가장 작은 부피 (volume) 를 가진 예측 집합을 찾는 것이 이상적입니다. 그러나 $Y$ 가 구간으로만 관측될 경우 (부분 식별, partial identification), $Y$ 의 조건부 분포가 정확히 식별되지 않아 기존의 밀도 함수 기반 레벨 세트 (level set) 추정 방법이 적용되지 않습니다.
- 유한 표본 보장 (Finite-sample validity): 점 추정치나 분할된 데이터 기반의 예측 구간은 표본 크기가 작을 때 원하는 커버리지 (coverage) 를 보장하지 못할 수 있습니다.

2. 방법론 (Methodology)

이 논문은 부분 식별 (Partial Identification) 이론과 준형 추론 (Conformal Inference) 을 결합하여 구간형 결과 변수에 대한 예측 집합을 구축하는 새로운 프레임워크를 제시합니다.

A. 오라클 예측 집합의 정의 및 특성화

정의: 부분 식별 하에서, 관측된 데이터와 일관된 모든 가능한 분포 집합 ( $\mathcal{P}_I$ $P_{I}$ ) 에 대해 최소한의 부피를 가지면서 커버리지 조건을 만족하는 집합을 오라클 예측 집합으로 정의합니다.
- $C^*(x) = \arg \min_{C(x)} \mu(C(x)) \quad \text{s.t.} \quad \inf_{P \in \mathcal{P}_I} P(Y \in C(x) | X=x) \ge 1-\alpha$
실현 가능한 최적화 문제: $Y$ $Y$ 의 분포는 식별되지 않지만, 관측된 하한 ( $Y_L$ $Y_{L}$ ) 과 상한 ( $Y_U$ $Y_{U}$ ) 의 결합 분포는 식별 가능합니다. 저자들은 오라클 집합을 다음과 같이 실현 가능한 문제로 변환합니다.
- $C^*(x) = \arg \min_{C(x)} \mu(C(x)) \quad \text{s.t.} \quad P([Y_L, Y_U] \subset C(x) | X=x) \ge 1-\alpha$
- 즉, 관측된 구간 $[Y_L, Y_U]$ 가 예측 집합 $C(x)$ 에 포함될 확률이 $1-\alpha$ 이상이 되도록 합니다. 이는 불필요한 보수성을 초래하지 않습니다.

B. 일관성 있는 추정 (Consistent Estimation)

비모수 추정: 커널 기반 조건부 분포 추정기를 사용하여 위 최적화 문제의 표본 버전을 풉니다.
다중 구간 허용: 오라클 예측 집합이 단일 구간이 아닌 여러 개의 불연속 구간 (disjoint intervals) 의 합집합일 수 있음을 허용합니다 (예: 다봉 분포의 경우).
고정 절단 (Fixed Censoring) 처리: 데이터가 고정된 구간 (예: 설문지의 소득 구간) 으로만 관측되는 경우, 정확한 제약 조건을 풀면 일관성 (consistency) 이 깨질 수 있습니다. 이를 해결하기 위해 제약 조건에 작은 오차 항 ( $\psi_n$ ) 을 도입하여 근사 해를 구하는 방식을 제안합니다.

C. 준형 추론 (Conformal Inference) 을 통한 유한 표본 보장

목표: 점근적 일관성뿐만 아니라 유한 표본에서도 $1-\alpha$ 커버리지를 보장하는 예측 집합을 구성합니다.
준형 점수 (Conformity Score) 설계: 구간형 데이터를 처리하기 위해 새로운 점수 함수를 설계했습니다.
- 예측 집합 $C(x)$ 가 관측된 구간 $[Y_L, Y_U]$ 를 포함하면 점수가 음수, 포함하지 않으면 양수가 되도록 정의합니다.
- $s(y_L, y_U, x; C) = \inf \{ \theta : [y_L, y_U] \subset C(x) + [-\theta, \theta] \}$
- 이 점수를 사용하여 칼리브레이션 (calibration) 데이터에서 임계값을 구하고, 이를 예측 집합의 경계 조정 (expansion/shrinkage) 에 활용합니다.
로컬 준형 (Local Conformal): 조건부 커버리지를 개선하기 위해 공변량 공간을 구간으로 나누어 로컬하게 점수를 계산하는 방법도 제안합니다.

3. 주요 기여 (Key Contributions)

부분 식별 하의 오라클 예측 집합 특성화: 구간형 데이터 (interval-censored data) 에 대해 오라클 예측 집합을 정의하고, 이를 관측 가능한 $[Y_L, Y_U]$ 의 분포를 기반으로 하는 실현 가능한 최적화 문제로 변환했습니다.
다중 구간 및 불연속 데이터 처리: 예측 집합이 여러 개의 불연속 구간으로 구성될 수 있음을 허용하며, 고정된 구간 (discrete brackets) 으로 인한 비연속성을 처리할 수 있는 일관성 있는 추정기를 개발했습니다.
구간형 데이터를 위한 준형 추론 프레임워크: 기존 준형 추론이 점 값을 가정하는 것과 달리, 구간형 관측치를 직접 처리할 수 있는 새로운 준형 점수 함수를 제안했습니다. 이를 통해 유한 표본에서 분포에 무관한 (distribution-free) 커버리지 보장을 제공합니다.
비효율적인 대체 방법 대비 우월성: 기존에 사용되던 결측치 대체 (imputation) 기반의 방법이나 단순한 분할 회귀 (quantile regression) 기반 방법보다 더 작은 부피 (tighter intervals) 를 가지면서도 커버리지를 유지함을 증명했습니다.

4. 실험 결과 (Results)

모의 실험 (Monte Carlo Simulations):
- 다양한 시나리오 (이분산성, 다봉 분포, 고정 절단 등) 에서 제안된 방법 (CP, Local CP) 이 기존 분할 회귀 기반 방법 (CQR) 보다 더 작은 부피를 가지면서도 명목 커버리지 (nominal coverage) 를 잘 유지함을 확인했습니다.
- 특히 분포가 다봉 (multimodal) 인 경우, 단일 구간을 가정하는 기존 방법들은 오버커버리지를 초래하거나 부피가 커지는 반면, 제안된 방법은 다중 구간을 통해 효율성을 높였습니다.
실증 분석 (Empirical Applications):
1. 영국 구직 광고 데이터 (Adzuna): IT 산업의 연봉을 위치 (좌표) 와 직무 카테고리에 따라 예측했습니다.
  - 런던 등 대도시에서는 상한선이 매우 높게 예측되어 분산이 큰 것을 보여주었으며, 이는 점 추정치만으로는 포착하기 어려운 소득 불평등과 직무 다양성을 잘 반영했습니다.
2. 미국 현재 인구 조사 (CPS) 데이터: 교육 연수와 경력에 따른 소득을 예측했습니다.
  - 구간형 소득 데이터를 직접 활용했을 때, 결측치를 대체 (imputation) 한 경우와 비교하여 오른쪽 꼬리 (고소득층) 분포를 더 정확하게 포착했습니다.
  - 대체 방법을 사용할 경우 실제 커버리지가 명목 수준보다 크게 낮아지는 (under-coverage) 문제가 발생했으나, 제안된 방법은 이를 해결했습니다.

5. 의의 및 결론 (Significance)

통계적 엄밀성과 실용성의 조화: 부분 식별 이론을 통해 불확실성을 정량화하면서도, 준형 추론을 통해 실제 데이터 분석에서 필요한 유한 표본 보장을 제공합니다.
데이터 활용도 증대: 기존에는 결측치로 간주되거나 임의의 값으로 대체되던 구간형 응답 데이터를, 그 자체로 유효한 정보로 활용하여 더 정확한 예측 집합을 생성할 수 있게 합니다.
불확실성 정량화: 예측의 불확실성을 단순히 점 주위의 구간으로만 보는 것이 아니라, 결과 변수의 본질적 확률적 변동성 (stochastic nature), 부분 식별로 인한 모델 불확실성, 그리고 표본 오차를 모두 고려한 포괄적인 예측 집합을 제공합니다.
응용 가능성: 노동 시장 분석, 금융 리스크 관리, 의료 생존 분석 등 구간형 데이터가 빈번한 다양한 분야에서 적용 가능한 강력한 도구를 제시합니다.

이 논문은 불완전한 데이터 (구간형 관측치) 하에서도 신뢰할 수 있고 효율적인 예측을 수행할 수 있는 이론적 기반과 실용적 알고리즘을 제공한다는 점에서 중요한 기여를 합니다.