Socio-Conformal Calibration in Complex Survey Data: Marginal Validity Is Not Enough for Subgroup Reliability

기술적 요약: 복잡한 설문 데이터의 사회-동조적 보정

문제 제기
설문 기반 사회 측정에 적용된 머신러닝 시스템은 집합적으로 유효할 뿐만 아니라 인구 하위 집단 전반에 걸쳐 신뢰할 수 있는 불확실성 추정이 필요합니다. 동조적 예측 (Conformal Prediction, CP) 은 엄격하고 분포에 무관한 주변 마진 커버리지 보장을 제공하지만, 이러한 집합적 보장은 인구통계학적 하위 집단 간의 커버리지에 존재하는 상당한 불균형을 은폐할 수 있습니다. 이는 설계 기반 가중치와 교차적 인구통계학적 셀을 특징으로 하는 복잡한 설문 환경에서 특히 중요합니다. 여기서 "얇은" 보정 셀 (예: 50 개 미만의 관측치) 은 주변 유효성과 하위 집단 신뢰성이 급격히 분리되게 만들 수 있습니다. 본 논문은 이러한 환경, 특히 서열형 AI 태도 예측을 위해 표준 CP 방법과 그 집단별 확장 (Mondrian CP) 이 공정한 불확실성 정량을 보장할 수 있는지 조사합니다.

방법론
본 연구는 Pew Research Center American Trends Panel(152 파동, $n=4,591$) 의 데이터를 사용하여 100 분할 경험적 프레임워크를 적용합니다. 실험 설계는 다음과 같습니다:

1. 데이터 및 하위 집단: 결과는 예상 AI 영향에 대한 5 단계 서열 척도입니다. 분석은 4 개 인종/민족 범주와 3 개 교육 수준을 교차 표로 만든 12 개 교차 하위 집단에 초점을 맞춥니다. 셀 크기는 분할당 32 개에서 355 개의 관측치까지 크게 달라 "얇은 셀" 불안정성 조건을 조성합니다.
2. 기본 예측기: 네 가지 모델이 평가됩니다: 사전 기준선 (주변 빈도), 순서형 로지스틱 회귀, 2 층 다층 퍼셉트론 (MLP), 그리고 XGBoost입니다. 모든 모델은 서열형 결과를 위한 누적 분포 함수 (CDF) 기반 비동조 점수를 구성하기 위해 클래스 확률을 생성합니다.
3. 보정 방법: 명목상 $\alpha=0.10$(90% 커버리지 목표) 에서 세 가지 동조적 보정 전략이 비교됩니다:
   • 표준 분할 동조적: 보정 세트에서 유도된 단일 전역 임계값을 사용합니다.
   • Mondrian 동조적: 집단 내 조건부 커버리지를 달성하기 위해 12 개 하위 집단 각각에 대한 집단별 임계값을 추정합니다.
   • 정규화된 Mondrian: 얇은 셀의 불안정성을 완화하기 위해 James-Stein 스타일 가중치 체계 ($w_g = n_g / (n_g + \lambda)$, 여기서 $\lambda=50$) 를 사용하여 집단별 임계값을 전역 분위수 쪽으로 축소하는 새로운 비교기입니다.
4. 평가: 모든 지표는 인구 대표성을 보장하기 위해 설문 가중치가 적용됩니다. 주요 지표에는 가중치 주변 커버리지, 가중치 하위 집단 커버리지, 가중치 하위 집단 격차 (최대 - 최소 커버리지 차이), 그리고 가중치 평균 집합 크기 (효율성) 가 포함됩니다.

주요 기여

1. 하위 집단 불균형에 대한 경험적 증거: 본 연구는 표준 분할 동조적 예측이 모든 예측기에 걸쳐 명목상 주변 커버리지 (90% 목표에서 1 백분율 포인트 이내) 를 달성하지만, 인종 $\times$ 교육 셀 전반에 걸쳐 상당한 가중치 하위 집단 격차 (약 13 백분율 포인트) 를 남긴다는 것을 입증합니다.
2. Mondrian CP 에 대한 부정적 결과: 집단별 보정이 공정성을 향상시킨다는 이론적 기대와 달리, 본 논문은 순수 Mondrian CP 가 정보성 예측기 (XGBoost, MLP, 순서형 로지스틱) 에 대해 공정성 - 효율성 트레이드오프를 악화시킨다는 사실을 발견합니다. 구체적으로 XGBoost 의 경우, Mondrian 은 가중치 하위 집단 격차를 +0.013 증가시키고 가중치 집합 크기를 +0.036 증가시킵니다 (큰 효과 크기, $d_z=1.66$).
3. 실패 분석 및 메커니즘: 본 논문은 Mondrian 의 실패 배경 메커니즘을 "얇은 셀에서 집단별 임계값이 국소 점수 분포의 고유성에 과도하게 반응하는 보정 셀 분열과 집단별 신뢰도 불일치의 상호작용"으로 규명합니다. 얇은 셀에서 집단별 임계값은 소수의 관측치에서 추정되므로 국소 점수 분포의 고유성에 과도하게 반응하게 됩니다. 기본 예측기의 신뢰도 패턴이 집단 간에 변할 때 (XGBoost 의 경우와 같이), 이러한 과도한 반응은 커버리지 불균형을 완화하는 대신 증폭시킵니다.
4. 정규화된 비교기: 저자들은 얇은 셀의 임계값을 전역 값 쪽으로 축소함으로써 이러한 불안정성을 부분적으로 완화하는 정규화된 Mondrian 변형을 도입합니다. 이는 집합 크기 패널티를 줄이고 순수 Mondrian 에 비해 격차를 약간 개선하지만, 정보성 예측기에 대해서는 표준 동조적 예측에 비해 결정적인 공정성 향상을 제공하지는 않습니다.

결과

• 주변 유효성: 표준 동조적 예측은 100 개 분할 전반과 네 가지 예측기 전반에 걸쳐 유효한 주변 커버리지를 유지합니다.
• 하위 집단 격차: 표준 동조적 예측 하에서 XGBoost 의 가중치 하위 집단 격차는 0.135 입니다. Mondrian CP 는 이 격차를 0.147 로 증가시킵니다.
• 효율성: Mondrian CP 는 정보성 예측기에 대해 평균 예측 집합 크기를 증가시켜 (효율성 감소) XGBoost 의 경우 집합 크기를 3.240(표준) 에서 3.275(Mondrian) 로 증가시킵니다.
• 예측기 의존성: Mondrian CP 의 부정적 효과는 예측기의 정보성에 따라 달라집니다. 정보성이 없는 사전 기준선의 경우, Mondrian 은 실제로 격차와 집합 크기를 줄입니다. 그러나 집단 간 이질적인 점수 분포를 가진 예측기의 경우, Mondrian 은 불균형을 악화시킵니다.
• 설문 가중치: 무가중치에서 설문 가중치 평가로 전환하면 측정된 하위 집단 격차가 일관되게 증가합니다 (XGBoost 의 경우 약 +0.020), 이는 무가중치 분석이 복잡한 설문에서 불균형을 체계적으로 과소평가함을 확인시켜 줍니다.
• 민감도: 부정적 결과는 대체 결과 인코딩 ("불확실" 응답 병합 또는 이진 신뢰 항목 사용) 과 다른 하위 집단 세분화 (인종만 또는 교육만) 에 걸쳐 지속됩니다.

의의 및 주장
본 논문은 복잡한 설문 환경에서 하위 집단 신뢰성을 위해 명목상 주변 유효성만으로는 부족하다고 주장합니다. 보정 셀이 얇고 예측기가 집단별 신뢰도 패턴을 보일 때, 단순한 집단별 보정 (Mondrian CP) 은 신뢰할 수 있는 공정성 해결책이 아니라고 주장합니다. 발견된 바에 따르면, 주변 커버리지 증명서에만 의존하는 것은 체계적으로 소수 하위 집단을 과소 커버하는 시스템을 인증할 수 있습니다.

저자들은 복잡한 설문에서의 공정한 배포를 위해 실무자들이 주변 보장 이상으로 나아가야 한다고 결론지었습니다. 그들은 집단별 진단, 셀 크기 확인, 그리고 제안된 정규화된 Mondrian 과 같은 축소 비교기의 사용을 표준 배포 전 관행으로 권장합니다. 본 연구는 얇은 셀에서 이론적 조건부 커버리지 보장을 충족하는 것이 반드시 실용적 공정성 지표 (설문 가중치 최대 - 최소 격차) 를 개선하는 것은 아니며, 효율성을 저하시킬 수 있다는 근본적인 긴장 관계를 강조합니다.