🤖 machine learning

The Costs of Pretending That There Are Data-Generating Probability Distributions in the Social World

이 논문은 사회적 맥락에서 데이터 생성 확률 분포의 존재를 가정하는 것이 해롭고 오해의 소지가 있으므로, 이를 버리고 실제 관련 모집단에 초점을 맞추는 대안적 프레임워크를 채택할 것을 주장합니다.

원저자: Benedikt Höltgen, Robert C. Williamson

게시일 2026-04-23

📖 3 분 읽기☕ 가벼운 읽기

원저자: Benedikt Höltgen, Robert C. Williamson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎲 1. 주사위와 사람: 왜 같은 원리가 통하지 않을까?

우리는 머신러닝을 배울 때, **"데이터는 어떤 보이지 않는 '진짜 확률 분포'라는 큰 그릇에서 뽑아낸 샘플이다"**라고 배웁니다. 마치 주사위를 던질 때 '1 이 나올 확률은 1/6'이라는 진짜 규칙이 존재하는 것처럼 말이죠.

주사위 (도박): 주사위는 기계적이고 변하지 않습니다. 공장에서 똑같이 만들어졌고, 던지는 방식만 같다면 결과는 항상 일정합니다. 여기서 '진짜 확률'이라는 개념은 유용합니다.
사람 (사회): 하지만 사람은 주사위가 아닙니다. 사람은 매일 변하고, 상황에 따라 다르게 행동하며, 과거의 데이터가 미래에도 똑같이 반복된다는 보장이 없습니다.

저자들은 **"사람을 대상으로 할 때, 마치 주사위처럼 고정된 '진짜 확률'이 존재한다고 믿는 것은 착각"**이라고 말합니다. 우리는 그 '진짜 규칙'을 발견하는 것이 아니라, 우리가 만든 데이터와 모델을 통해 인위적으로 확률을 만들어내는 것입니다.

🧩 2. 퍼즐 조각을 어떻게 맞추느냐에 따라 그림이 달라진다 (추상화의 함정)

머신러닝 모델은 사람을 예측할 때, 사람을 몇 가지 특징 (나이, 성별, 소득 등) 으로 요약합니다. 이를 '추상화'라고 합니다.

비유: 사람을 예측할 때, 우리는 마치 거대한 퍼즐을 맞추는 것과 같습니다.
- "이 사람은 30 대 남성이고, 고소득자다"라고만 본다면, 이 사람은 '고소득 30 대 남성'이라는 퍼즐 조각 하나입니다.
- 하지만 여기에 "이 사람은 흡연자다", "이 사람은 특정 지역에 산다"는 조각을 더 붙이면, 그 사람의 모습은 완전히 달라집니다.

논문은 **"어떤 특징 (조각) 을 선택하느냐에 따라 예측 결과가 완전히 달라진다"**고 지적합니다. 그런데 기존의 머신러닝 이론은 "어떤 특징을 쓰든, 그 뒤에 숨겨진 '진짜 확률'을 찾아내는 것"이라고 말합니다. 이는 마치 **"어떤 조각을 쓰든 최종 완성된 그림은 하나뿐이다"**라고 믿는 것과 같습니다. 하지만 실제로는 조각을 어떻게 고르느냐에 따라 완성된 그림 (예측 결과) 이 천차만별입니다.

🎭 3. "객관성"이라는 가면 (가장 위험한 부분)

가장 큰 문제는, 이 '진짜 확률'이라는 개념이 인공지능을 객관적이고 과학적인 것처럼 보이게 만든다는 점입니다.

상황: 고용 기관이 "이 지원자는 구직 성공 확률이 80% 입니다"라고 말합니다.
착각: 사람들은 "아, 이건 데이터가 말해주는 진짜 사실이구나"라고 생각합니다. 마치 주사위 확률처럼 변하지 않는 진리인 것처럼요.
현실: 그 80% 는 연구자가 "어떤 데이터를 모았는지", "어떤 특징을 중요하게 봤는지", "어떤 모델을 선택했는지"에 따라 인위적으로 계산된 숫자일 뿐입니다.

저자들은 이 '객관성'이라는 가면이 책임 회피를 부추긴다고 말합니다. "우리는 그냥 데이터가 말하는 대로 했을 뿐, 진짜 확률을 찾아낸 것뿐"이라고 말하며, 모델이 만든 편견이나 실수에 대한 책임을 회피하는 것입니다.

🛠 4. 우리가 해야 할 일: '진짜 규칙 찾기'가 아닌 '좋은 도구 만들기'

이 논문은 머신러닝의 목표를 바꿔야 한다고 제안합니다.

기존 생각: "우리는 세상에 숨겨진 **진짜 확률 분포 (진리)**를 찾아내야 한다."
새로운 생각: "우리는 특정 목적에 맞춰 가장 잘 작동하는 도구를 만들어야 한다."

비유:

기존: 우리는 바다에 숨겨진 보물 (진짜 확률) 을 찾아야 한다.
새로운 생각: 우리는 배를 타고 가고 싶은 곳 (사회적 목표) 으로 안전하게 도달할 수 있는 최고의 항해 도구를 만들어야 한다.

이렇게 생각하면, "왜 이 모델을 선택했는가?", "어떤 데이터를 기준으로 했는가?"에 대한 명확한 설명과 책임이 따라오게 됩니다.

💡 요약: 이 논문이 우리에게 주는 메시지

사람은 주사위가 아니다: 사회 현상에는 고정된 '진짜 확률'이 없습니다.
모델은 발견이 아닌 창조입니다: 우리가 만든 데이터와 선택에 따라 확률이 만들어집니다.
객관성은 환상입니다: "데이터가 말해주니까"라고 말하며 책임을 회피하지 마세요.
목표를 다시 생각하세요: '진짜 답'을 찾는 게 아니라, '우리가 원하는 좋은 결과'를 내는 모델을 만드는 데 집중하세요.

결론적으로, 우리는 인공지능을 마법 같은 객관적 진리가 아니라, 우리가 만든 선택과 가치관이 담긴 도구로 바라보고, 그 선택에 대해 더 투명하게 논의해야 한다고 말합니다.

이 논문은 기계학습 (ML) 과 통계학에서 널리 사용되는 **'데이터 생성 확률 분포 (Data-Generating Distribution, Gen-D)'**의 가정이 사회과학적 맥락, 특히 사람을 대상으로 한 예측에서 왜곡된 결과를 초래하고 해로울 수 있음을 비판적으로 분석합니다. 저자들은 사회 세계에는 진정한 확률 분포가 존재하지 않으며, 이러한 가정을 유지함으로써 발생하는 비용 (오해, 책임 회피, 불공정성 등) 을 지적하고, 이를 대체할 수 있는 대안적 프레임워크를 제안합니다.

다음은 논문의 문제 제기, 방법론, 주요 기여, 결과 및 의의에 대한 상세한 기술적 요약입니다.

1. 문제 제기 (Problem)

기존의 통념: 기계학습 연구 (공정성 알고리즘 포함) 는 관측된 데이터가 어떤 '진짜' 데이터 생성 확률 분포에서 독립적이고 동일하게 분포된 (i.i.d.) 표본으로 추출되었다는 가정에 기반합니다. 이를 통해 과거 데이터로부터 분포를 학습하고 미래 데이터를 예측할 수 있다고 믿습니다.
핵심 비판: 저자들은 사회 세계 (사람에 대한 예측) 에서는 이러한 '진짜' 확률 분포가 존재하지 않는다고 주장합니다.
- 구성된 확률: 확률은 발견되는 것이 아니라 (discovered), 맥락과 모델링 선택에 따라 구성되는 (constructed) 것입니다.
- 불안정성: 사회 데이터는 시간, 인구 집단, 특성 (attributes) 의 정의에 따라 급격히 변합니다. 예를 들어, 특정 인구 집단의 범죄율이나 신용 불이행률은 관찰된 기간이나 표본의 크기에 따라 '진짜' 확률로 간주될 수 없을 정도로 불안정합니다.
- 해로운 영향: Gen-D 가정은 모델이 '진실'에 접근하고 있다는 착각을 불러일으켜, 모델 설계 시의 가치 판단과 선택 (예: 입력 공간의 선택, 추상화 수준) 을 은폐하고 객관성의 환상을 조성합니다.

2. 방법론 및 이론적 접근 (Methodology)

저자들은 Gen-D 가정이 학습 이론의 필수 조건이 아님을 증명하기 위해 다음과 같은 방법론을 사용합니다.

유한 인구 (Finite Population) 프레임워크:
- 무한한 모집단이나 추상적인 확률 분포 대신, 유한한 데이터 집합 (Population) 자체를 분석의 단위로 삼습니다.
- 확률론적 가정 (i.i.d. 등) 을 제거하고, **집계 측정 (Counting Measure, $\mu$ )**을 사용하여 가능한 모든 표본 추출 (샘플링) 에 대한 일반화 오차를 분석합니다.
수학적 증명 (Symmetrisation Lemma 및 일반화 경계):
- Vapnik 의 학습 이론을 유한 인구 맥락으로 재구성합니다.
- Lemma 1 & 2 (대칭화 보조정리): 유한한 urn(그릇) 에서 복원 추출 (sampling with replacement) 대신 **불복원 추출 (sampling without replacement)**을 가정하여, 훈련 집합과 나머지 집합 간의 오차 관계를 유도합니다.
- Theorem 3 (일반화 경계): 유한한 데이터 집합 $l+k$ 개에서 훈련 세트 $l$ 개를 추출할 때, 학습된 가설의 일반화 오차가 임계값 $\epsilon$ 을 초과할 확률의 상한을 유도합니다.
- 결과: 이 정리는 무한한 분포를 가정하지 않아도, 충분히 큰 표본 크기에서 훈련 오차와 전체 집합 (테스트) 오차가 유사함을 수학적으로 보여줍니다. 즉, Gen-D 가정 없이도 학습과 일반화를 설명할 수 있습니다.

3. 주요 기여 (Key Contributions)

Gen-D 가정의 부재 증명: 사회과학적 맥락에서 '진짜' 데이터 생성 분포는 존재하지 않으며, 이는 이상화 (idealization) 를 넘어 해로운 환상임을 논증합니다.
학습 이론의 대안 제시: 확률 분포에 의존하지 않고 유한 인구 기반의 학습 이론을 제시하여, 기존 이론의 수학적 엄밀함을 유지하면서 더 현실적인 프레임을 제공합니다.
모델 다중성 (Model Multiplicity) 의 개념적 재해석:
- 기존에는 모델 다중성 (동일한 성능을 내지만 서로 다른 예측을 하는 여러 모델) 을 단순한 근사 문제나 데이터 부족으로 보았습니다.
- 저자들은 Gen-D 가정이 없다면, 이는 근본적인 개념적 문제임을 지적합니다. '진짜' 확률이 없으므로, 어떤 모델이 '최적 (Bayes-optimal)'인지 정의할 수 없으며, 이는 공정성 - 정확성 트레이드오프 논의에도 영향을 줍니다.
객관성의 환상 해체:
- ML 모델이 '진짜 확률'을 추정한다는 주장은 모델 설계자의 선택 (특히 추상화 (Abstraction) 및 입력 공간 $\mathcal{X}$ 의 선택) 을 은폐합니다.
- 예: "누가 범죄를 저지를까?"를 예측할 때, 어떤 속성 (나이, 성별, 거주지 등) 을 포함할지 결정하는 것은 모델의 선택이지, 데이터가 가진 객관적 사실이 아닙니다.
공정성 및 책임성 논의 확장:
- Gen-D 프레임워크는 공정성을 '최적성 (Bayes-optimal) 에서의 편차'로 보게 만듭니다. 하지만 Gen-D 가정이 없다면, 공정하고 정확한 모델을 찾는 것이 '진실'에 다가가는 것이 아니라, 사회적 목적에 부합하는 모델 구축임을 명확히 합니다.

4. 결과 및 실증적 증거 (Results & Evidence)

ACS Income 데이터셋 분석:
- 미국 4 개 주 (CA, FL, NY, TX) 의 인구조사 데이터를 사용하여 모델의 예측이 훈련 데이터의 시간 범위 (1 년 vs 4 년) 에 따라 어떻게 변하는지 분석했습니다.
- 결과: 최적화된 모델 (Tuned GBM) 의 경우, 훈련 기간이 달라지면 약 10% 의 데이터 포인트에서 예측 값이 10% 이상 달라졌습니다. 이는 '진짜' 분포가 존재한다면 안정적이어야 한다는 Gen-D 가정과 모순됩니다.
- 또한, 주 (State) 간 전이 (Transfer) 시 예측 정확도와 공정성 기준이 예측 불가능하게 변하는 것을 확인했습니다.
신용 불이행 (Credit Default) 시나리오:
- 매우 희귀한 특성 조합 (예: 고소득 + 특정 조건) 을 가진 소수의 데이터 포인트가 있을 때, 그들 중 2/3 가 불이행했다면 '진짜' 확률이 2/3 라고 말하는 것은 비합리적임을 지적했습니다. 이는 데이터가 분포에서 샘플링된 것이 아니라, 특정 맥락에서 구성된 것임을 보여줍니다.
공정성 - 정확성 트레이드오프:
- 기존 연구들은 공정성과 정확성 사이의 트레이드오프가 이론적 한계라고 주장했으나, 최근 실증 연구 (본 논문 포함) 는 정확성을 희생하지 않고도 차별을 줄일 수 있는 모델이 존재함을 보여줍니다. 이는 '진짜' 분포를 근사한다는 전제가 잘못되었음을 시사합니다.

5. 의의 및 시사점 (Significance)

사회적 맥락에서의 ML 적용: 사람을 대상으로 한 예측 (채용, 대출, 형사 사법 등) 에서는 확률 분포를 가정하는 것을 중단해야 합니다. 대신 유한한 인구 집단과 명시적인 모델링 선택에 초점을 맞춰야 합니다.
책임성 (Accountability) 강화: 모델이 '객관적인 진실'을 반영한다는 주장은 설계자의 선택 (어떤 데이터를 포함할지, 어떤 속성을 정의할지) 을 숨깁니다. Gen-D 가정을 버리면 이러한 선택들이 명시적으로 논의되고 정당화되어야 합니다.
공정성 연구의 방향 전환: 공정성 알고리즘은 '진짜 분포'를 왜곡하지 않는 것이 아니라, 특정 사회적 목표 (예: 특정 집단의 불이익 최소화) 를 위해 모델을 설계하는 것으로 재정의되어야 합니다.
추상화 (Abstraction) 의 중요성: 입력 공간 $\mathcal{X}$ 의 선택 (어떤 변수를 포함할지) 이 예측 결과에 결정적인 영향을 미치므로, 이는 '데이터의 문제'가 아니라 '모델링의 핵심 선택'으로 다뤄져야 합니다.

결론

이 논문은 기계학습이 사회 문제를 해결할 때, '데이터 생성 분포'라는 수학적 환상에 의존함으로써 발생하는 위험을 경고합니다. 저자들은 확률이 발견되는 것이 아니라 구성됨을 강조하며, 유한 인구 기반의 학습 이론을 통해 더 투명하고 책임 있는 ML 시스템을 구축할 수 있음을 주장합니다. 이는 특히 공정성과 관련된 알고리즘 개발에서 모델의 '객관성'을 맹신하지 않고, 설계자의 선택과 그 사회적 영향을 적극적으로 논의하도록 요구합니다.