Coarsening Latent-Class Probabilities: Directional Distortion and Coverage Loss

당신이 어떤 사람들이 승진하고 어떤 사람들은 하지 못하는지에 대한 미스터리를 풀려는 탐정이라고 상상해 보십시오. 당신은 그것이 그들의 '그룹', 즉 그들의 배경이나 자라온 환경과 관련이 있다고 의심합니다. 하지만 여기 함정이 있습니다. 공식 기록에는 그 사람이 어떤 그룹에 속하는지 나와 있지 않습니다. 대신, 당신에게는 매우 똑똑한 컴퓨터 프로그램이 있어서 이 사람의 이력서를 보고 이렇게 말합니다. "이 사람은 A 그룹일 확률이 80%, B 그룹일 확률이 15%, C 그룹일 확률이 5%입니다." 이것을 **확률 벡터(probability vector)**라고 합니다. 이는 미묘하고 상세한 추측입니다.

데이터 과학의 세계에서 이것은 흔한 도구입니다. 하지만 때때로 사람들은 더 단순한 방식을 택하기도 합니다. 그들은 그 화려한 80-15-5의 추측을 보고는, "에이, 그냥 가장 큰 숫자를 고르자. 이 사람은 확실히 A 그룹이야"라고 말합니다. 그들은 15%와 5%를 버리고, 부드럽고 흔들리는 추측을 **하드 레이블(hard label)**로 바꿉니다. 이것은 흐릿한 얼굴이 찍힌 고해상도 사진을 보고, 그 위에 굵은 검은색 마커로 덧칠하여 그 사람이 오직 한 가지 존재라고 결정해 버리는 것과 같습니다. 문제는, 이 지름길이 우리의 조사를 방해하느냐는 것입니다. 상세한 확률을 단순한 "예/아니오" 또는 "A 그룹"이라는 레이블로 바꾸는 것이 진실을 측정하는 우리의 능력을 망가뜨릴까요?

Marcell T. Kurbucz가 작성한 이 논문은 바로 그 문제에 대해 깊이 파고듭니다. 저자는 묻습니다. 만약 우리가 정교하게 조정된 확률 벡터(똑똑하고 미묘한 추측)를 가져다가 하드 레이블(단순하고 경직된 카테고리)로 뭉개버린다면, 우리의 결과에는 어떤 일이 벌어질까요? 논문은 이 "조대화(coarsening)"가 단순히 작은 실수가 아니라, 방향성을 가진 왜곡이라고 밝혀냅니다. 당신이 풍속계를 측정하려고 한다고 상상해 보십시오. 만약 당신이 민감한 풍속계를 단순한 "북쪽 또는 남쪽" 표지판으로 바꾼다면, 당신은 가끔 방향은 맞출 수 있겠지만, 동쪽이나 서쪽에서 바람이 얼마나 강하게 불고 있는지에 대한 모든 정보는 잃게 될 것입니다. 논문은 이 지름길이 단순히 결과를 축소하는 것이 아니라, 특정 방향으로 결과를 뒤틀어 놓으며, 어떤 차이는 실제보다 작아 보이게 만들고 다른 차이는 거의 그대로 두기도 한다는 것을 보여줍니다.

가장 놀랍고 유용한 발견은, 최종 분석을 실행하기도 전에 우리가 왜곡이 얼마나 심할지를 정확히 예측할 수 있다는 점입니다. 저자는 우리가 이미 가지고 있는 데이터(확률과 다른 정보들)만을 사용하여, 결과가 얼마나 뒤틀릴지 알려주는 수학적 "왜곡 지도"(**조대화 연산자(coarsening operator)**라고 불림)를 개발했습니다. 논문은 시뮬레이션을 수행하고 투표 기록이나 입사 지원서와 같은 실제 데이터를 통해 이를 증명합니다. 한 테스트에서, 하드 레이블을 사용하는 것이 확률 벡터를 사용하는 것보다 신뢰 구간(진답이 숨어 있을 가능성이 높은 범위)을 39% 더 좁게 만들었지만, 실제 답을 포착하는 비율은 단 1%에 불ことに 불과했습니다. 그것은 매우 정밀해 보이는 거짓말이었습니다.

또한 이 논문은 컴퓨터가 무작위적인 실수를 한다고 가정함으로써 이 문제를 나중에 "수정"할 수 있다는 생각에 반박합니다. 저자는 컴퓨터가 실수를 하는 방식이 무작위가 아니라, 데이터의 특정 세부 사항과 연결되어 있음을 보여줍니다. 만약 당신이 무작위 오류를 가정하는 기존의 방법들을 사용하여 이를 교정하려 한다면, 상황을 더 악화시킬 수도 있습니다. 대신, 이 논문은 만약 반드시 하드 레이블을 사용해야 한다면, 적어도 자신이 무엇을 잃고 있는지 정확히 알아야 한다고 제안합니다. 하지만 가장 좋은 조언은 무엇일까요? 뉘앙스를 버리지 마십시오. 확률 벡터를 유지하십시오. 그것은 흐릿하지만 정확한 지도를 보는 것과, 그 위에 마커로 덧칠하여 절벽으로 곧장 달려가게 만드는 것의 차이입니다.

핵심 발견: "왜곡 지도"

이 논문의 주요 발견은, 상세한 확률 추측을 단순한 하드 레이블로 대체할 때, 당신이 단순히 노이즈를 추가하는 것이 아니라 데이터에 특정한 불균형한 필터를 적용하고 있다는 것입니다. 3D 물체를 곡면 거울을 통해 보는 것과 같습니다. 물체의 어떤 부분은 늘어나고, 어떤 부분은 찌그러지며, 어떤 부분은 옆으로 뒤틀립니다.

저자는 이를 **조대화 연산자(coarsening operator)**라고 부릅니다. 이것은 당신의 실제 효과(그룹 간의 실제 차이)를 가져와서 왜곡된 버전을 내뱉는 수학적 기계입니다. 논문은 이 왜곡이 당신이 버린 정보에 전적으로 달려 있음을 증명합니다. 만약 당신이 버린 정보(15%와 5%의 추측)가 당신이 유지한 정보와 전혀 관련이 없다면 괜찮았을 것입니다. 하지만 현실 세계에서 버려진 정보는 대개 유지한 정보와 관련이 있습니다. 그래서 왜곡이 발생합니다.

결정적으로, 논문은 이 왜곡이 **이방성(anisotropic)**임을 보여줍니다. 이는 "방향에 따라 다르다"는 뜻의 어려운 단어입니다. 만약 당신이 A 그룹과 B 그룹 사이의 차이를 측정하고 있다면, 하드 레이블은 그 차이를 절반으로 줄일 수 있습니다. 하지만 A 그룹과 C 그룹 사이를 측정한다면, 그것은 10%만 줄일 수도 있습니다. 단순히 "결과가 20% 작아졌다"라고 말할 수 없습니다. "결과가 이 특정 방향으로 작아졌다"라고 말해야 합니다.

"커버리지(Coverage)"의 함정

하나의 가장 극적인 발견은 **신뢰 구간(confidence intervals)**에 관한 것입니다. 통계학에서 "우리는 X와 Y 사이에 답이 있을 것이라고 95% 확신한다"라고 말할 때, 우리는 실험을 100번 반복한다면 실제 답이 그 범위 안에 95번은 들어올 것이라고 기대합니다.

논문은 연구자들이 하드 레이블을 사용할 때 어떤 일이 벌어지는지 시뮬레이션했습니다. 그들은 하드 레이블이 실제보다 더 좋아 보인다는 것을 발견했습니다. 하드 레이블은 숫자를 더 정밀해 보이게 만들어 구간(interval)을 더 좁게 만듭니다. 그것은 더 타이트하고 자신감 넘치는 추측처럼 보입니다. 하지만 그 구간의 중심이 왜곡에 의해 이동했기 때문에, 실제 답을 거의 매번 놓치게 됩니다.

한 시뮬레이션에서, 논문은 하드 레이블(구체적으로, 가장 가능성 높은 그룹을 선택함)을 사용한 후, 결과적인 구간이 원래보다 39% 더 좁아졌음을 보여주었습니다. 하지만 95%의 확률로 진실을 포착하는 대신, 단 **1%**의 확률로만 진실을 포착했습니다. 그것은 매우 좁고, 매우 자신만만하며, 완전히 틀린 추측이었습니다. 논문은 당신이 결과를 발표하기도 전에, 이미 가지고 있는 데이터만을 사용하여 이 현상이 얼마나 심각할지 계산할 수 있는 공식을 제공합니다.

실전 감사(Audit): 지름길이 실패하는 순간

저자는 단순히 수학에 그치지 않고, 이론이 통하는지 확인하기 위해 실제 데이터로 테스트했습니다.

1. 투표율 감사: 논문은 인종적 격차가 있는지 확인하기 위해 노스캐롤라이나의 투표 기록을 조사했습니다. 투표자 명부에 인종이 항상 기재되어 있지는 않았기에, 성씨 기반의 확률(성씨를 바탕으로 한 추측)을 사용했습니다. 전체 확률 벡터를 사용했을 때는 서로 다른 그룹 간의 투표율 격차가 명확히 나타났습니다. 하지만 하드 레이블(가장 가능성 높은 인종을 선택함)로 전환했을 때, 그 격차는 눈에 띄게 줄어들었습니다. 하드 레이블은 불평등을 실제보다 작게 보이게 만들어, 결과적으로 불평등을 은폐하는 효과를 냈습니다.
2. 입사 지원서 감사: 인종에 따른 소득 편향을 확인하기 위해 직업 지원 데이터셋을 살펴보았습니다. 여기서 논문은 반전된 결과를 발견했습니다. "하드 레이블" 접근 방식이 어떤 경우에는 오히려 더 잘 작동했는데, 이는 수학적으로 옳았기 때문이 아닙니다. 그것은 컴퓨터의 추측이 소득에 직접적인 영향을 미치는 요소(예: 직함)에 기반했기 때문에 발생한 일이며, 이는 실험의 규칙을 위반하는 것이었습니다. 하드 레이블이 우연히 그 잘못된 정보를 "필터링"해 버린 것입니다. 이를 통해 저자는 당신이 소프트(soft) 방식이나 하드(hard) 방식 중 하나를 맹목적으로 신뢰해서는 안 되며, 왜 컴퓨터가 그러한 추측을 하는지 확인해야 한다는 교훈을 얻었습니다.

이것이 당신에게 의미하는 바

이 논문은 우리에게 컴퓨터의 추측을 사용하지 말라고 말하는 것이 아닙니다. 그것들을 사용하면서 더 단순한 방식을 택하지 말라고 말하는 것입니다.

• 뉘앙스를 버리지 마십시오: 만약 당신에게 확률 벡터(60/30/10 분할)가 있다면, 그것을 사용하십시오. 그냥 60을 선택하지 마십시오.
• 당신의 왜곡을 파악하십시오: 만약 반드시 하드 레이블을 사용해야 한다면, 이 논문은 당신이 진실을 얼마나 왜곡하고 있는지 계산할 수 있는 도구를 제공합니다. 어떤 방향이 찌그러지고 어떤 방향이 늘어나는지 볼 수 있습니다.
• "자신감 있는" 거짓을 경계하십시오: 좁은 신뢰 구간이 항상 좋은 것은 아닙니다. 만약 당신이 데이터를 조대화(coarsening)했다면, 그 좁은 구간은 함정일 수 있으며, 틀린 답에 대해 잘못된 확신을 줄 수 있습니다.

논문은 하드 레이블이 단순하기 때문에 유혹적이지만, 숨겨진 세금인 '방향성 왜곡'을 동반한다고 결론짓습니다. 우리는 이 세금을 측정할 수 있고 예측할 수도 있지만, 이 세금을 내지 않는 유일한 방법은 상세한 확률을 분석 과정에서 계속 살려두는 것입니다. "곡면 거울" 효과는 실재하며, 세상의 진짜 모습을 보는 유일한 방법은 그 반영 위에 덧칠하는 것을 멈추는 것입니다.