On topological and algebraic structures of categorical random variables

이 논문은 엔트로피와 대칭적 불확실성 (SU) 을 기반으로 범주형 확률변수에 대한 거리 함수를 정의하고, 이를 적절한 몫 공간으로 확장하여 위상과 호환되는 자연스러운 가환 모노이드 구조를 제시합니다.

핵심

이 논문은 **"범주형 데이터 (숫자가 아닌 카테고리 데이터) 들 사이의 친밀감을 측정하고, 그들을 수학적으로 하나의 '가족'처럼 다루는 방법"**을 제시합니다.

일반적인 통계에서는 숫자 데이터 (예: 키, 몸무게) 를 주로 다루지만, 현실 세계의 많은 데이터는 '성별', '취향', '직업'처럼 숫자가 아닌 **카테고리 (범주)**로 이루어져 있습니다. 이 논문은 이런 데이터들을 어떻게 비교하고, 어떻게 서로 연결할지 새로운 수학적 규칙을 만들었습니다.

이 복잡한 내용을 세 가지 쉬운 비유로 설명해 드리겠습니다.

---

1. 친밀감 측정기: "서로 얼마나 닮았을까?" (대칭적 불확실성, SU)

우리가 두 사람을 비교할 때 "이 두 사람은 성격이 비슷해"라고 말하듯, 데이터 사이에도 **비슷함 (유사성)**을 측정할 수 있습니다.

• 기존의 문제: 예전에는 데이터가 얼마나 많은지 (카테고리 수) 에 따라 비슷함의 척도가 왜곡되는 경우가 많았습니다.
• 이 논문의 해결책: 저자들은 **'SU(Symmetric Uncertainty, 대칭적 불확실성)'**라는 새로운 자를 만들었습니다.
  • 비유: imagine 두 개의 주사위를 던져보세요.
    • 주사위 A 와 B 가 완전히 독립적이라면 (서로 상관없음), A 의 결과를 알더라도 B 를 전혀 예측할 수 없습니다. 이때 SU 값은 0입니다. (완전 낯선 사이)
    • 주사위 A 와 B 가 똑같이 움직인다면 (완전 상관), A 를 알면 B 를 100% 알 수 있습니다. 이때 SU 값은 1입니다. (완전 쌍둥이 사이)
  • 이 논문의 핵심은 이 SU 값을 이용해 두 데이터가 얼마나 '가까운 친구'인지, 혹은 '먼 친척'인지 0 과 1 사이의 점수로 정확히 매길 수 있다는 것입니다.

2. 거리와 지도: "친구들 사이의 거리를 재다" (위상수학적 구조)

이제 이 '친밀감 점수 (SU)'를 뒤집어서 거리로 바꿉니다.

• 공식: 거리 = 1 - SU
  • 친밀감이 1 이면 거리는 0 (완전 동일).
  • 친밀감이 0 이면 거리는 1 (완전 다름).

이제 우리는 수많은 데이터들을 하나의 지도 위에 올려놓을 수 있습니다.

• 비유: 이 지도는 우리가 평소에 보는 지도와 비슷하지만, 점들이 서로 얼마나 닮았는지에 따라 모여 있는 지도입니다.
  • '취미가 비슷한 사람들'은 지도에서 서로 가까이 모여 있고, '완전히 다른 사람들'은 멀리 떨어져 있습니다.
  • 이 논문의 놀라운 점은, 이 지도가 단순히 점들이 흩어져 있는 게 아니라, 매우 정교하고 연속적인 구조를 가지고 있다는 것을 증명했다는 것입니다. 즉, 데이터 A 와 B 사이에는 무한히 많은 '중간 단계'의 데이터들이 존재할 수 있다는 뜻입니다.

3. 데이터의 결혼식: "두 데이터를 하나로 합치기" (대수적 구조)

이제 이 지도 위의 데이터들을 서로 **결합 (Operation)**할 수 있는 규칙을 만들었습니다.

• 작동 원리: 두 개의 데이터 (예: '성별'과 '직업') 를 합쳐서 새로운 데이터 ('성별 + 직업'이라는 복합 카테고리) 를 만드는 것입니다.
• 비유:
  • A (성별): {남자, 여자}
  • B (직업): {의사, 교사}
  • A * B (결합): {남자 - 의사, 남자 - 교사, 여자 - 의사, 여자 - 교사}
  • 이 논문의 저자들은 이 결합 작업이 **수학적으로 매우 깔끔한 규칙 (가환 모노이드)**을 따른다고 증명했습니다.
  • 쉽게 말해, "A 와 B 를 먼저 합치고 C 를 합치는 것"과 "B 와 C 를 먼저 합치고 A 를 합치는 것"이 결국 같은 결과를 낸다는 질서 정연한 규칙이 있다는 뜻입니다.

4. 가장 중요한 발견: "거리와 결합은 서로 잘 어울려요" (호환성)

이 논문이 가장 강조하는 부분은 **위상 (거리/지도)**과 **대수 (결합/규칙)**가 서로 모순 없이 완벽하게 어울린다는 것입니다.

• 비유:
  • **지도 (거리)**가 있다면, 두 사람이 가까이 있을 때 그들을 **결합 (결혼)**시키면, 새로운 부부도 여전히 원래 두 사람과 가까운 곳에 위치하게 됩니다.
  • 즉, 거리가 가까운 데이터들을 결합해도, 그 결과물이 갑자기 멀리 날아가지 않습니다.
  • 이는 수학적으로 매우 중요한데, 데이터 분석가들이 이 규칙을 이용해 복잡한 데이터를 다룰 때 예측 가능하고 안정적인 결과를 얻을 수 있음을 의미합니다.

---

💡 요약: 왜 이것이 중요한가요?

이 논문은 단순히 수학적 장난이 아니라, 실무자들에게 강력한 도구를 줍니다.

1. 정성적 데이터의 정량화: "취향", "성격", "의견" 같은 숫자가 아닌 데이터를 정확한 거리로 측정할 수 있게 되었습니다.
2. 새로운 통계 언어: 과거에는 숫자 데이터만 가능했던 '상관관계 분석'을 이제 모든 종류의 데이터에 적용할 수 있는 새로운 수학적 언어를 제공했습니다.
3. 안정적인 예측: 데이터들을 결합하고 분석할 때, 그 결과가 수학적으로 매우 안정적 (연속적) 이라는 것을 보장받게 되었습니다.

한 줄 요약:

"이 논문은 숫자가 아닌 데이터들 (카테고리) 을 서로 비교하는 **정교한 자 (SU)**를 만들고, 그들을 하나의 **질서 정연한 가족 (모노이드)**으로 묶으며, 이 두 가지가 완벽하게 조화를 이룬다는 것을 증명했습니다."

이제 통계학자들은 피어슨 상관계수 (숫자 데이터용) 를 쓰듯, 이 새로운 엔트로피 기반의 상관관계를 이용해 모든 종류의 데이터를 자유롭게 분석할 수 있게 되었습니다.

기술 요약

논문 요약: 범주형 확률변수의 위상 및 대수적 구조

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 범주형 (Categorical) 또는 명목형 (Nominal) 확률변수 간의 유사성과 상관관계를 측정하는 방법으로 '대칭적 불확실성 (Symmetric Uncertainty, SU)'이 널리 사용되어 왔습니다. SU 는 엔트로피와 결합 엔트로피를 기반으로 정의되며, 변수 간의 상관 정도를 0 에서 1 사이의 값으로 나타냅니다.
• 문제: 기존 연구에서는 SU 가 상관관계의 측도로서 기능하지만, 이를 엄밀한 수학적 구조 (위상 공간 및 대수적 구조) 로서 체계화한 연구는 부족했습니다.
  • SU 를 기반으로 한 거리 (Metric) 가 정의될 수 있는가?
  • 이 거리 공간이 가지는 위상적 성질은 무엇인가?
  • 범주형 변수들 사이에 자연스러운 대수적 연산 (예: 결합) 을 정의할 수 있으며, 이것이 위상 구조와 호환되는가?
• 목표: SU 를 기반으로 범주형 확률변수 공간에 거리 구조 (위상) 와 대수적 구조 (모노이드) 를 부여하고, 두 구조 간의 호환성 (연속성) 을 증명하는 것입니다.

2. 방법론 (Methodology)

저자들은 정보이론 (Information Theory) 의 기본 개념과 위상수학, 대수학을 결합하여 다음과 같은 단계를 밟았습니다.

• 기본 정의 및 개념 정립:

  • 엔트로피 (Entropy) 와 상호 정보량 (Mutual Information): Shannon 엔트로피 $H(X)$ 와 조건부 엔트로피 $H(X|Y)$ 를 기반으로 SU 를 정의합니다.
  • 대칭적 불확실성 (SU): $SU(X, Y) = 2 \left[ 1 - \frac{H(X, Y)}{H(X) + H(Y)} \right]$로 정의되며, 이는 상관관계의 측도로 작용합니다.
  • 구분 (Partition) 관점: 범주형 확률변수를 표본 공간의 분할 (Partition) 로 간주하여, 엔트로피를 분할의 엔트로피로 해석합니다.

• 동치 관계 및 몫 공간 (Quotient Space) 구성:

  • 구별 불가능성 (Indiscernibility): 두 확률변수 $X, Y$가 전단사 함수 $h$를 통해 $Y = h \circ X$ (거의 모든 곳에서) 로 표현될 때, 이를 '구별 불가능'하다고 정의합니다 ($X \sim Y$).
  • 몫 공간 $\mathcal{C}$: 구별 불가능한 변수들을 하나의 동치류 (Equivalence Class) 로 묶어 새로운 공간 $\mathcal{C}$를 정의합니다. 이는 SU 가 잘 정의되도록 하기 위한 필수 과정입니다.

• 거리 함수 및 위상 구조 도출:

  • 거리 정의: $d(X, Y) = 1 - SU(X, Y)$를 정의합니다.
  • 거리 공리 검증: $d$가 거리 함수 (Metric) 의 모든 조건 (비음성, 대칭성, 삼각부등식, 항등성) 을 만족함을 증명합니다. 이를 통해 $\mathcal{C}$는 거리 공간 (Metric Space) 이 됩니다.
  • 위상적 성질: 이 거리 공간이 이산적 (Discrete)이지 않음을 보였습니다 (예: 노이즈가 있는 사본을 통해 점근적으로 거리가 0 에 수렴하는 경우 존재).

• 대수적 구조 정의:

  • 결합 연산 (Joint Operation, $\ast$): 두 변수 $A, B$에 대해 $C(p) = (A(p), B(p))$로 정의되는 새로운 변수를 생성합니다. 이는 분할의 교집합 ($A \cap B$) 에 해당합니다.
  • 모노이드 구조: 이 연산이 결합법칙과 교환법칙을 만족하며, 항등원 (단일 결과만 가지는 변수) 을 가진다는 것을 증명하여 $\mathcal{C}$가 **가환 모노이드 (Commutative Monoid)**임을 보였습니다.

• 구조의 호환성 증명:

  • 위상 구조 (거리 $d$) 와 대수적 구조 (연산 $\ast$) 가 호환되는지, 즉 연산 $\ast: \mathcal{C} \times \mathcal{C} \to \mathcal{C}$가 연속 함수임을 증명합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

1. 범주형 변수를 위한 거리 메트릭의 엄밀한 정의:

   • SU 를 기반으로 한 $d(X, Y) = 1 - SU(X, Y)$가 유효한 거리 메트릭임을 증명했습니다.
   • 이는 기존에 유사성 (Similarity) 측도로만 쓰이던 SU 를, 위상수학적 거리로 변환하여 변수 간의 '거리'를 정량화할 수 있게 했습니다.

2. 가환 모노이드 구조의 발견:

   • 범주형 확률변수의 동치류 공간에 자연스러운 결합 연산 ($\ast$) 을 도입하고, 이 공간이 가환 모노이드 구조를 가진다는 것을 처음 증명했습니다.

3. 위상 - 대수적 호환성 (Topological-Algebraic Compatibility):

   • 주요 정리 (Theorem 4.6): 결합 연산 $\ast$가 거리 $d$에 의해 유도된 위상 구조 하에서 **연속 (Continuous)**임을 증명했습니다.
   • 이는 대수적 연산이 위상적 근사성을 보존함을 의미하며, 두 구조가 서로 모순되지 않고 조화롭게 작용함을 보여줍니다.

4. 실증적 예시:

   • 학생의 인턴십 지원 데이터 (청결함, 창의성, punctuality 등) 를 예로 들어, SU 를 계산하여 변수 간의 유사성을 정량화하고, '창의성'과 '채용 여부' 간의 높은 상관관계 (높은 SU, 낮은 거리) 를 시각화했습니다.

4. 의의 및 중요성 (Significance)

• 통계적 실용성 증대:
  • Pearson 상관관계 (연속형 변수용) 가 갖는 위상 및 대수적 체계가 범주형 변수 (SU 기반) 에도 적용 가능해졌습니다. 통계 실무자들은 이제 범주형 변수 간의 관계를 거리와 연산이라는 직관적인 수학적 틀에서 해석할 수 있게 되었습니다.
• 비모수적 (Non-parametric) 접근의 강화:
  • 데이터의 분포에 대한 가정이 필요 없는 엔트로피 기반의 측도를 수학적으로 엄밀한 구조로 격상시켰습니다.
• 향후 연구의 기초:
  • 이 연구는 2 변수 간의 관계를 넘어 $n$개의 변수에 대한 다변량 대칭적 불확실성 (MSU) 으로 확장 가능한 기반을 마련했습니다.
• 이론적 통합:
  • 정보이론 (엔트로피), 위상수학 (거리 공간), 대수학 (모노이드) 을 통합하여 범주형 데이터 분석에 대한 새로운 수학적 패러다임을 제시했습니다.

결론

이 논문은 단순한 상관관계 측도를 넘어, 범주형 확률변수 공간에 거리 메트릭과 가환 모노이드 구조를 부여하고, 이 두 구조가 연속성을 통해 호환됨을 증명함으로써, 범주형 데이터 분석을 위한 강력한 수학적 기반을 마련했습니다. 이는 통계학자와 데이터 과학자가 범주형 변수 간의 유사성과 관계를 더 정교하고 직관적으로 이해하고 활용할 수 있게 해줍니다.