DisCo Algebra: Why Disintegration and Combination Are Not Inverses

기술 요약: DisCo 대수 (DisCo Algebra)

문제 정의
고차원 결합 확률 분포는 통계학 및 머신러닝의 핵심이지만, 근본적인 질문 하나가 여전히 해결되지 않은 채 남아 있다: 결합 분포를 더 단순한 부분들로 분해하고, 이후에 이를 다시 재조립했을 때 분해와 재조립이 역연산(inverse operations)이 될 수 있는가? 고전적 코퓰라 이론(Skalar의 정리)은 일변량 주변 분포와 코퓰라로의 분해를 제공하지만, 이는 분해가 어떻게 합성되는지 또는 재구성이 어떻게 연결되는지를 설명하는 대수적 구조가 결여된 분석적 진술에 불과하다. 또한, 블록 단위 의존성의 스칼라 요약(scalar summaries)이 고차원 설정에서 모든 블록 간 의존성을 포착하기에 충분한지도 불분명하다.

방법론
본 논문은 외부 변환, 파라미터 패밀리, 또는 풍부한 대상(enriched objects) 없이 순수 확률 측도 $P_n = \text{Prob}([0, 1]^n)$의 가계(family)를 기반으로 구축된 구성적 프레임워크인 DisCo 대수(Disintegration + Combination, 분해와 결합)를 소개한다. 이 프레임워크는 두 가지 구별되는 대수적 구조에 의존한다:

1. 대칭 코퍼레이드 (Symmetric Cooperad, 분해):

   • 메커니즘: 조인트 측도 $\mu \in P_n$은 좌표 분할 $I = (I_1, \dots, I_k)$를 따라 분해된다.
   • 내재적 요약: 외부 변환 대신, 본 프레임워크는 내재적이며 측도에 의해 결정되는 1차원 요약으로서 **블록별 결합 누적 분포 함수(CDFs)**를 사용한다. 블록 $I_j$에 대해, 요약 $\Psi_j$는 해당 블록의 좌표를 누적 질량(cumulative mass)을 나타내는 스칼라로 매핑한다.
   • 출력: 분해 사상 $\Delta_I$는 블록 주변 측도 튜플 $(\mu_1, \dots, \mu_k)$과 이러한 스칼라 요약들의 공간 상의 스켈레톤 측도(skeleton measure) $\Phi_k$를 생성한다.
   • 구조: 이는 표준 보렐 공간(standard Borel spaces) 상의 보렐 확률 측도에 대한 분해 정리를 통해 공합성(cocomposition)이 정의되는 대칭 코퍼레이드를 형성한다.

2. 비단위 부분 오퍼레이드 (Non-Unital Partial Operad, 결합):

   • 메커니즘: 결합 사상 $\gamma$는 스켈레톤 $\Phi_k$와 블록 측도 $(\mu_1, \dots, \mu_k)$로부터 조인트 측도를 재구성한다.
   • 재구성: 이는 정규 조건부 측도(regular conditional measures)를 활용하여 블록별 조건부 분포들의 곱을 스켈레톤 측도에 대해 적분한다: $\hat{\mu} = \int_{I^k} (\bigotimes_j \mu_j(\cdot | t_j)) d\Phi_k(t)$.
   • 제약 조건: 이는 $\Phi_k$의 주변 분포가 블록 요약의 푸시포워드(pushforwards)와 일치하는($(\pi_j)_*\Phi_k = (\Psi_j)_*\mu_j$) "허용 가능한(admissible)" 하위 클래스에서만 정의되므로 부분 오퍼레이드이다. 또한 구별된 항등 원소가 없으므로 **비단위적(non-unital)**이다; 합성은 엄격하게 분해의 출력값과 쌍을 이루도록 설계되었다.

주요 결과
본 논문은 분해와 결합이 일반적으로 역관계가 아님을 입증하며, 다음과 같은 핵심 발견을 도출한다:

• 연산의 비대칭성:
  • 결합 $\to$ 분해: 허용 가능한 입력에 대해서는 항등 사상이다. 호환 가능한 구성 요소들로부터 시작하여 이들을 결합하고 다시 분해하면 원래의 구성 요소들이 회복된다.
  • 분해 $\to$ 결합: 이는 재정규화 연산자(renormalization operator) $R_I = \gamma \circ \Delta_I$를 정의한다. 임의의 측도 $\mu$에 이를 적용하면 일반적으로 $\mu$와 다른 재구성된 측도 $\hat{\mu}$가 생성된다.
• 확률 곡률 (Probability Curvature, $K_I(\mu)$):
  • 원래의 측도와 재구성된 측도 사이의 불일치는 기대 조건부 쿨백-라이블러(KL) 발산으로 정의되는 확률 곡률로 정량화된다:
    $$K_I(\mu) := \mathbb{E}_{t \sim \Phi_k} \left[ D_{KL} \left( \mu(\cdot | t) \,\middle\|\, \bigotimes_{j=1}^k \mu_j(\cdot | t_j) \right) \right]$$
  • $K_I(\mu) = 0$인 것은 $\mu$가 결합 사상의 이미지에 속할 때(즉, 블록 간 의존성이 스칼라 블록 요약에 의해 완전히 포착될 때)와 동치이다.
• 정보 손실 분해:
  • 진정한 측도와 블록 주변 분포들의 곱 사이의 총 KL 발산은 두 항으로 분해된다:
    $$D_{KL}(\mu \,\|\, \bigotimes \mu_j) = D_{KL}(\Phi_k \,\|\, \Phi_k^{\text{ind}}) + K_I(\mu)$$
  • 첫 번째 항은 스칼라 요약 수준(스켈레톤 레벨)에서의 의존성을 측정한다.
  • 두 번째 항($K_I(\mu)$)은 1D CDF 기반 요약으로 포착할 수 없는 잔여 블록 간 의존성(곡률 레이어)을 측정한다.

의의 및 주장
본 논문은 이러한 결과들을 DisCo 프레임워크의 결함이 아니라, **고차원 확률 자체에 관한 난해성 결과(hardness result)**로 규정한다:

1. 표현력의 천장 (Expressive Ceiling): 본 프레임워크는 근본적인 한계를 보여준다: 단일 스칼라 요약을 사용하여 임의로 복잡한 블록 간 의존성을 완전히 설명할 수는 없다. "곡률"은 스칼라 인터페이스로 고차원 의존성을 압축할 때 발생하는 돌이킬 수 없는 정보 손실을 나타낸다.
2. 대수적 엄밀성: 확률 분해를 비단위 부분 오퍼레이드와 대칭 코퍼레이드로 정형화함으로써, 본 논문은 고전적 코퓰라 이론의 분석적 진술을 넘어 조인트 확률에 대한 엄밀한 대수적 구조를 제공한다.
3. 손실적 vs 무손실적 (Lossy vs Lossless): 분해는 손실적 압축(잔여 의존성을 버림)으로 특징지어지는 반면, 결합은 무손실 임베딩(스켈레톤이 인코딩할 수 있는 것을 정확히 재구성)으로 특징지어진다. 재정규화 연산자 $R_I$는 무엇이 손실되는지를 정확히 정량화한다.
4. 파이버 정보와의 구별: 본 논문은 확률 곡률이 블록 내부의 복잡성(파이버 정보)과 구별됨을 명시한다. 하나의 블록은 내부적으로 매우 구조화되어 있으면서도 다른 블록들과 독립적일 수 있고(곡률 0), 블록들은 개별적으로는 균등(uniform)할 수 있지만 강력한 블록 간 협응(nonzero curvature)을 보일 수도 있다.

결론적으로, DisCo 대수는 조인트 확률이 내재적인 "곡률" 장애물에 의해 영향을 받는 유도된 개념임을 밝혀낸다. 스칼라 블록 요약을 통한 압축은 결합의 역연산이 될 수 없으며, 이들 사이의 간극은 CDF 기반 차원 축소의 한계를 정의하는 측정 가능한 비음수(non-negative) 양이다.