🔢 mathematics

An Information Theoretic Proof of the Radon-Nikodym Theorem

이 논문은 라돈-니코딤 정리가 빈번하게 인용됨에도 불구하고 그 증명이 복잡하다는 인식 때문에 종종 생략되는 측면을 고려하여, 측도론과 정보 이론 사이의 간극을 메우는 것을 목표로 정보 이론적 개념을 사용한 접근하기 쉬운 라돈-니코딤 정리의 증명을 제시한다.

원저자: Peter Harremoës

게시일 2026-01-27

📖 4 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Peter Harremoës

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 측정할 수 없는 것을 측정하기

당신이 날씨를 설명하려고 한다고 상상해 보세요. 당신은 "비가 온다"라고 말할 수도 있고, "비가 올 확률이 30%이다"라고 말할 수도 있습니다. 수학에서 전자는 단순한 사실이지만, 후자는 측도(measure), 즉 사건에 값(확률)을 할당하는 방법입니다.

보통 수학자들은 이러한 값들을 다루기 위해 **측도론(Measure Theory)**이라는 매우 엄격하고 강력한 도구 상자를 사용합니다. 이 도구 상자에서 가장 유명한 도구 중 중 하나가 바로 **라돈-니코딤 정리(Radon-Nikodym Theorem)**입니다. 이 정리는 일종의 "번역기"라고 생각하면 됩니다. 이 정리는 한 가지 측정 방식(예: 복잡하고 추상적인 확률)을 단순하고 읽기 쉬운 함수(예: 밀도 곡선이나 그래프)로 변환할 수 있게 해줍니다.

하지만 대부분의 교과서는 "이 정리는 존재하지만, 증명이 너무 어렵고 지루하니 그냥 건너뛰겠다"라고 말합니다.

하레뫼스(Harremoës)의 논문은 다른 방식을 취합니다. 그는 "정보 이론(Information Theory)의 도구를 사용하여 이를 증명해 보자"라고 제안합니다. 그는 불확실성을 딱딱한 기하학적 형상이 아니라, 정보의 흐름으로 취급합니다. 이를 통해 그는 단순히 정리를 증명할 뿐만 아니라, 거친 추측이 완벽한 정답에 얼마나 가까운지를 측정하는 방법까지 제시합니다.

제1부: 구성 요소 (격자와 가치량)

그의 증명을 이해하기 위해서는 먼저 배경을 바꾸어야 합니다.

비유: 분류 게임
당신에게 물건 상자(예: 과일)와 속성 목록(예: "빨간색", "달콤함", "둥금")이 있다고 상상해 보세요.

**격자(Lattice)**는 단순히 이러한 물건들이 어떻게 겹치는지를 기준으로 조직하는 체계입니다. 만약 "빨간색" 그룹과 "달콤한" 그룹이 있다면, 격자는 "빨갛고 달콤한" 그룹을 찾는 것을 도와줍니다.
**가치량(Valuation)**은 이러한 그룹을 세거나 무게를 재는 방법입니다. 표준 수학에서는 보통 모든 것의 총합이 정확히 1이어야 한다고 요구합니다(확률처럼). 하레뫼스는 이 규칙을 완화합니다. 그는 총합이 무엇이든 될 수 있도록 허용합니다—2, 100, 또는 심지어 무한대라도 상관없습니다. 그는 이를 "기댓값 측도(Expectation Measures)"라고 부릅니다.

이것이 왜 중요한가요?
표준 수학이 오직 장부의 균형이 맞는 것만을 수용하는 엄격한 회계사라면, 하레뫼스는 "총합이 1인지 아닌지는 중요하지 않다. 나는 그저 각 조각이 서로 어떻게 관계되어 있는지만 알고 싶다"라고 말하는 유연한 데이터 과학자와 같습니다. 이러한 유연성은 수학을 다루기 더 쉽게 만듭니다.

제2부: 핵심 개념 (정보 발산)

이 논문은 정보 발산(Information Divergence)(구체적으로는 쿨백-라이블러 발산)이라는 개념을 도입합니다.

비유: "놀람" 측정기
당신에게 도시의 두 가지 지도가 있다고 상상해 보세요.

지도 A (진실): 교통 체증이 정확히 어디에 있는지 보여줍니다.
지도 B (당신의 추측): 당신이 교통 체증이 어디에 있을 것이라고 생각하는 곳을 보여줍니다.

정보 발산은 만약 당신이 지도 B를 사용했는데 실제 상황이 지도 A였다면, 당신이 얼마나 "놀라게" 될지를 측정합니다.

두 지도가 동일하다면, 발산 값은 0입니다 (놀라움 없음).
지도 B는 "교통 체증 없음"이라고 말하는데 지도 A는 "정체 상태"라면, 발산 값은 매우 큽니다.

하레뫼스는 이 "놀람 측정기"를 자(ruler)로 사용합니다. 그는 두 가지 측정 방식 사이의 "놀라움"이 유한하다면(무한하지 않다면), 그중 하나를 함수(라돈-니코딤 도함수)로 완벽하게 번역할 수 있음을 증명합니다.

제3부: 증명 전략 (확대하기)

그는 어떻게 이 정리를 증명할까요? 그는 근사(approximation) 전략을 사용합니다.

비유: 이미지를 픽셀화하기
그리기에는 너무 복잡한 고해상도 사진(완벽한 라돈-니코딤 도함수)이 있다고 상상해 보세요.

1단계: 저해상도 버전의 사진(거친 격자)을 가져옵 합니다. 당신의 저해상도 추측과 실제 이미지 사이의 "놀라움"을 계산합니다.
2단계: 격자를 더 미세하게 만듭니다(더 많은 픽셀). 놀라움을 다시 계산합니다.
3단계: 계속해서 확대하며 들어갑니다.

하레뫼스는 만약 전체 "놀라움"이 유한하다면, 당신이 계속 확대할수록(격자를 더 미세하게 만들수록), 당신의 저해상도 추측들이 결국 완벽한 이미지에 고정될 것임을 증명합니다. 그것들은 단순히 근처에 가는 것이 아니라, 정확한 답으로 수렴할 것입니다.

그는 이 과정을 **"정보 투영(Information Projection)"**이라고 부릅了. 이는 그림자에 빛을 비추는 것과 같습니다. 빛의 근원을 정교하게 다듬을수록, 그림자는 물체의 실제 형태를 드러낼 때까지 점점 더 선명해집니다.

제4부: "거의 확실한" 보장

이 논문의 가장 강력한 부분 중 하나는 이 수렴이 모든 곳에서(또는 "거의 확실하게") 일어난다는 것을 증명하는 것입니다.

비유: 군중의 투표
사람들이 온도를 추측하는 군중을 상상해 보세요.

어떤 날은 군중이 혼란스러워 추측값이 무작위로 널뛰기도 합니다.
하레뫼스는 만약 "정보 발산"(전체 오차)이 통제 가능한 수준이라면, 군중의 추측이 결국 널뛰기를 멈출 것임을 증명합니다. 그들은 결국 진정하여 도시의 거의 모든 지점에서 실제 온도에 합의하게 될 것입니다.

그는 추측이 안정되기 전에 너무 엉뚱한 방향으로 튀지 않도록 하는 안전망인 **두브의 최대 부등식(Doob's Maximal Inequality)**이라는 수학적 도구를 사용합니다.

제5부: "필요한" 조건

마지막으로, 논문은 다음과 같이 질문합니다. "'놀라움'이 무한대라면 어떻게 될까?"

비유: 고장 난 나침반
만약 발산이 무한하다면, 이는 당신의 두 지도가 근본적으로 호환되지 않음을 의미합니다. 하레뫼스는 이 경우, 당신이 아무리 격자를 정교하게 다듬으려 노력해도 추측이 결코 안정되지 않을 것임을 보여줍니다. "최대 오차"는 영원히 계속 커질 것이며, 이는 특정 시나리오에서 완벽한 번역(라돈-니코딤 도함수)이 존재할 수 없음을 증명합니다.

요약: 우리는 무엇을 배웠는가?

새로운 관점: 라돈-니코딤 정리를 증명하기 위해 전통적인 측도론의 무겁고 추상적인 기계 장치가 필요하지 않습니다. 정보 이론(엔트로피와 발산)이라는 직관적인 도구를 사용할 수 있습니다.
정량화 가능한 정확도: 이 방법은 단순히 "답이 존재한다"라고 말하는 데 그치지 않습니다. 거친 근사치가 실제 정답에 얼마나 가까운지를 측정하는 방법을 제공합니다.
유연성: "가치량"(합이 1일 필요가 없는)을 사용함으로써, 총 질량이 알려지지 않았거나 무한할 수 있는 실제 세계의 데이터에 더 적응하기 쉬운 수학을 만들어냅니다.

요약하자면, 하레뫼스는 유명하고 어려운 수학 정리를 "정보"와 "놀라움"이라는 언어를 사용하여 재증명하였으며, 정보가 매끄럽게 흐를 때 세상의 서로 다른 측정 방식 사이의 수학적 번역이 반드시 존재함을 보여주었습니다.

기술 요약: 라돈-니코딤 정리의 정보 이론적 증명

문제 정의
라돈-니코딤(Radon-Nikodym) 정리는 측도론의 초석으로서, 정보 이론에서 밀도 함수, 섀넌 엔트로피(Shannon entropy), 그리고 $f$ -발산(f-divergence)을 정의하는 이론적 토대를 제공한다. 그러나 측도론의 표준적인 증명들은 종종 너무 추상적이거나 확률론 또는 정보 이론 중심의 교과서에 포함시키기에 어렵다고 간주된다. 결과적으로, 라돈-니코딤 도함수의 존재성은 정보 이론 문헌에서 매우 중요함에도 불구하고 자주 생략되곤 한다. 더욱이, 기존의 증명들은 대개 미분(derivative)에 대한 유한 근사의 수렴 특성을 정량화하지 않은 채 존재성만을 확립한다. 본 논문은 존재성을 확립할 뿐만 아니라 근사의 수렴성을 특징짓는, 접근 가능한 정보 이론적 증명의 필요성을 다룬다.

방법론
저자인 피터 하레뫼스(Peter Harremoës)는 **정보 투영(information projections)**과 격자 상의 가치함수(valuations on lattices) 이론을 활용하여 전통적인 측도론적 접근 방식에서 벗어난다. 방법론은 다음과 같은 단계로 진행된다:

가치함수 및 격자로의 일반화: $\sigma$ -대수와 정규화된 확률 측도로 분석을 제한하는 대신, 본 논문은 분배 격자(distributive lattices) 위에서 정의된 가치함수(엄격성, 단조성, 모듈성을 만족하는 집합 함수)를 사용하여 문제를 공식화한다. 이 프레임워크는 비정규화된 측도(기댓값 측도)를 수용하며, 총 질량이 1이라는 제약 없이 불확실성을 모델링할 수 있게 한다. 저자는 기능적 의존성의 엔트로피 함수와 개념 격자(concept lattices)가 자연스럽게 이러한 가치함수 속성을 만족한다는 점에 주목한다.
격자 상의 정보 발산: 격자 상의 가치함수에 대한 정보 발산( $D(\mu \parallel \nu)$ )을 정의한다. 유한 분배 격자의 경우, 발산은 기약 원소(irreducible elements)들에 대해 계산된다. 본 논문은 분배 격자 내에서 발산이 모든 극대 사슬(maximal chains)에 대해 불변임을 입증한다.
정보 투영: 전체 격자를 근사하는 일련의 유한 부분 격자( $M_n$ )를 구성한다. 각 부분 격자 상에서, 측도 $\mu_n$ 은 $M_n$ 상에서 $\mu$ 와 일치하는 가치함수들의 집합으로 $\nu$ 를 정보 투영한 것으로 정의된다. 이 투영은 $\theta|_{M_n} = \mu|_{M_n}$ 이라는 제약 조건 하에서 발산 $D(\theta \parallel \nu)$ 를 최소화한다.
수렴 분석: 이러한 투영들로부터 유도된 밀도들의 수열(라돈-니코딤 도함수)을 $f_n$ 이라 명명하고 분석한다. $f$ -발산의 성질(특히 투영에 대한 피타고라스 부등식)과 마팅게일 부등식(도브의 최대 부등식)을 사용하여, 수열 $f_n$ 이 $L^1$ 공간에서 코시 수열(Cauchy sequence)을 형성하며 거의 확실하게(almost surely) 점별 수렴함을 입증한다.

주요 기여 및 결과

존재성에 대한 정보 이론적 증명: 본 논문은 추상적인 측도론적 구성 대신 정보 발산과 정보 투영의 성질에 의존하는 라돈-니코딤 정리의 증명을 제공한다. 이는 만약 $D(\mu \parallel \nu)$ 가 유한하다면, 라돈-니코딤 도함수가 존재함을 보여준다.
근사의 정량화: 단순히 존재성을 주장하는 고전적 증명과 달리, 이 접근 방식은 유한 근사의 근접성을 정량화한다. 즉, 유한 부분 격자로부터 유도된 도함수들의 수열이 실제 도함수로 수렴함을 보여준다.
거의 확실한 수렴(Almost Sure Convergence): 핵심 결과(따름정리 20)는 만약 $D(\mu \parallel \nu) < \infty$ 라면, 가산 넷(countable net)의 유한 분할 상에서의 라돈-니코딤 도함수 수열이 도함수 $\rho$ 로 거의 확실하게 점별 수렴한다는 것이다.
유한한 발산의 필요성: 본 논문은 유한한 정보 발산이 유한 부분 대수 상에서의 밀도 최댓값의 수렴을 위한 필요조건임을 입증한다. 만약 $D(\mu \parallel \nu) = \infty$ 라면, 최대 밀도의 적분이 무한대로 발산하는 부분 대수의 수열이 존재한다(정리 22).
일반 측도로의 확장: 결과들은 표준적인 텍스트에서 흔히 가정되는 $\sigma$ -유한 측도보다 더 넓은 범주인 s-유한(s-finite) 측도에 대해 공식화된다. 만약 $D(\mu \nu) < \infty$ 이고 $\mu$ 가 s-유한하면, $\nu$ 또한 s-유한해야 함을 증명한다.

의의 및 주장
본 논문은 이 접근 방식이 정보 이론 및 통계학 연구자들에게 이미 핵심적인 도구(발산, 투영)를 활용함으로써 라돈-니코딤 정리에 대한 더 직관적인 경로를 제공한다고 주장한다. 저자는 개념 격자 상의 가치함수 이론이 전통적인 위상 기반 측도론보다 정보 처리 과정에 더 가까운 언어를 제공한다고 주장한다.

이 연구는 이 프레임워크가 단순히 도함수의 존재성을 증명할 뿐만 아니라, 유한 근사가 어떻게 작동하는지 이해하는 메커니즘을 제공하여 정리의 "정량화된" 버전을 제시한다고 시사한다. 저자는 결과가 로컬(locals)의 격자와 같은 더 일반적인 설정(점 없는 위상수학 등)으로 확장될 수 있으나, 현재의 발표는 단순성을 유지하기 위해 위상 공간과 유한 분배 격자에 집중하고 있다고 겸허히 언급한다. 논문은 이러한 가치함수 기반의 접근 방식이 향로 정보 이론, 통계학, 그리고 확률론을 통합하는 이론적 기초 역할을 할 수 있다고 결론짓는다.