Entropy concavity for log-concave random variables: an asymmetric counterexample

기술 요약: 로그-오목 확률 변수에 대한 엔트로피 오목성

문제 정의
본 논문은 독립적이고 동일한 분포를 따르는(i.i.d.) 실수 확률 변수 $X$와 $Y$가 공통의 로그-오목 밀도를 가질 때, 이들의 가중치 합의 미분 엔트로피인
$$F(t) = h\left(\sqrt{1-t}X + \sqrt{t}Y\right), \quad 0 \le t \le 1,$$
가 가중치 매개변수 $t$에 대해 오목 함수라는 Ball-Nayar-Tkocz 엔트로피 오목성 추측을 다룬다. 이 추측은 대칭 밀도 및 가우시안 스케일 혼합체(Gaussian scale mixtures)와 같은 특정 클래스에 대해서는 성립하지만, 일반적인 비대칭 로그-오목 밀도에 대해서는 그 유효성이 미해결 상태로 남아 있었다. 본 논문은 추측이 성립하기 위해 대칭성 가정이 필수적인지를 조사한다.

방법론
저자는 표준 가우시안 밀도의 섭동(perturbation)을 이용한 특정한 반례를 구축한다. 방법론은 다음 단계들에 의존한다:

1. 밀도 구축: 엄격히 양수인 매끄러운 확률 밀도 $f$를 표준 가우시안 $\phi(x)$의 섭동으로 정의한다:
   $$f(x) = \phi(x)\left(1 + \varepsilon u(x) + \varepsilon^2 v(x)\right),$$
   여기서 $\varepsilon = 10^{-24}$는 작은 매개변수이다. 섭동 함수 $u(x)$와 $v(x)$는 가우시안 인자로 스케일링된 확률론적 에르미트 다항식($H_3, H_4, H_5$)을 사용하여 구축된다. 구체적으로, $u$는 4차 및 5차 항을 결합하고, $v$는 3차 항을 활용한다.
2. 모멘트 및 스코어 분석: 이 구축은 특정 모멘트 제약 조건을 만족하도록 설계되었다:
   • 밀도는 평균이 0이고 분산이 1이다.
   • 3차 중심 모멘트 $\mu_3 = \int x^3 f(x) dx$는 2차 섭동 $v$를 통해 엄격히 양수($\mu_3 > 0$)가 되도록 만들어졌다.
   • 스코어 함수의 3차 모멘트 $J_3 = \int f(x) \rho(x)^3 dx$ (여기서 $\rho = (\log f)'$)는 음수($J_3 < 0$)가 되도록 조작되었다. 이는 $u$의 짝수 부분과 홀수 부분 사이의 교차 항 상호작용을 통해 달성되며, 이를 통해 $J_3$의 $\varepsilon^2$ 항의 계수가 음수가 되어 고차 잔여 항들을 압도하게 된다.
3. 종단 확장(Endpoint Expansion): 저자는 $t \to 0$일 때 엔트로피 함수 $F(t)$의 2차 도함수에 대한 점근적 확장을 수립한다. 변수 변환 $s = \sqrt{t}$ 하에서의 엔트로피 테일러 전개를 분석함으로써, 다음과 같은 특이 거동(singular behavior)을 도출한다:
   $$F''(t) = -\frac{\mu_3 J_3}{16\sqrt{t}} + O(1), \quad t \downarrow 0.$$
4. 엄격한 경계 설정: 반례가 유효함을 보장하기 위해, 섭동 함수 및 그 도함수에 대한 명시적인 균등 경계(uniform bounds)를 제공한다. 이 경계들은 구축된 밀도가 엄격히 로그-오목함(구체적으로 $(\log f)'' < -1/2$)을 유지하며, $F''(t)$의 부호가 충분히 작은 $t$에 대해 선행 특이 항(leading singular term)에 의해 결정됨을 검증한다.

주요 결과

• 일반적 추측의 반증: 구축된 밀도 $f$는 엄격히 로그-오목하며, 평균 0, 분산 1을 가지며, 종단 $t=0$ 근처(그리고 문제의 대칭성에 의해 $t=1$ 근처에서도)에서 $F(t)$가 엄격히 볼록(convex)한 함수를 생성한다. 이는 $0 < t < \delta$에서 $F''(t) > 0$임을 보임으로써 입증된다.
• 종단 곡률 공식: 저자는 가우시안 섭동 밀도 클래스에 대하여, 종단에서의 엔트로피 곡률이 3차 중심 모멘트와 스코어 함수의 3차 모멘트의 곱에 의해 지배됨을 증명한다:
  $$F''(t) \sim -\frac{\mu_3 J_3}{16\sqrt{t}}.$$
  곡률의 부호는 $-\mu_3 J_3$의 부호에 의해 결정된다.
• 비대칭의 역할: 이 반례는 전적으로 밀도의 비대칭성에 의존한다. 대칭 밀도의 경우 $\mu_3$와 $J_3$가 모두 0이 되어 특이 항이 사라진다. 따라서 이 경우의 오목성 실패는 비대칭성으로부터 기인하는 에지워스형(Edgeworth-type) 전개의 3차 항에 의해 결정된다.

의의 및 주장
본 논문은 추가적인 대칭성 가정이 없을 때 Ball-Nayar-Tkocz 엔트로피 오목성 추측이 틀렸음을 주장한다. 구축된 반례는 강한 로그-오목 밀도의 클래스에 속하며, 이는 강한 로그-오목성조차 비대칭 변수에 대한 엔트로피 오목성을 보장하기에는 불충분함을 나타낸다.

저자는 이 반례가 대칭성 가정이 추가된 경우의 추측을 다루는 것은 아님을 명시적으로 언급한다. 즉, 대칭 로그-오목 밀도의 거동은 여전히 미해결 과제로 남아 있다. 또한, 이 예시는 종단 근처에서의 국소적 볼록성을 확립하지만, 비대칭 밀도에 대해 $F(t)$의 전역적 최댓값이 중점 $t=1/2$에서 발생하는지 여부는 해결하지 않는다. 이 연구는 엔트로피의 곡률을 결정하는 데 있어 고차 모멘트(특히 3차 모멘트)와 스코어 함수의 결정적인 역할을 강조한다.