A note on the unique properties of the Kullback--Leibler divergence for sampling via gradient flows

기술적 요약: 그라디언트 흐름을 통한 샘플링을 위한 쿨백-라이블러 발산의 고유한 특성에 대한 주석

문제 제기
본 논문은 정규화 상수까지 알려진 밀도를 갖는 목표 확률 분포 $\pi$로부터 샘플링하는 근본적인 문제를 다룬다. 이는 계산 통계학과 기계 학습에서 광범위하게 존재하는 과제이다. 이 문제에 대한 표준적인 접근법은 확률 분포 공간에서의 최적화 과제로 샘플링을 공식화하는 것으로, 여기서 목표는 후보 분포 $\mu$와 목표 $\pi$ 간의 비유사성을 측정하는 발산 함수 $F(\mu)$를 최소화하는 것이다. 이러한 최적화는 일반적으로 확률 측도 공간 위에 정의된 그라디언트 흐름을 통해 해결되며, 이때 거리 (예: 와asserstein, 피셔 - 라오) 의 선택이 흐름을 지배하는 특정 미분 방정식을 결정한다.

중요한 실용적 제약 조건은 이러한 그라디언트 흐름에서 유도된 많은 샘플링 알고리즘이 $\pi$의 정규화 상수에 대한 지식을 필요로 한다는 점이다. 그러나 대부분의 현실적인 설정에서 이 상수는 계산이 불가능하다. 역 쿨백 - 라이블러 (KL) 발산은 정규화 상수의 필요성을 자연스럽게 피하는 관련 그라디언트 흐름 (예: 랑주뱅 확산 또는 피셔 - 라오 흐름) 을 갖기 때문에 널리 사용되지만, 더 넓은 발산 계열 내에서 유일하게 KL 발산만이 이러한 속성을 갖는 이유에 대한 이론적 근거는 완전히 확립되지 않았다.

방법론
저자들은 KL 발산, $\beta$-발산, 그리고 $L_2$ 노름을 포함하는 유연한 발산 계열인 브레그만 발산 (Bregman divergences) 계열을 조사한다. 그들은 브레그만 발산 $B_\Phi(\mu|\pi)$를 지배 측도 $\lambda$에 대한 $\mu$와 $\pi$의 밀도에 작용하는 볼록 함수 $\Phi$를 통해 정의한다.

핵심 방법론적 접근은 목표 분포의 스케일링 하에서 그라디언트 흐름의 거동을 분석하는 것이다. 구체적으로, 저자들은 목표 $\pi$가 스케일된 버전 $c\pi$ ($c > 0$) 로 대체될 때 발산 $F(\mu) = B_\Phi(\mu|\pi)$의 그라디언트 흐름이 불변 (또는 동등한 최소화 문제로 이어짐) 을 유지하는 조건을 검토한다.

분석은 두 단계로 진행된다:

1. 엄격한 불변성: 저자들은 먼저 차이 $B_\Phi(\mu|c\pi) - B_\Phi(\mu|\pi)$가 $\mu$에 의존하지 않는 조건을 고려한다. 이는 $\pi$와 $c\pi$에 대해 1 차 변분 (함수 미분) $\delta F / \delta \mu$가 동일함을 보장하여, 그라디언트 흐름 역학이 엄격하게 변하지 않음을 의미한다.
2. 완화된 불변성: 이후 그들은 그라디언트 흐름 자체가 승수 상수만큼 다르더라도 $D(\mu|\pi)$와 $D(\mu|c\pi)$의 최소화자가 일치하는 완화된 조건을 고려한다. 이는 $D(\mu|\pi) - D(\mu|c\pi) = K \cdot D(\mu|\pi) + K'$로 공식화된다.

저자들은 이러한 불변 속성을 만족하는 생성자 함수 $\Phi$(브레그만 발산의 경우) 와 볼록 함수 $f$($f$-발산의 경우) 에 대한 필요 조건을 유도하기 위해 함수해석학과 볼록 함수의 성질을 활용한다.

주요 기여 및 결과

1. 브레그만 발산 내 KL 의 유일성 (명제 1):
   주요 결과는 밀도에 의해 정의된 계열 내에서 쿨백 - 라이블러 발산이 차이 $B_\Phi(\mu|c\pi) - B_\Phi(\mu|\pi)$가 $\mu$에 독립인 유일한 브레그만 발산임을 확립한다.

   • 증명 개요: 저자들은 이 차이가 $\mu$에 독립이 되어야 한다는 요구사항을 통해 생성자 함수의 미분 $\Phi'$에 대한 함수 방정식을 유도한다. 이 방정식을 풀면 $\Phi'(t)$가 $a \log t + b$ 형태여야 함이 밝혀진다. 결과적으로, 생성된 발산은 KL 발산에 비례한다 ($B_\Phi(\mu|\pi) = a \cdot KL(\mu|\pi)$).
   • 함의: 다른 모든 브레그만 발산 ( $\beta$-발산 및 $L_2$ 포함) 의 경우, 그라디언트 흐름은 명시적으로 $\pi$의 정규화 상수에 의존한다. $\pi$를 정규화되지 않은 버전 $\gamma$로 대체하면 그라디언트 흐름 역학이 변경되어, 상수에 대한 지식 없이는 표준 샘플링 구현이 무효화된다.

2. $f$-발산으로의 확장 (명제 3):
   저자들은 $f$-발산에 대한 완화된 조건 (11) 을 분석한다. 그들은 이 조건을 만족하는 $f$-발산은 다음임을 규명한다:

   • 순방향 쿨백 - 라이블러 발산 ($KL(\pi|\mu)$).
   • 주기 함수를 포함하는 특정이고 복잡한 $f$-발산 계열 (식 12).
   • 참고: 순방향 KL 이 식별되었으나, 논문은 이 발산에 대한 그라디언트 흐름이 추가적인 근사 없이는 구현하기 어렵다고 지적한다. 식별된 복잡한 계열은 이론적으로 흥미롭지만, 본 작업에서는 실용적이고 구현 가능한 샘플링 알고리즘을 산출하지는 않는 것으로 나타났다.

3. 다른 계열의 배제:
   논문은 정규화 상수를 피하는 다른 방법들 (특정 커널을 사용한 커널 스타인 불일치 또는 최대 평균 불일치 등) 이 존재하지만, 이들은 주요 정리에서 사용된 표준적인 브레그만 또는 $f$-발산 정의에 해당하지 않는다고 명확히 한다. 이 결과는 브레그만 및 $f$-발산 프레임워크 내에서 KL 발산을 유일한 해로 구체적으로 격리한다.

의의 및 주장
본 논문은 랑주뱅 역학, SVGD, 순차 몬테 카를로와 같은 그라디언트 기반 샘플링 방법에서 쿨백 - 라이블러 발산이 광범위하게 경험적으로 성공한 것에 대한 엄격한 이론적 근거를 제공한다고 주장한다.

• 이론적 완성도: 이 결과는 Lebesgue 밀도 맥락에서 $f$-발산에 대한 유사한 유일성을 확립한 Chen 등 [2023] 의 이전 작업을 보완한다. 본 논문은 범위를 더 넓은 브레그만 발산 계열로 확장하고 이산 측도를 포함한다.
• 실용적 지침: 이 발견은 꼬리 행동을 포착하거나 모드를 타겟팅하는 데 바람직한 속성을 갖는 다른 발산들 ( $\alpha$-발산 또는 $\beta$-발산 등) 이 정규화되지 않은 목표와 함께 작동하는 샘플링 알고리즘을 생성하는 데 일반적으로 실패하는 이유를 설명한다. 저자들은 정규화 상수를 알지 못한 채 그라디언트 흐름을 사용하고자 한다면, 이러한 표준 발산 계열 내에서 KL 발산 (또는 구현이 더 어려운 순방향 KL) 이 본질적으로 유일한 실현 가능한 옵션이라고 단언한다.
• 한계: 저자들은 정규화 상수를 우회할 수 있는 비표준 발산 (커널 스타인 불일치 등) 의 존재를 배제하지는 않지만, 브레그만 및 $f$-발산 계열의 경계를 명확히 구분한다고 겸손하게 언급한다.

요약하자면, 본 논문은 정규화 상수에 대한 지식 없이 그라디언트 흐름을 통한 샘플링을 가능하게 하는 발산의 능력이 브레그만 및 $f$-발산 계열 내에서 쿨백 - 라이블러 발산의 고유하고 정의적인 속성임을 보여준다.