Learning a distance measure from the information-estimation geometry of data

기술 요약: 데이터의 정보-추정 기하학으로부터 거리 척도 학습하기

문제 정의

거리 함수는 데이터의 조직화와 해석에 있어 근본적이지만, 인간의 지각과 일치하는 의미 있는 거리 메트릭(distance metric)을 자연 신호(예: 이미지)로부터 도출하는 것은 여전히 큰 과제로 남아 있다. 기존의 접근 방식은 인간이 라벨링한 데이터베이스를 사용하는 지도 학습에 의존하는 경우가 많은데, 이는 비용이 많이 들고 노이즈가 많으며 수학적으로 해석하기 어렵다. 반대로, 정보 이론(예: 상호 정보량)에 기반한 순수 비지도 학습 방식은 데이터 분포의 기하학적 구조를 무시하는 경-향이 있다. 본 연구가 다루는 핵심 문제는 인간의 라벨 없이, 신호 영역 위의 연속 확률 밀도 $p_x$의 기하학적 구조만을 사용하여 어떻게 전역 거리 함수와 국소 리만 메트릭(local Riemannian metric)을 유도할 것인가 하는 점이다.

방법론: 정보-추정 메트릭 (Information-Estimation Metric, IEM)

저자들은 정보 이론과 추정 이론 사이의 관계로부터 유도된 거리 함수인 **정보-추정 메트릭(IEM)**을 소개한다. 이 방법론은 블러 처리된 신호의 스코어 함수(score function, 로그 밀도의 기울기)와 최적 디노이저(denoiser)의 오차 사이를 연결하는 트위디(Tweedie)–미야사와(Miyasawa) 공식에 기초한다.

이론적 구성

1. 관측 채널: 저자들은 가우시안 관측 채널 $y_\gamma = \gamma x + w_\gamma$를 정의하며, 여기서 $w_\gamma$는 가산 가우시안 노이즈이다. 신호 대 잡음비(SNR) $\gamma$가 증가함에 따라, 분포 $p_{y_\gamma}$는 원래의 밀도 $p_x$를 향해 "확대(zoom in)"된다.
2. 점별 I-MMSE: I-MMSE 관계를 바탕으로, 신호의 로그 확률은 모든 SNR 수준에서의 디노이징 오차(또는 동등하게 스코어 벡터)의 적분으로 분해된다.
3. 메트릭 정의: 두 신호 $x_1$과 $x_2$ 사이의 IEM은 로그 확률 비율 프로세스의 이차 변동(quadratic variation)의 제곱근으로 정의된다. 구체적으로, 이는 SNR 범위 $[0, \Gamma]$에 대해 블러 처리된 밀도의 스코어 벡터 필드 사이의 평균 제곱 오차(MSE)의 적분이다:
   $$\text{IEM}(x_1, x_2, \Gamma) := \left( \int_0^\Gamma \mathbb{E} \left[ \| \nabla \log p_{y_\gamma}(\gamma x_1 + w_\gamma) - \nabla \log p_{y_\gamma}(\gamma x_2 + w_\gamma) \|^2 \right] d\gamma \right)^{1/2}$$
4. 일반화: 저자들은 분포의 서로 다른 측면에 가중치를 부여할 수 있도록, 로그 확률 비율 프로세스에 스칼라 함수 $f$를 적용하여 이차 변동을 계산하는 일반화된 IEM ($\text{IEM}_f$)을 제안한다.

국소 기하학

본 논문은 제곱된 IEM의 국소 2차 근사를 유도하여 리만 메트릭 $G(x, \Gamma)$를 도출한다. 이 국소 메트릭은 다음과 같은 특성을 갖는다:

• 로그 밀도의 국소 곡률(local curvature)인 기대 제곱 헤시안(expected squared Hessian)에 비례한다.
• 노이즈가 섞인 관측값에 대한 신호의 사후 공분산(posterior covariance)과 관련이 있다.
• 로그 밀도가 높은 곡률을 가진 영역과, 신호 확률에 큰 변화를 유도하는 섭동(perturbation)에 가장 민감하다.

구현

실제적인 IEM 계산을 위해, 저자들은 ImageNet 데이터셋에서 신경 디노이저(구체적으로 Hourglass Diffusion Transformer)를 훈련시킨다. 이 디노이저는 MMSE 추정치 $E[x|y_\gamma]$를 근사하며, 이는 트위디–미야사와 공식을 통해 스코어 함수와 동등하다. 거리는 노이즈 레벨에 따른 디노이저의 출력(또는 유도된 스코어)의 제곱 차이를 수치적으로 적분하여 계산된다.

주요 기여

1. 새로운 메트릭 정의: 확률 밀도의 기하학으로부터 순수하게 유도된 유효한 전역 거리 메트릭으로서의 IEM을 도입하였으며, 이는 대칭성, 비음성, 식별 불가능성의 항등식, 그리고 삼각 부등식을 만족함을 증명하였다.
2. 이론적 통합: 본 논문은 가우시안 분포에 대해 IEM이 **마할라노비스 거리(Mahalanobis distance)**와 일치함을 증명한다. 비가우시안 분포의 경우, IEM은 국소적으로 적응형 마할라노비스 거리처럼 동작하며 데이터 지지(data support)에 따라 국소적 및 전역적으로 적응한다.
3. 비지도 학습: 이 프레임워크는 디노이저를 훈련시킴으로써 라벨이 없는 데이터로부터 지각적 거리 메트릭을 학습할 수 있게 하여, 메트릭 정의 단계에서 인간의 지각 라벨에 대한 의존성을 제거한다.
4. 일반화된 프레임워크: $\text{IEM}_f$ 제안은 비지도 기반 메트릭 위에 함수 $f$를 학습함으로써 다양한 유형의 인간 데이터를 적응시킬 수 있는 가능성을 열어준다.

실험 결과

저자들은 표준 참조 이미지 품질 평가 벤치마크(TID2013, LIVE, CSIQ) 및 텍스처 특화 데이터셋(TQD)에 대해 IEM을 평가하였다.

• 자연 이미지 성능: 비지도 IEM( $\Gamma=1/4$ 적용)은 인간의 라벨 없이 훈련되었음에도 불구하고, TID2013, LIVE, CSIQ에서 최신 지도 학습 메트릭(예: LPIPS, DISTS, PieAPP)과 경쟁할 만한 Spearman 순위 상관 계수(SRCC)를 달이트했다.
• 텍스처 민감도: 이차 함수 $f$를 사용하는 변형인 $\text{IEM}_{sq}$는 많은 표준 메트릭이 어려움을 겪는 영역인 TQD 텍스처 데이터셋에서 대부분의 방법론보다 우수한 성능을 보였다.
• 통합적 성능: 사전 훈련된 디노이저 위에 함수 $f$만을 학습시키는 지도 학습 변형인 $\text{IEM}_{f_\omega}$는 모든 데이터셋에서 동시에 강력한 성능을 달성하여, 프레임워크의 유연성을 입증했다.
• 최대 차별화 경쟁: 고정된 PSNR 제약 조건 하에서 지각적 거리를 최소화하는 실험에서, IEM을 최소화하면 기하학적 구조가 보존되고 지각적으로 자연스러운 이미지가 생성된 반면, DISTS와 같은 다른 메트릭을 최소화하면 부자연스러운 아티팩트가 발생했다. 반대로 IEM을 최대화하면 구조가 없는 노이즈가 가장 지각적으로 해로운 왜곡임을 정확히 식별해 냈다.

의의 및 주장

본 논문은 IEM이 데이터의 통계적 기하학으로부터 지각적 거리를 도출하는 원칙적이고 수학적으로 근거가 있는 접근법임을 주장한다. 그 의의는 다음과 같다:

• 해석 가능성: 블랙박스 형태의 지도 학습 메트릭과 달리, IEM은 확률, 정보, 추정 사이의 근본적인 관계로부터 유도되므로 지각적 판단에 대한 더 명확한 수학적 설명을 제공한다.
• 데이터 효율성: 고품질의 지각 메트릭을 라벨이 없는 데이터로부터 학습할 수 있음을 보여줌으로써, 값비싸고 노이즈가 많은 인간 주석에 대한 의존도를 낮춘다.
• 강건성: 자연 이미지와 텍스처 모두에 적응하는 능력과 역문제(inverse problems)에서의 성능은, 이 메트릭이 기존의 유클리드 또는 지도 학습 방식보다 "데이터 지지(data support)"를 더 효과적으로 포착하고 있음을 시사한다.

저자들은 수치 적분의 계산 비용과 하이퍼파라미터 $\Gamma$ 및 함수 $f$를 선택하기 위한 체계적인 원칙의 필요성 등 주요 한계점을 인정한다. 이들은 향후 이 원칙을 오디오와 같은 다른 신호 유형에 적용하거나, 비지도 클러스터링 및 생성 모델 평가에 활용하는 연구를 제안한다.