🤖 machine learning

NMINE: Normalized Mutual Information Neural Estimation

이 논문은 MINE 기반의 상호 정보량 추정과 신경망 기반의 주변 엔트로피 학습을 결합하여 연속적인 다차원 변수에 대해 기존의 k-최근접 이웃 방식보다 더 정확하고 차원의 저항성을 갖춘 대안을 제공하는 정규화된 상호 정보량 추정용 완전 신경망 추정기인 NMINE를 소개한다.

원저자: Petra Eerikinharju, Marko Tuononen, Ville Hautamäki

게시일 2026-07-31

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Petra Eerikinharju, Marko Tuononen, Ville Hautamäki

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 우주 속의 두 사물이 얼마나 연결되어 있는지 알아내려는 탐정이라고 상상해 보십시오. 아마도 당신은 날씨가 기분에 영향을 미치는지, 혹은 당신이 걸은 발걸 수가 얼마나 배고픔과 관련이 있는지를 확인하고 있을 것입니다. 데이터 과학의 세계에는 **상호 정보량(Mutual Information)**이라는 특별한 도구가 있는데, 이는 마치 초정밀 레이더와 같습니다. 단순히 직선만을 측정하는 자와 달리, 이 레이더는 변수들이 직선으로 움직이든 혼돈스러운 나선형으로 춤을 추든, 숨겨져 있고 구불구불하며 복잡한 관계까지 포착해 낼 수 있습니다.

하지만 이 레이더에는 까다로운 특성이 하나 있습니다. 바로 그 측정값이 경계가 없고, 측정하는 대상의 "단위"에 따라 달라진다는 점입니다. 이는 마치 매번 대상이 바뀔 때마다 "무겁다"는 정의 자체가 변하는 저울을 사용하여 깃털의 무게와 산의 무게를 비교하려는 것과 같습니다. 이러한 측정값을 공정하고 비교 가능하게 만들기 위해, 과학자들은 **정규화(Normalization)**라는 기술을 사용합니다. 어떤 정규화 방식은 점수를 0에서 1 사이의 깔끔한 범위로 압축하지만, 이 논문에서 사용된 방식(비대칭 정규화)은 점수를 고정된 상자에 가두지 않습니다. 대신, 연결의 순위를 보존하여 만약 한 변수가 다른 변수를 더 잘 설명한다면, 그 점수가 비록 원시 숫자가 1로 제한되지 않더라도 그 순서를 명확하게 반영하도록 합니다. 여기서 큰 과제는 무엇일까요? 여러 변수를 동시에 다룰 때(고차원 퍼즐처럼), 이 점수를 계산하기 위해 사용되는 기존의 도구들은 혼란에 빠지거나, 흔들리거나, 혹은 아예 틀린 값을 내놓기 일쑤라는 점입니다.

여기서 새로운 연구팀이 참신한 아이디어와 함께 등장합니다. 그들은 투박하고 오래된 도구들을 대신하여 똑똑하고 학습 가능한 신경망 팀인 NMINE(Normalized Mutual Information Neural Estimation)이라는 방법을 제안합니다. 기존의 방식이 붐비는 방 안에서 이웃의 수를 세는 방식이라면, 그들의 시스템은 데이터의 형상을 직접 "느끼도록" 학습합니다. NMINE 방식은 변수들이 함께 어떻게 움직이는지, 그리고 혼자 있을 때는 어떻게 행동하는지의 차이를 포착하도록 이 디지털 두뇌들을 훈련함으로써, 연결성이 실제로 얼마나 강한지에 대한 더 정확하고 안정적인 점수를 만들어냅니다. 그들의 실험은 이 신경망 접근법이 전통적인 방식이 휘청거리기 시작하는 복잡한 다차원 데이터를 다룰 때 유망한 새로운 방향임을 보여줍니다.

문제점: "이웃" 세기 게임

오랫동안 이러한 연결을 측정하는 표준적인 방법은 KSG 방식(Kraskov, Stogbauer, Grassberger의 이름을 딴)이었습니다. 당신이 거대한 다층 도서관(고차원 데이터를 나타냄)에 있다고 상상해 보십시오. 두 권의 책이 서로 관련이 있는지 확인하기 위해, KSG 방식은 당신에게 타겟 도서와 가장 가까운 다섯 권의 책을 찾아 그 수를 세라고 요청합니다. 이 방식은 작은 단층 도서관(저차원)에서는 아주 잘 작동합니다. 하지만 도서관이 더 많은 층과 통로를 가진 더 높고 넓은 구조로 성장함에 따라(고차원), 그 "가장 가까운" 책들을 찾는 것은 악몽이 됩니다. 거리 개념이 이상해지고, 측정값은 신뢰할 수 없게 되며, 전체 시스템은 노이즈가 많고 부정확한 결과를 내놓기 시작합니다. 이는 마치 경기장에 있는 수많은 사람 중에서 당신의 가장 친한 친구를 찾으려고 하는데, 단지 근처에 서 있다는 이유만으로 낯선 사람을 붙잡는 것과 같습니다.

해결책: 신경망에게 데이터의 형상을 "느끼도록" 가르치기

이 논문의 저자인 페트라 에에리킨하리(Petra Eirerikinharju), 마르코 투오넨(Marko Tuononen), 빌레 하우타마키(Ville Hautamäki)는 이웃을 세는 일을 멈추고, 대신 신경망을 훈련시켜 무거운 짐을 맡기기로 했습니다. 그들의 방법인 NMINE을 연결의 미스터리를 풀기 위해 협력하는 세 명의 숙련된 탐정(신경망) 팀이라고 생각하십시오.

결합 탐정(The Joint Detective): 이 네트워크는 두 변수(X와 Y라고 부릅시다)를 함께 바라보며, 이들이 서로에 대해 얼마나 많은 것을 "알고" 있는지 파악하려고 노력합니다. 이들은 상호 정보량을 추정하기 위해 돈스커-바랴단(Donsker–Varadhan) 표현식이라는 수학적 기교를 사용합니다.
단독 탐정들(The Solo Detectives): 다른 두 네트워크는 X를 단독으로, Y를 단독으로 살펴봅니다. 이들의 임무는 각 변수의 엔트로피(불확실성 또는 "놀라움"의 척도)를 추정하는 것입니다.
참조의 기술(The Reference Trick): 여기가 영리한 부분입니다. 데이터의 정확한 형상을 추측하는 대신(이는 매우 어려운 일입니다), 이 네트워크들은 데이터를 단순하고 균일한 "빈 캔버스"(균등 참조 분포)와 비교합니다. 마치 복잡한 그림을 설명할 때 평범한 흰 벽과 얼마나 다른지를 측정하는 것과 같습니다. 그림이 벽과 매우 다르다면, 그 그림은 높은 복잡성(엔트로피)을 가집니다. 신경 네트워크를 사용하여 이 "차이"(발산)를 측정함으로써, 데이터의 정확한 모양을 알 필요 없이 수학적으로 엔트로피를 복구할 수 있습니다.

네트워크가 연결성(상호 정보량)과 개별 불확실성(엔트로피)을 추정하고 나면, 이들을 결합합니다. 이 논문은 특히 비대칭 정규화를 사용하는데, 이는 "X에 의해 설명되는 Y의 양은 얼마인가?"라는 질문에 답합니다. 이 방식이 선택된 이유는 연결의 순위를 일관되게 유지하여, 만약 X가 Y를 예측하는 데 있어 Z보다 더 나은 예측 도구라면 그 점수가 명확하게 반영되도록 하기 위함입니다.

발견한 점: 고차원에서 더 똑똑하다

연구팀은 1차원에서 8차원 공간에 이르는 가우시안 데이터(점 구름 형태)를 사용하여, 새로운 신경 탐정을 기존의 "이웃 세기" 방식인 KSG 방식과 테스트했습니다.

결과: 저차원(1, 2차원)에서는 기존의 KSG 방식이 이론적인 진리에 매우 가깝게 따라갔습니다. 그러나 복잡성을 4차원과 8차원으로 높이자, KSG 방식은 무너지기 시작했습니다. 특히 변수들이 강력하게 연결되어 있을 때, 실제로는 연결되어 있지 않음에도 불구하고 "완전히 연결되어 있다!"라고 외치는 것처럼 연결성을 과대평가하기 시작했습니다.
신경망의 우위: NMINE 방식은 약간 보수적이었지만(가장 높은 차원에서 연결 강도를 약간 과소평가하는 경향이 있었습니다), 훨씬 더 안정적이었습니다. 기존 방식처럼 요동치거나 노이즈가 심해지지 않았습니다.
수치: 오차(추정치가 실제 값에서 얼마나 벗어났는지)를 측정했을 때, NMINE은 전반적으로 훨씬 뛰어났습니다. 예를 들어, 1차원 데이터에서 NMINE은 KSG에 비해 오차를 약 74% 줄였습니다. 까다로운 8차원 테스트에서도 여전히 오차를 거의 **47%**나 줄였습니다. 통계적 검증을 통해 이러한 개선이 단순히 운이 아니라, 실질적이고 유의미한 차이임이 확인되었습니다.

또한 그들은 "Student-t" 분포(극단적인 이상치가 더 자주 발생하는 두꺼운 꼬리를 가진 분포) 형태의 데이터에 대해서도 간단한 테스트를 수행했습니다. 비교할 완벽한 "정답"은 없었지만, 신경망 방식은 연결이 강해짐에 따라 매끄럽고 논리적인 반응을 보였으며, 이는 이 방식이 완벽하게 매끄럽지 않은 복잡한 실제 데이터에서도 잘 작동할 수 있음을 시사합니다.

왜 중요한가 (그리고 향후 과제)

이 논문은 기존의 경직된 이웃 세기 도구를 유연하고 훈련 가능한 신경망으로 교체하는 것이 복잡한 다차원 데이터를 측정하는 데 있어 승리하는 전략이라고 결-론짓습니다. 이는 미세하고 비선형적인 의존성을 이해하는 것이 필수적인 분자 역학(분자의 움직임 연구)이나 해석 가능한 머신러닝(AI가 왜 특정 결정을 내리는지 이해하는 분야)과 같은 분야에서 매우 중요한 일입니다.

하지만 저자들은 이것을 "해결된" 문제라고 단정 짓지는 않습니다. 그들은 이 방법이 여러 개의 신경망을 훈련시켜야 하므로, 기존 방식보다 더 많은 컴퓨터 자원과 시간이 필요하다고 언급합니다. 또한 현재 설정은 네트워크들을 각각 따로 훈련시키고 있는데, 향-후에는 이들을 모두 함께 훈련시켜 성능을 더욱 향상시킬 수 있다는 점도 지적했습니다. 아울러, 이 방법이 테스트한 데이터에서는 잘 작동했지만, 정말로 거칠고 예측 불가능한 비-가우시안(non-Gaussian) 실제 데이터셋에서도 잘 작동할지에 대해서는 추가적인 연구가 필요하다고 인정했습니다.

요약하자면, NMINE은 복잡한 데이터 사이의 보이지 않는 실을 측정하는 유망한 새로운 방법을 제시하며, 때로는 복잡한 세상 속에서 진실을 찾기 위해 단순한 자가 아닌 신경망이 필요하다는 것을 증명합니다.

기술 요약: NMINE – 정규화된 상호 정보량 신경 추정 (Normalized Mutual Information Neural Estimation)

문제 정의

상호 정보량(Mutual Information, MI)은 선형 및 비선형 관계를 모두 포착할 수 있는 통계적 의존성의 근본적인 척도이다. 그러나 연속적이고 다차원적인 변수의 경우, MI의 정확한 계산은 불가능하므로 샘플을 통한 추정이 필수적이다. 가공되지 않은 MI의 결정적인 한계는 값이 유계(unbounded)되어 있으며 그 단위가 기초 변수에 따라 달라진다는 점이다. 이로 인해 가공되지 않은 값은 서로 다른 데이터셋, 차원 또는 응용 분야 간에 비교가 불가능하다.

정규화된 상호 정보량(Normalized Mutual Information, NMI)은 MI를 유계된 의존성 점수로 변환함으로써 이 문제를 해결하지만, 기존의 추정치들은 상당한 문제에 직면해 있다. 특히 k-최근접 이웃(k-nearest neighbors, KNN)에 기반한 Kraskov-Stogbauer-Grassberger (KSG) 추정기와 같은 고전적 접근 방식은 명시적인 밀도 추정이나 최근접 이웃 통계에 의존한다. 이러한 방법들은 차원이 증가함에 따라 수치적 불안정성, 분산 증가, 정확도 저하를 겪는 것으로 알려져 있다. 또한, 미분 엔트로피(differential entropy)에 기반한 기존의 많은 NMI 추정치들은 좌표 스케일링에 따라 변화하는 특성 때문에 스케일 불변성(scale invariance)이 결여되어 있다.

방법론

본 논문은 연속적인 다차원 변수 사이의 NMI를 추정하기 위한 완전한 신경망 프레임워크인 NMINE(Normalized Mutual Information Neural Estimation)을 제안한다. 이 접근 방식은 전통적인 최근접 이웃 통계 대신 신경망 기반의 발산(divergence) 추정으로 대체하며, 두 가지 주요 구성 요소를 결합한다:

1. 신경 상호 정보량 추정 (Neural Mutual Information Estimation)

이 프레임워크는 Donsker–Varadhan (DV)의 쿨백-라이블러(Kullback–Leibler, KL) 발산 변분 표현에 기반한 상호 정보량 신경 추정(Mutual Information Neural Estimation, MINE) 구조(Belghazi et al. 2018)를 활용한다. MI는 결합 발산과 주변 발산의 합의 차이로 추정된다:
$\hat{I}(X; Y) = \hat{D}_{KL}(p_{XY} \parallel m_{XY}) - \hat{D}_{KL}(p_X \parallel m_X) - \hat{D}_{KL}(p_Y \parallel m_Y)$
여기서 $m$ 은 관찰된 변수의 지지 집합(support) 내에서 정의된 균등 참조 분포(uniform reference distributions)를 나타낸다. 세 개의 독립적인 신경망 비평가(neural critics)가 이러한 발산들을 추정하도록 훈련된다.

2. 상대 엔트로피를 통한 신경 엔트로피 추정 (Neural Entropy Estimation via Relative Entropy)

정규화 인자를 얻기 위해, 주변 및 결합 엔트로피를 추정된 발산으로부터 복구한다. Neural Entropic Estimation (NEE) (Chan et al. 2019)와 Jaynes의 상대 엔트로피 정식화에서 영감을 받아, 엔트로피를 직접 추정하는 대신 경험적 분포와 균등 참조 분포 사이의 발산을 통해 복구한다:
$\hat{H}(X) = \log V_X - \hat{D}_{KL}(p_X \parallel m_X)$
여기서 $V_X$ 는 균등 참조 분포의 지지 집합 부피(관찰된 샘플 범위를 통해 추정됨)이다. 이 접근 방식은 엔트로피 추정이 명시적인 밀도 추정 없이 동일한 신경 발산 프레임워크로부터 도출되도록 보장한다.

3. 비대칭 정규화 (Asymmetric Normalization)

본 논문은 상호 정보량의 순위(ranking)를 보존하기 위해 비대칭 정규화 방식(Jerdee, Kirkley, and Newman 2025)을 채택한다:
$\widehat{NMI}(X; Y) = \frac{\hat{I}(X; Y)}{\hat{H}(Y)}$
이 공식은 상호 정보량이 유도하는 순서( $I(X_1; Y) > I(X_2; Y) \implies NMI(X_1; Y) > NMI(X_2; Y)$ )를 유지하며, 정보 회복 측면에서 명확한 해석을 제공하기 위해 선택되었다. (균등 참조 기반의) 상대 엔트로피를 사용하는 것은 미분 엔트로피를 사용하는 것과 달리 스케일 불변성을 보장한다.

주요 기여

저자들은 다음과 같은 기여를 제시한다:

완전한 신경 추정기 (A Fully Neural Estimator): 최근접 이웃 통계에 의존하지 않고 연속적인 다차원 변수 사이의 NMI를 추정하기 위한 완전한 신경 파이프라인인 NMINE을 도입하였다.
통합 프레임워크 (Unified Framework): MINE 기반의 상호 정보량 추정과 MI-NEE에서 영감을 얻은 엔트로피 추정을 단일 프레임워크 내에서 통합하였다.
발산 기반 엔트로피 복구 (Divergence-Based Entropy Recovery): 균등 참조 분포에 대한 신경 발산 추정으로부터 엔트로피 추정치를 도출하여, 명시적인 밀도 추정 없이 엔트로피를 복구할 수 있게 하였다.
경험적 검증 (Empirical Validation): 다차원 가우시안 데이터에 대해 제안된 방법을 평가하여, KSG 기반 NMI 베이스라인보다 개선된 정확도를 입증하였다.

실험 결과

본 방법은 차원 $d \in \{1, 2, 4, 8\}$ 및 상관 계수 $\rho \in [0, 0.95]$ 를 가진 합성 다변량 가우시안 데이터에 대해 평가되었다.

정확도: NMINE은 테스트된 모든 차원에서 KSG 베이스라인에 비해 더 낮은 평균 절대 오차(MAE)를 달ach했다. 상대적 오차 감소율은 30.7%에서 74.0% 사이였다.
통계적 유의성: 대응 표본 t-검정(paired t-test) 결과, NMINE이 우세함을 나타내는 통계적으로 유의미한 차이가 확인되었다 ( $t = 9.31, p = 7.89 \times 10^{-19}$ ).
행태 분석 (Behavioral Analysis):
- 저차원( $d=1, 2$ )에서 NMINE은 이론적인 NMI 곡선을 밀접하게 따랐다.
- 고차원에서는 두 추정치 모두 정확도가 떨어졌으나, 실패 모드는 서로 달랐다. KSG 추정기는 점점 더 NMI를 **과대평가(overestimate)**하여 강한 상관관계에서 정규화된 척도의 상한값에 근접하는 경향을 보였다. 반면, NMINE은 **체계적인 과소평가 편향(underestimation bias)**을 보였으나, 상관관계 강도와 NMI 사이의 올바른 단조 관계를 성공적으로 보존하였다.
강건성: 다변량 Student-t 분포에 대한 예비 실험 결과, NMine은 상관관계 증가에 대해 단조적인 반응을 유지하고 중간 정도의 상관관계 설정에서 KSG보다 낮은 변동성을 보이는 것으로 나타났으나, 비가우시안 데이터에 대한 종합적인 평가는 향후 과제로 남겨두었다.

의의 및 주장

본 논문은 정규화된 상호 정보량을 완전한 신경 프레임워크를 사용하여 효과적으로 추정할 수 있음을 보여주며, 특히 KNN 방식이 저하되는 고차원 연속 환경에서 전통적인 최근접 이웃 기반 추정치의 유효한 대안을 제시한다고 주장한다.

저자들은 본 연구를 다음과 같은 응용 분야에서의 더욱 강력한 의존성 측정 단계로 위치시킨다:

해석 가능한 머신러닝 (Interpretable Machine Learning): 신경 표현 간의 정보 함량 비교.
분자 역학 (Molecular Dynamics): 다차원 의존성 분석.
표현 학습 (Representation Learning): 잠재 표현의 특성 규명.

논문은 현재 범위에 대해 겸허한 어조를 유지한다. 구현이 MI와 엔트로피 추정기의 별도 훈련에 의존하며, 고급 분산 감소 기법(예: SMILE 또는 지수 이동 평균) 없이 표준 DV 목적 함수를 사용한다는 점을 인정한다. 또한, 참조 지지 집합을 정의하기 위해 관찰된 샘플 범위를 사용하는 것이 유한 샘플 근사(finite-sample approximation)를 도입하며, 이는 샘크 사이즈 및 극단적인 관측치에 대한 민감도에 영향을 미칠 수 있다고 언급한다. 공동 최적화, 비선형 및 실제 데이터셋에 대한 평가, 그리고 유계가 없는 분포에서의 방법론적 동작에 대한 추가 조사를 위한 향후 연구가 필요함을 밝히고 있다.