The Maximum von Neumann Entropy Principle: Theory and Applications in Machine Learning

기술 요약: 최대 폰 노이만 엔트로피 원리 (The Maximum von Neumann Entropy Principle)

문제 정의
폰 노이만 엔트로피(von Neumann entropy, VNE)는 커널 행렬 및 공분산 연산자와 관련하여 다양성과 유효 차원을 측정하는 스펙트럼 척도로서 머신러닝 분야에서 부상하고 있다. 엔트로피 극대화 원리는 고전 정보 이론(샤논 엔트로피)과 양자 통계 역학에서 잘 확립되어 있으나, 데이터 기반 맥락에서 VNE를 극대화하는 것에 대한 원칙적인 의사 결정론적 및 게임 이론적 정당화는 부족한 실정이었다. 구체적으로, 밀도 행렬(또는 커널 유도 밀도 행렬)이 누락된 항목, 노이즈가 섞인 측정값 또는 제한된 데이터로 인해 부분적으로만 지정된 경우, 최대 VNE 해(solution)를 선택하는 것이 왜 "최소한의 확언(least committed)"을 의미하는지에 대한 명시적인 프레임워크가 존재하지 않았다. 본 논문은 최대 VNE의 변분적 정식화(variational formulation)와 부분 정보 상황에서의 운용적 해석 사이의 간극을 다룬다.

방법론
저자들은 클래식 확률 분포에 대해 Grünwald와 Dawid가 개발한 최대 엔트로피 원리의 미니맥스(minimax) 정식화를 폰 노이만 엔트로피를 갖는 밀도 행렬의 설정으로 확장한다.

1. 게임 이론적 프레임워크: 본 논문은 "자연(Nature)"(실행 가능한 볼록하고 컴팩트한 집합 $\Gamma$에서 미지의 상태 $\rho$를 선택함)과 "의사 결정자(Decision Maker)"(행동 $q$를 선택함) 사이의 미니맥스 게임을 정식화한다. 손실 함수는 양자 로그 손실(quantum log loss), $L(\rho, \sigma) = -\text{Tr}(\rho \log \sigma)$로 정의된다.
2. 미니맥스 등가성: 선형-상태 미니맥스 정리(linear-in-state minimax theorem)를 적용함으로써, 저자들은 일반화된 엔트로피(베이즈 위험)를 극대화하는 상태 $\rho^*$가 자연의 평형 전략에 대응함을 입증한다. 결정적으로, 그들은 양자 로그 손실에 대해 일반화된 엔트로피가 폰 노이만 엔트로피 $S(\rho) = -\text{Tr}(\rho \log \rho)$와 정확히 일치함을 보여준다.
3. 일반화: 이 프레임워크는 트레이스 엔트로피(trace entropies)와 브레그만 유형의 분해(Bregman-type decompositions)를 활용하여, 행렬 기반 레니 엔트로피(Rényi entropies, 이차 레니 엔트로피 및 order-infinity 엔트로피 포함)와 같은 다른 스펙트럼 엔트로피 범함수로 확장된다.
4. 응용: 제안된 이론적 프레임워크는 두 가지 특정 머신러닝 문제에 적용된다:
   • 커널 혼합 선택 (Kernel Mixture Selection): 여러 정규화된 커널 행렬(임베딩)의 볼록 조합을 선택하여 VNE를 극대화함으로써, 스펙트럼 다양성을 촉진하는 "최소한의 확언을 하는" 혼합물을 식별한다.
   • 커널 행렬 완성 (Kernel Matrix Completion): 관찰된 항목의 부분 집합으로부터 전체 커널 행렬을 재구성할 때, VNE를 극대화하는 양의 준정부호(positive semidefinite) 완성을 선택함으로써 관찰된 제약 조건 외에 추가적인 스펙트럼 구조가 부과되지 않도록 보장한다.

주요 기여

• 이론적 정당화: 본 논문은 최대 VNE 원리에 대한 최초의 명시적인 게임 이론적 정당성을 제공한다. 저자들은 밀도 행렬 집합 위에서 VNE를 극대화하는 것이 미니맥스 최적 전략임을 증명하며, 이는 클래식 최대 엔트로피 원리와 직접적으로 평행을 이룬다.
• 강건한 추론: VNE 극대화 해가 부분 정보 하에서의 강건한 평형 상태를 나타냄을 입증하여, VNE 기반 방법론을 스펙트럼 영역에서의 "최소한의 확언을 하는" 추론으로 엄밀하게 해석한다.
• 통합 프레임워크: 본 연구는 다양한 스펙트럼 엔트로피 척도(VNE, 레니 엔트로피)를 단일 미니맥스 의사 결정론적 체계 아래 통합하며, 이를 조건부 설정 및 지도 학습 맥락으로 확장한다.

결과
저자들은 표준 이미지 데이터셋에 대한 수치 실험을 통해 제안된 프레임워크를 검증한다:

• 커널 혼합 선택: 네 가지 벤치마크(ImageNet, CIFAR-100, DTD, FGVC Aircraft)에서 Max-VNE가 선택한 임베딩 혼합(DINOv2, SigLIP, UNICOM, OpenCLIP 등의 모델 결합)은 선형 프로빙(linear probing) 작업에서 개별 임베딩들을 일관되적으로 능가했다. 예를 들어, ImageNet에서 Max-VNE 혼합은 85.1%의 정확도를 달성하여 차순위 모델인 SigLIP(81.8%)보다 높은 성능을 보였다.
• 커널 행렬 완성: 관찰된 항목의 10%만을 사용하여 커널 행렬을 복구하는 실험(AFHQ, MNIST, ImageNet-Dogs 대상)에서, Max-VNE 완성 방법은 고품질의 스펙트럼 클러스터링 결과를 도출했다. AFHQ 데이터셋에서 복구된 커널은 ACC 0.98, NMI 0.93, ARI 0.95를 달성했다. MNIST에서는 ACC 0.74를 달성했다.

의의 및 주장
본 논문은 커널 학습에서 VNE 기반 방법론을 위한 "통합적인 정보 이론적 토대"를 제공한다고 주장한다. 최대 VNE 원리를 미니맥스 게임 이론적 프레임워크에 근거함으로써, 본 연구는 VNE 기반의 스펙트럼 다양성 측정을 단순한 휴리스틱 적용을 넘어선 단계로 격상시킨다. 저자들은 VNE를 극대화하는 것이 단순히 정규화 기법이 아니라, 모호성 하에서 최악의 손실을 최소화하는 강건한 추론 전략임을 명확히 한다. 이러한 관점은 정보가 불완전할 때 커널 표현을 선택하고 데이터 구조를 완성하는 데 있어 원칙적인 접근 방식을 제공하며, 결과적으로 생성된 모델이 관찰되지 않은 스펙트럼 구조에 대해 최대한 확언을 피하도록(non-committal) 보장한다.