K-Means as a Radial Basis function Network: a Variational and Gradient-based Equivalence

이 논문은 온도가 0 으로 수렴할 때 가중 RBF 네트워크의 목적 함수가 K-평균 알고리즘과 $\Gamma$-수렴하며, 엔트맥스 (Entmax-1.5) 를 통해 수치적 안정성을 확보함으로써 이산적 클러스터링과 연속적 최적화를 연결하는 미분 가능한 통합 프레임워크를 제시합니다.

핵심

🏠 비유: "이웃사촌 찾기"와 "부드러운 지도"

이 논문의 주인공 두 명을 소개합니다.

1. K-평균 (K-Means): 아주 엄격한 이웃사촌 찾기 방법입니다.

   • 방식: "네가 가장 가까운 집은 어디야?"라고 물어보고, 그 집이 속한 구역 (이웃) 에 딱 떨어뜨려서 넣습니다.
   • 특징: 경계가 매우 뚜렷합니다. "네 집은 A 구역이야!"라고 딱 잘라 말합니다. 하지만 이 방식은 **컴퓨터가 학습하는 과정 (미분)**에서 문제가 됩니다. "왜 A 구역이고 B 구역이 아니지?"라고 이유를 설명할 수 없기 때문에, 복잡한 인공지능 시스템 안에 넣기 어렵습니다. (예: "이 집이 A 구역인 이유는 0.0001 미터 차이 때문인데, 그걸로 학습할 수 없어"라고 막힙니다.)

2. RBF 신경망 (Radial Basis Function): 아주 부드러운 부드러운 지도를 그리는 방법입니다.

   • 방식: "네가 A 구역에 얼마나 가깝고, B 구역에 얼마나 가까운지?"를 확률로 표현합니다. "A 구역에 90% 가깝고, B 구역에 10% 가깝네?"라고 말합니다.
   • 특징: 경계가 흐릿하고 부드럽습니다. 덕분에 인공지능이 "어떤 방향으로 조금만 움직이면 더 잘 분류할 수 있겠다"라고 계산하며 스스로 학습할 수 있습니다.

🤔 문제점: "엄격한 이웃"과 "부드러운 지도"는 왜 안 섞일까?

기존에는 이 두 방법을 따로 썼습니다.

• 먼저 K-평균으로 대략적인 그룹을 나눈 뒤,
• 그 결과를 신경망에 넣어서 학습을 시켰습니다.

하지만 이렇게 하면 두 단계가 따로 놀게 되어, 전체 시스템을 한 번에 최적화하기 어렵습니다. 마치 "먼저 집을 짓고, 그 다음에 도로를 닦는" 식으로, 도로를 닦을 때 집을 다시 고려하지 못하는 것과 비슷합니다.

✨ 이 논문의 해결책: "온도 (Temperature)"라는 마법 스위치

이 논문은 **"K-평균은 사실 RBF 신경망의 아주 차가운 상태일 뿐이다"**라고 주장합니다.

• 상상해 보세요: RBF 신경망의 '부드러운 확률'을 조절하는 **온도 (σ)**라는 스위치가 있다고 가정해 봅시다.
  • 온도가 높을 때 (따뜻함): 사람들은 "A 구역에도 가깝고 B 구역에도 가깝네?"라고 흐릿하게 생각합니다. (부드러운 RBF)
  • 온도가 낮아질 때 (추워짐): 사람들은 "아, A 구역이 훨씬 가까구나! B 구역은 아예 안 가!"라고 딱 떨어뜨려 생각합니다. (엄격한 K-평균)

이 논문은 수학적으로 증명했습니다. **"온도 (σ) 를 0 에 가깝게 낮추면, 부드러운 RBF 신경망이 완벽하게 딱딱한 K-평균으로 변한다"**는 것입니다.

🛠️ 새로운 기술: "Entmax-1.5"라는 안정장치

하지만 여기서 문제가 생깁니다. 온도를 너무 낮추면 (σ → 0), 컴퓨터가 계산을 하다가 숫자가 너무 작아져서 **오류 (Underflow)**가 나거나, 계산이 멈추는 문제가 발생합니다. (마치 얼음이 너무 차가워져서 깨지는 것처럼요.)

이를 해결하기 위해 저자들은 Entmax-1.5라는 새로운 도구를 제안했습니다.

• 비유: 기존에 쓰던 '소프트맥스 (Softmax)'는 온도가 낮아지면 너무 급격하게 변해서 컴퓨터가 당황했습니다. 하지만 Entmax-1.5는 온도가 낮아져도 조금씩, 하지만 안정적으로 변합니다.
• 효과: 이 도구를 쓰면, 컴퓨터가 K-평균처럼 딱딱하게 그룹을 나누면서도, 여전히 인공지능이 학습할 수 있는 부드러운 경로를 유지할 수 있습니다.

🚀 왜 이것이 중요한가요? (실제 활용)

이 연구의 결과는 다음과 같은 큰 변화를 가져옵니다.

1. 한 번에 다 해결하기 (End-to-End): 이제 K-평균을 따로 실행할 필요가 없습니다. 인공지능 모델이 데이터를 학습하면서, 동시에 그룹을 나누고 (클러스터링), 그 그룹을 바탕으로 더 좋은 특징을 찾아낼 수 있습니다.
2. 더 똑똑한 AI: 복잡한 데이터 (예: 구불구불한 길, 구름 모양의 데이터) 를 다룰 때, K-평균의 단순함만으로는 부족할 수 있습니다. 하지만 이 새로운 방법을 쓰면, K-평균의 단순함과 신경망의 유연함을 모두 얻을 수 있어 더 정확한 분석이 가능해집니다.

📝 한 줄 요약

"이 논문은 '엄격한 K-평균'과 '부드러운 신경망'이 사실은 같은 가족임을 증명하고, '온도 조절'과 '새로운 계산 도구 (Entmax-1.5)'를 이용해 두 세계를 하나로 합쳐, 인공지능이 스스로 더 똑똑하게 그룹을 나눌 수 있게 만들었습니다."

이제 K-평균은 더 이상 별도의 프로그램이 아니라, 인공지능의 뇌 속에 자연스럽게 녹아있는 일부가 될 수 있습니다.

기술 요약

이 논문은 고전적인 K-Means 클러스터링 알고리즘과 미분 가능한 Radial Basis Function (RBF) 신경망 사이의 엄밀한 변분적 (variational) 및 경사 기반 (gradient-based) 동등성을 확립합니다. 저자들은 K-Means 를 이산적인 외부 절차가 아닌, RBF 네트워크의 '영온도 (zero-temperature)' 한계로 해석함으로써, 클러스터링과 표현 학습을 단일 최적화 프레임워크 내에서 통합할 수 있는 이론적 기반을 마련했습니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• K-Means 의 구조적 한계: K-Means 는 단순함과 계산 효율성으로 널리 사용되지만, '하드 할당 (hard assignment)'을 통해 생성되는 비미분 가능한 보로노이 (Voronoi) 분할을 가집니다. 이로 인해 K-Means 는 엔드 - 투 - 엔드 (end-to-end) 경사 기반 최적화 파이프라인에 직접 통합되지 못하며, 일반적으로 이산적인 전처리 단계로만 취급됩니다.
• RBF 네트워크와의 괴리: RBF 네트워크는 거리 기반의 부드러운 활성화 함수를 사용하여 경사 하강법으로 학습 가능하지만, K-Means 와의 관계는 단순한 근사나 휴리스틱으로만 간주되어 왔습니다.
• 핵심 질문: K-Means 를 외부 이산 절차가 아닌, 미분 가능한 모델의 한 형태로 특성화할 수 있는가?

2. 방법론 (Methodology)

저자들은 K-Means 의 왜곡 함수 (distortion functional) 를 재매개변수화하고, 이를 부드러운 가중 손실 함수에 내재화하여 다음과 같은 수학적 도구를 활용했습니다.

• 책임 변수 (Responsibilities) 를 통한 변분적 재매개변수화: K-Means 의 이진 할당 변수를 확률 심플렉스 (probability simplex) 상의 연속적인 '책임 변수'로 대체했습니다.
• 엔트로피 정규화 및 영온도 한계: 엔트로피 항을 포함한 정규화 손실 함수 ($J_\sigma$) 를 도입했습니다. 여기서 $\sigma$는 '온도' 파라미터 역할을 하며, $\sigma \to 0$일 때 이 함수는 K-Means 의 원래 목적 함수로 수렴합니다.
• $\Gamma$-수렴 (Gamma-convergence): RBF 기반의 부드러운 목적 함수가 $\sigma \to 0$일 때 K-Means 목적 함수로 $\Gamma$-수렴함을 증명했습니다. 이는 두 모델의 최소값이 극한에서 일치함을 의미합니다.
• 경사 하강 업데이트의 동등성: RBF 중심 (centroids) 의 경사 기반 업데이트 규칙이 특정 조건 (학습률 $\eta$의 선택) 하에서 K-Means 의 폐쇄형 중심 업데이트 공식과 정확히 일치함을 보였습니다.
• Entmax-1.5 도입: 저온 ($\sigma \to 0$) 영역에서 Softmax 변환이 겪는 수치적 불안정성 (underflow) 을 해결하기 위해 Entmax-1.5를 제안했습니다. 이는 희소성 (sparsity) 을 유지하면서도 미분 가능성을 보장하고, 다항식 수렴 속도를 제공하여 K-Means 의 보로노이 분할 구조를 안정적으로 복원합니다.

3. 주요 기여 (Key Contributions)

1. 변분적 동등성 증명: 부드러운 RBF 손실 함수가 $\sigma \to 0$일 때 K-Means 왜곡 함수로 $\Gamma$-수렴함을 rigorously 증명했습니다.
2. 동적 업데이트의 일치: RBF 네트워크의 경사 하강 업데이트가 K-Means 의 중심 업데이트 규칙을 정확히 회복함을 보였습니다.
3. 수치적 안정성 해결: Softmax 의 수치적 불안정성을 극복하고 K-Means 해를 안정적으로 수렴시키기 위해 Entmax-1.5를 클러스터링 맥락에 적용했습니다.
4. 통합 최적화 프레임워크: 클러스터링 (K-Means) 과 표현 학습 (Representation Learning) 을 동시에 최적화할 수 있는 엔드 - 투 - 엔드 미분 가능한 아키텍처를 가능하게 했습니다.

4. 실험 결과 (Results)

• 합성 데이터셋 검증: 가우시안 뭉치, 두 개의 달 (Two Moons), 나선형 (Spiral), 원형 (Circles) 등 다양한 기하학적 구조의 합성 데이터셋에서 실험을 수행했습니다.
• 단조 수렴 (Monotone Collapse): 온도 파라미터 $\sigma$가 감소함에 따라 부드러운 RBF 중심들이 K-Means 의 고정점으로 단조롭게 수렴하는 것을 확인했습니다.
• 수렴 속도 분석:
  • Softmax 기반: 이론적 예측대로 지수적 수렴 속도를 보였습니다.
  • Entmax-1.5 기반: 다항식 수렴 속도 ($O(\sigma)$) 를 보였으며, 이는 수치적으로 안정적이면서도 K-Means 해를 정확히 복원함을 확인했습니다.
• 경로 시각화: $\sigma$가 감소함에 따라 중심들의 궤적이 K-Means 최적해로 수렴하는 모습을 시각화하여 이론적 결론을 뒷받침했습니다.

5. 의의 및 결론 (Significance)

• 개념적 간극 해소: 이산적인 분할 (Discrete Partitioning) 과 연속적인 최적화 (Continuous Optimization) 사이의 개념적 간극을 해소했습니다.
• 딥러닝 통합: K-Means 를 신경망 아키텍처 내부에 직접 통합하여, 클러스터링 목적 함수와 태스크 손실 함수를 동시에 최적화할 수 있게 했습니다. 이는 기존에 K-Means 를 휴리스틱이나 후처리 단계로 사용하던 방식에서 벗어나, 표현 학습과 클러스터링이 상호작용하며 진화하는 통합 시스템을 가능하게 합니다.
• 실용적 가치: Entmax-1.5 를 통한 수치적 안정성 확보로, 저온 영역에서도 안정적인 그라디언트 흐름을 보장하여 실제 딥러닝 파이프라인에서의 적용 가능성을 높였습니다.

요약하자면, 이 논문은 K-Means 를 단순히 고전적인 알고리즘이 아닌, **미분 가능한 RBF 네트워크의 특수한 경우 (영온도 한계)**로 재정의함으로써, 현대 딥러닝 시스템과의 자연스러운 통합을 위한 강력한 이론적, 실용적 토대를 제시했습니다.