기술 요약: 분류 필드: 소수의 예시로부터 임의의 정밀도를 가진 재귀적 계층적 클러스터링

1. 문제 제기

고전적인 계층적 클러스터링 방법은 일반적으로 고정된 유한 샘플을 기반으로 작동하며, 데이터의 유한한 분할 또는 유한한 덴드로그램을 반환합니다. 그러나 관심 있는 근본적인 계층 구조가 직접 관찰된 수준을 넘어선 미세 규모의 정제 과정을 가진 재귀적 기하학적 객체인 경우, 이 접근법은 부적절합니다. 이러한 영역에서 잠재적 클러스터 중심의 수 ($k$) 는 관찰된 노드의 수 ($N$) 를 훨씬 초과하여 증가할 수 있으며, 정제 과정은 훈련 데이터에 존재하지 않는 깊이에서도 계속될 수 있습니다.

이 연구가 다루는 핵심 질문은 다음과 같습니다: 유한하게 관찰된 계층의 접두사로부터 지역적 정제 규칙을 학습하고, 이를 재귀적으로 적용하여 관찰되지 않은 훨씬 더 깊은 수준을 생성할 수 있는가?

현재의 미분 가능하거나 학습 기반 계층 접근법은 일반적으로 유한하게 관찰된 트리를 적합시키거나, 고정된 구조를 임베딩하거나, 유한한 클러스터링 목적 함수를 최적화합니다. 이들은 관찰된 계층을 넘어 재귀적으로 적용 가능한 정제 메커니즘을 직접 학습하지는 않습니다.

2. 방법론: 분류 필드

저자들은 무한 깊이의 계층적 클러스터링을 위한 메트릭 - 기하학적 모델인 분류 필드 (Classification Fields) 를 소개합니다.

2.1 핵심 정의

• 분류 필드 생성기 (CFG): 부모 중심을 순서화되고 경계 지우며 분리된 $K$-튜플의 자식 잔차로 매핑하는 지역 규칙 $r: \mathbb{R}^d \to (\mathbb{R}^d)^K$.
  • 제약 조건: 임의의 부모 $x$에 대해, 자식 잔차 $\{r_k(x)\}$ 는 유클리드 원환체 (경계된 노름) 내에 있어야 하며 $s_{sep}$-분리되어 있어야 합니다.
  • 구성: CFG 는 고정된 참조 패킹의 직교 - 대각 - 직교 변형을 통해 구성될 수 있으며, 이를 통해 기하학적 제약 조건이 충족되도록 합니다.
• 분류 필드: 루트 $x_0$와 스케일 인자 $s$로부터 CFG 를 재귀적으로 적용하여 얻은 무한 깊이의 계층 구조.
  • 구조: 필드는 재귀적으로 생성된 메트릭 방향 비순환 그래프 (DAG) 입니다.
  • 구성 요소: 이는 클러스터 중심, 관련 보로노이 셀, 그리고 계보 주소를 생성합니다.
  • 메트릭: 논문은 필드 위에 세 가지 거리 메트릭을 정의합니다:
    1. 트리 메트릭: 조합적 간선 가중치 (수준 의존적) 기반.
    2. 점 기반 메트릭: 중심 간의 유클리드 거리 기반.
    3. 셀 기반 메트릭: 보로노이 셀 간의 하우스도르프 거리 기반이며, 깊이에 따라 스케일링됩니다.

2.2 학습: 분류 필드 예측기 (CFP)

계층의 유한한 접두사 (최대 $L_{train}$ 깊이까지 관찰됨) 가 주어졌을 때, 목표는 근본적인 CFG 를 근사하는 분류 필드 예측기 (CFP), 즉 $\hat{r}$을 학습하는 것입니다.

• 훈련 목적 함수: 예측된 자식 잔차와 관찰된 잔차 사이의 제곱 오차를 최소화합니다:
  $$\mathcal{L}(\hat{r} | \mathcal{H}_{train}) = \sum_{l=0}^{L_{train}-1} \sum_{x \in \mathcal{H}_l} \sum_{k=1}^K \| x + s^{l+1}\hat{r}(x)_k - \text{chld}(x)_k \|_2^2$$
• 재귀적 롤아웃: 테스트 시, $\hat{r}$은 루트에서 재귀적으로 적용됩니다. 생성된 모든 자식은 다음 수준의 부모가 됩니다. 롤아웃 중에는 관찰되지 않은 수준의 실제 노드는 사용되지 않습니다.

2.3 이론적 보장

논문은 특정 조건 하에서 학습된 필드의 유한 절단들이 완성된 무한 깊이 필드로 수렴함을 입증합니다:

• 지수적 수렴: 경계성, 분리성, 그리고 규칙성에 대한 가정 하에, 깊이 $L$의 절단과 완성된 필드 간의 하우스도르프 거리는 $L$에 따라 지수적으로 감소합니다.
• 신경망 실현 가능성: CFG 를 근사하는 데 필요한 유한한 정제 윈도우는 ReLU 다층 퍼셉트론 (MLP) 으로 실현될 수 있습니다.
  • 복잡도: 필요한 너비는 $O(\varepsilon^{-\gamma})$이고 깊이는 $\tilde{O}(\varepsilon^{-3\gamma/2})$이며, 여기서 $\gamma = \log K / (-\log s)$입니다.
  • 이는 유한한 신경망이 무한 깊이의 계층 구조에 대한 유한 근사 메커니즘으로 작용할 수 있음을 증명합니다.

3. 실험적 검증

저자들은 이상화된 이론과의 불일치가 증가하는 세 가지 설정에서 CFP 를 평가합니다:

1. 일치하는 CFG 생성 계층:

   • 설정: 이론에서 사용된 동일한 계열의 알려진 CFG 로부터 생성된 데이터.
   • 결과: CFP 는 베이스라인 (학습 가능한 상수, 평균 잔차, 아핀 예측기) 에 비해 관찰되지 않은 롤아웃 구간에서 가장 낮은 수준별 오차를 유지합니다. 이는 학습된 지역 규칙이 반복적인 자기 합성 하에서도 일관성을 유지함을 확인시켜 줍니다.

2. 가족 외 IFS 프랙탈 계층:

   • 설정: 매끄러운 비선형 섭동 (예: 시에르핀스키 삼각형, 칸토르 먼지, 코흐 곡선) 을 가진 반복 함수 시스템 (IFS) 으로 생성된 계층. 이들은 정확한 재귀 구조를 가지지만 매개변수화된 CFG 계열에서 추출된 것은 아닙니다.
   • 결과: CFP 는 베이스라인보다 낮은 MSE, 순열 불변 Chamfer 거리 (PI-CD), 그리고 깊이 왜곡을 달성합니다. 이는 분류 필드 공식화가 일치하는 생성기 클래스를 넘어 일반화됨을 보여줍니다.

3. 이미지 유도 재귀적 클러스터링 계층:

   • 설정: 재귀적 심층 클러스터링 방법을 사용하여 CIFAR-10 및 CIFAR-100 이미지의 CLIP 임베딩으로부터 구축된 계층. 정제 규칙은 근사적이며, 자식 슬롯은 PCA 를 통한 표준화 (순서화) 가 필요합니다.
   • 결과: CFP 는 무순서 기하학 (PI-CD) 과 계층 수준 경로 메트릭 (dpt-distortion) 을 보존하는 데 있어 베이스라인을 크게 능가합니다. 이는 노이즈가 있는 실제 데이터 설정에서도 유한한 계층 접두사가 학습 가능한 정제 메커니즘을 포함하고 있음을 시사합니다.

4. 주요 기여

1. 개념적 프레임워크: 유한 샘플에 대한 계층 학습에서 재사용 가능한 지역적 부모 - 자식 정제 규칙 학습으로 초점을 이동시키는, 무한 깊이 계층적 클러스터링을 위한 메트릭 - 기하학적 모델인 분류 필드의 도입.
2. 메트릭 이론: 트리, 점, 그리고 셀 기반 거리 정의와 유한 절단들의 완성된 필드로의 수렴에 대한 정량적 경계를 포함하는 이러한 객체에 대한 엄밀한 메트릭 이론의 개발.
3. 신경망 실현 가능성: 유한한 정제 윈도우가 ReLU 예측기로 표현될 수 있음을 증명하여, 명시적 복잡도 경계를 가진 무한 깊이 계층 완성을 위한 유한 신경망 롤아웃 메커니즘을 확립.

5. 중요성과 주장

이 논문은 유한한 계층적 관찰이 훨씬 더 깊은 분류 필드를 생성할 수 있는 지역적 정제 규칙을 드러낼 수 있다고 주장합니다. 결과는 계층적 클러스터링을 유한한 조합적 요약 구축이 아닌 지역적 재귀적 정제 법칙 학습으로 프레임할 수 있다는 관점을 지지합니다.

저자들은 이 작업을 기존 계층적 클러스터링 방법에 대한 보완적인 관점으로 위치시킵니다. 그들은 명시적으로 한계를 지적합니다: 이 프레임워크는 고정된 분기 인자, 충분한 분리, 그리고 재사용 가능한 정제 과정을 가정합니다. 또한 노이즈가 있거나, 가변 분기를 가지거나, 약하게 정렬되거나, 자기 유사성이 없는 계층으로 프레임워크를 확장하는 것은 향후 연구의 중요한 방향임을 인정합니다. 실험은 모든 계층적 클러스터링 문제가 완벽한 분류 필드를 허용한다는 주장보다는 검증 프로브로 제시됩니다.