기술 요약: 원거리 작용: 다항식 정렬과 IMQ 거리를 통한 범용 재생 커널 힐베르트 공간

문제 제기

표준 다층 퍼셉트론 (MLP) 레이어는 고유한 힐베르트 공간 노름을 결여하고 있습니다. 훈련된 네트워크에 대한 일반화 경계는 일반적으로 가중치 행렬의 리프시츠 (Lipschitz) 또는 스펙트럴 대용물에 의존하는데, 이는 단위와 직접적으로 연결되지 않고 loosely 구성된 함수 수준의 객체들입니다. 이러한 구조적 격차는 표준 스칼라 활성화 함수 (예: ReLU, GELU, 시그모이드) 가 내적 $\sigma(w^\top x)$의 함수이지, 결합 변수 $(w, x)$의 대칭 커널 단면이 아니기 때문에 발생합니다. 그 결과, 훈련된 레이어의 읽기 출력은 어떤 재생 커널 힐베르트 공간 (RKHS) 의 유한 요소도 아니며, 이로 인해 모델은 폐형식 노름, 고정 커널 범용성, 그리고 특성성 (characteristicness) 과 같은 도구를 상실하게 됩니다.

기존의 Mercer 단면 원시 함수들은 다음과 같은 트레이드오프에 직면해 있습니다:

1. 방형 커널 (가우시안 RBF, 역다중곡선/IMQ) 은 국소성과 힐베르트 구조를 갖지만 '정렬 (alignment)'이 결여되어 있습니다 (커널 대각선은 일정하며, 다항식 정렬 항 $(w^\top x + b)^2$은 역할을 하지 않음).
2. 정렬된 커널 (범용 내적 커널) 은 정렬과 힐베르트 구조를 갖지만 거리 국소성 ($\|x-w\|$ 감쇠) 이 결여되어 있습니다.

본 논문은 국소성, 정렬, 그리고 힐베르트 구조를 동시에 결합하는 유한하고 훈련 가능한 숨은 단위 원시 함수의 필요성을 규명합니다.

방법론

저자들은 다음과 같이 정의된 유리수 형태의 숨은 단위 원시 함수인 Yat 커널($k_\Upsilon$) 을 도입합니다:
$$k_{b,\varepsilon}(w, x) = \frac{(w^\top x + b)^2}{\|x - w\|^2 + \varepsilon}, \quad b \ge 0, \varepsilon > 0$$
이 커널은 다항식 정렬 분자 $p_b(x, w) = (x^\top w + b)^2$와 역다중곡선 (IMQ) 분모 $h_\varepsilon(x, w) = (\|x - w\|^2 + \varepsilon)^{-1}$의 슈어 곱 (Schur product) 입니다.

방법론은 네 가지 주요 이론적 기둥을 통해 진행됩니다:

1. Mercer 구조와 범용성: 본 논문은 $b \ge 0$일 때 커널이 양의 준정부호 (PSD) 이므로 Mercer 커널임을 입증합니다. 특히 $b > 0$인 경우, Yat 커널은 스케일링된 IMQ 커널을 로에너 (Loewner) 우세합니다 ($b^2 h_\varepsilon \preceq k_{b,\varepsilon}$). 아론샤인 포함 정리에 따라 이는 Yat RKHS($\mathcal{H}_{b,\varepsilon}$) 가 IMQ RKHS 를 포함하여 그 범용성과 특성성 속성을 계승함을 의미합니다.
2. 비방형 정렬 구조: 순수 방형 커널과 달리, Yat 원자는 무한대에서 '방향성 2 차 그림자'를 유지합니다. 반지 $ru$를 따른 점근적 흔적은$T_\infty g_\varepsilon(u) = (u^\top w)^2$이며, 이는$b$와$\varepsilon$에 무관합니다. 이는 무한대에서 0 으로 감쇠하는 유한 IMQ 전개에서 결여된 비방형 정렬 채널을 열어줍니다.
3. 대수적 IMQ 임베딩: 본 논문은 편향 매개변수 $b$에서의 2 차 유한 차분을 통해 임의의 IMQ 원자가 정확히 세 개의 Yat 원자로부터 복원될 수 있음을 구성적으로 증명합니다:
   $$g_\varepsilon(\cdot; w, 3h) - 2g_\varepsilon(\cdot; w, 2h) + g_\varepsilon(\cdot; w, h) = 2h^2 k_\varepsilon^{\text{IMQ}}(\cdot, w)$$
   이 항등식은 날카롭습니다; 두 개의 원자로는 IMQ 단면을 재현할 수 없습니다.
4. 레이어 국소 RKHS 용량: 공유된 $(b, \varepsilon)$을 가진 훈련된 레이어의 경우, 유한 전개 $f = \sum \alpha_j k_{b,\varepsilon}(w_j, \cdot)$의 제곱 RKHS 노름은 폐형식 표현을 허용합니다: $\|f\|^2 = \alpha^\top K \alpha$. 여기서 $K$는 훈련된 가중치의 그람 행렬입니다. 이는 커널 대각선 $k_{b,\varepsilon}(x, x) = (\|x\|^2 + b)^2 / \varepsilon$에 명시적으로 의존하는 직접적인 라데마허 일반화 경계를 가능하게 합니다.

주요 기여

1. Yat 커널: 다항식 정렬과 IMQ 국소성을 통합하는 유리수 형태, 유한, 훈련 가능한 원시 함수.
2. 고정 커널 범용성: 단일 고정 Yat 커널 ($b>0$) 이 범용 가족의 일원이 아니라 모든 콤팩트 영역에서 범용적임을 증명.
3. 방향성 원거리 흔적: Yat 원자가 무한대에서 0 이 아닌 2 차 흔적을 유지하는 구조적 불변성의 식별. 이는 모든 유한 방형 조합과 구별되는 특징입니다.
4. 정확한 IMQ 복원: IMQ 원자가 세 개의 Yat 원자로 정확히 구성 가능함을 보여주는 대수적 항등식. 이는 3 배의 너비 오버헤드로 Yat 에 IMQ 근사율을 전이합니다.
5. 폐형식 노름 및 경계: 하이퍼파라미터 $b$와 $\varepsilon$ 및 입력 노름 $\|x\|$에 명시적으로 의존하는 정확한 RKHS 노름 ($\alpha^\top K \alpha$) 과 단일 레이어 라데마허 경계 유도. 이는 표준 MLP 에서 결여된 투명성을 제공합니다.

결과

• 이론적 속성: 본 논문은 Yat 커널이 $b > 0$일 때 PSD, 특성적이며, 엄격히 양의 정부호임을 입증합니다. 또한 엄격한 RKHS 포함 관계 $\mathcal{H}_{\text{IMQ}} \subsetneq \mathcal{H}_{b,\varepsilon}$를 만족합니다.
• 근사율: 유한 차분 항등식을 통해 임의의 IMQ 근사율이 Yat 로 전이됩니다. 반대로, 본 논문은 '너비 - 복잡성 격차'를 입증합니다: 단일 Yat 원자는 임의의 정확도로 2 차 리지 함수를 근사할 수 있는 반면, 유계 변동 IMQ 전이는 주변 차원에서 지수적으로 많은 원자를 필요로 합니다.
• 일반화 경계: 유도된 라데마허 경계는 $B(R^2 + b)/(\sqrt{n}\sqrt{\varepsilon})$로 스케일링됩니다. 가우시안 RBF(일정한 대각선) 나 IMQ(일정한 대각선 $\varepsilon^{-1}$) 와 달리, Yat 대각선은 $\|x\|$에 다항식적으로 의존하므로 $b$와 $\varepsilon$을 명시적인 정규화 목표로 만듭니다.
• 실증 진단:
  • CLIP 프로브: ImageNet-1k 에서 고정된 CLIP 특징을 사용하여, 단일 레이어 Yat 분류기 (훈련된 중심) 는 73.9% 정확도를 달성하여 순수 다항식 커널 (72.5%) 과 고정된 무작위 중심을 가진 Yat 변형 (69.5%) 을 능가했습니다. 이는 IMQ 분모와 중심 최적화의 이점을 분리해냈습니다.
  • 인과 언어 모델: GELU MLP 블록을 Yat 원자로 대체한 2 억 6 천 1 백만 파라미터 인과 언어 모델은 GELU 기준 정확도 영역 (시드 변동성 일치) 에 도달하면서 WikiText-103 및 장거리 작업에서 더 낮은 퍼플렉시티를 달성했습니다. 폐형식 RKHS 노름은 레이어별로 적용 가능했습니다.

중요성 및 주장

본 논문은 Yat 커널이 다음과 같은 속성을 동시에 갖는 첫 번째 유한하고 훈련 가능한 숨은 단위 원시 함수라고 주장합니다:

1. $b \ge 0$에 대한 PSD/Mercer 구조.
2. 로에너 우세를 통한 $b > 0$에 대한 고정 커널 범용성.
3. 0 이 아닌 방향성 원거리 흔적을 가진 비방형 정렬.
4. IMQ 원자의 정확한 대수적 임베딩 (세 개 원자에서 날카롭게 성립).
5. 하이퍼파라미터에 명시적으로 의존하는 폐형식, 레이어 국소 RKHS 노름.

저자들은 이러한 속성이 단일 레이어에 대해서는 유효하지만, 심층 네트워크에 대한 전역 이론으로 확장되지 않는다고 강조합니다. 심층 Yat 스택의 그람 구조를 포착하는 매개변수 독립적 Mercer 커널은 존재하지 않습니다. 심층 레이어 이론은 다음으로 제한됩니다:

• 접두사 조건부 풀백: 이전 레이어가 고정된 경우 유효한 RKHS 구조가 존재합니다.
• 주변 소볼 포함: 유계 깊이의 스택은 고정된 소볼 RKHS 에 속하지만, 용량 경계는 정성적이며 깊이에 따라 초지수적으로 증가하는 고통을 겪습니다.

이 연구는 Yat 을 모든 맥락에서 표준 MLP 를 대체하는 것으로 위치 짓는 것이 아니라, 신경 단위와 RKHS 이론 간의 연결을 복원하고 표준 스칼라 활성화 함수에서는 불가능했던 명시적 노름과 일반화 경계를 제공하는 이론적으로 근거 있는 대안으로 위치 짓습니다.