Kernel-based guarantees for nonlinear parametric models in Bayesian optimization

기술적 요약: 베이지안 최적화에서 비선형 매개변수 모델에 대한 커널 기반 보장

문제 제기

현대 베이지안 최적화 (BO) 및 적응형 실험 설계는 획득 함수나 대리 모델을 학습하기 위해 유한 폭 심층 신경망과 같은 비선형 매개변수 모델을 점점 더 많이 활용하고 있습니다. 이는 명시적 가우시안 프로세스 (GP) 대리 모델에서 유도되는 대신 유연한 매개변수 모델을 사용하여 획득 함수를 직접 데이터로부터 학습하는 Likelihood-Free Bayesian Optimization(LFBO) 에서 특히 두드러집니다.

그러나 적응형 데이터 수집 하에서 이러한 비선형 모델에 대한 이론적 보장은 여전히 제한적입니다. 기존 후회 (regret) 분석은 주로 가우시안 프로세스, 커널 머신, 선형 모델, 또는 선형화된 신경 근사 (예: Neural Tangent Kernels) 에 대한 가정에 의존합니다. 이러한 가정은 적응형 샘플링 과정으로 인해 고전적 통계 학습 이론의 독립 및 동일 분포 (i.i.d.) 가정이 무효화되는, 적응형으로 수집된 데이터로 훈련된 유한 차원 비선형 매개변수 모델의 행동을 포착하지 못합니다. 결과적으로 비선형 모델의 실제 활용과 그 수렴 및 후회를 분석하기 위해 사용 가능한 이론적 도구 사이에는 간극이 존재합니다.

방법론

본 논문은 적응형으로 수집된 데이터로 훈련된 정규화된 비선형 매개변수 모델을 분석하기 위한 커널 기반 프레임워크를 제안합니다. 핵심 방법론은 매개변수 공간 위의 커널에 의해 유도된 재생 커널 힐베르트 공간 (RKHS) 으로 매개변수 모델 클래스를 임베딩하는 것을 포함합니다.

1. 매개변수 공간 위의 RKHS 유도:
저자들은 매개변수 공간 $\Theta$ 위의 양의 준정부호 커널 $k_\Theta$에 의해 유도된 RKHS $\mathcal{H}_\Theta$를 통해 매개변수 모델 클래스 $\mathcal{G} = \{g(\cdot, \theta) : \theta \in \Theta\}$를 바라봅니다.

• 모델 $g(x, \cdot)$가 $\theta$에 대해 충분히 매끄럽다면, 이는 $\Theta$ 위의 Matérn 커널의 RKHS 에 속함을 보일 수 있습니다.
• 이 구성은 입력 공간 $\mathcal{X}$ 위의 RKHS $\mathcal{H}_\mathcal{G}$를 유도하며, 여기서 재생 커널은 $k_\mathcal{G}(x, x') = \langle g(x, \cdot), g(x', \cdot) \rangle_{\mathcal{H}_\Theta}$입니다.
• 결정적으로, 매끄러움 조건 하에서 이 모델 의존적 커널 $k_\mathcal{G}$는 표준적이고 잘 이해된 커널 (예: Matérn 커널) 에 의해 지배될 수 있으므로, 학습된 모델이 GP 가 아닐지라도 GP 스타일의 예측 분산 한계를 유도할 수 있습니다.

2. 정규화된 무작위 정책:
이 프레임워크는 각 라운드 $t$에서 다음을 수행하는 특정 정책 클래스를 분석합니다.

• 새로운 무작위 초기화 $\theta_{t,0}$를 사전 분포 $\Pi_0$에서 추출합니다.
• 모델 매개변수 $\theta_t$는 정규화된 경험적 손실을 최소화하여 얻습니다:
  $$\theta_t \in \arg\min_{\theta} \frac{\lambda_t}{2} \|g_\theta - g_{t,0}\|_\mathcal{G}^2 + \sum_{i=1}^t \ell(g_\theta(x_i), y_i)$$
• 다음 점 $x_t$는 훈련된 모델 $g_{t-1}(x)$를 최대화하도록 선택됩니다.
  이 접근법은 근사적 톰슨 샘플링 메커니즘으로 기능합니다. 무작위 초기화는 탐색을 유도하는 반면, 정규화 항 (무작위 초기화를 중심으로 함) 은 모델을 안정화시켜 과적합을 방지하고 데이터가 적은 영역에서 모델이 초기화 근처에 머무르도록 보장합니다.

3. 이론적 도구:
분석은 다음을 활용합니다:

• 자기 정규화 마팅게일 논증: 적응형 데이터 수집의 종속성을 처리하기 위해 사용됩니다.
• 일반화 한계: 유도된 RKHS 기하학 내에서 무작위 정규화 추정기에 대해 유도됩니다.
• 작은 공 조건 (Small-ball conditions): "유리한" 초기화 (RKHS 의사 거리에서 실제 최적점에 가까운 초기화) 가 충분한 확률로 발생하도록 보장하는 사전 $\Pi_0$에 대한 가정입니다.

주요 기여 및 결과

1. 비선형 모델에 대한 일반화 한계:
본 논문은 무작위 정규화 추정기에 대한 자기 정규화 일반화 한계를 확립합니다. 예측 오차 $|g(x, \theta_t) - g(x, \theta^*)|$가 초기화 오차의 RKHS 노름을 포함하는 항과 커널 행렬의 행렬식에 비례하는 신뢰도 폭으로 제한될 수 있음을 증명합니다.

• 코롤러리 4.2는 핵심적인 결과입니다: 학습된 모델이 GP 가 아니더라도, 그 점별 근사 오차는 지배 커널 $k$를 가진 GP 의 사후 예측 분산과 같은 표준 GP 양으로 제한될 수 있음을 보여줍니다. 이를 통해 GP 문헌의 정보 이득 한계를 비선형 매개변수 모델에 재사용할 수 있습니다.

2. 근사적 톰슨 샘플링에 대한 후회 보장:
유니크한 전역 최적점을 가진 유한 도메인 설정에 초점을 맞춰, 제안된 무작위 정책에 대한 누적 후회 한계를 유도합니다.

• 정리 4.4는 실현 가능성 (실제 함수가 모델 클래스에 있음), 유니크한 최적점, 그리고 사전 및 정규화 스케줄에 대한 특정 규칙성 가정 하에서 알고리즘이 아선형 누적 후회를 달성한다고 명시합니다.
• 후회 한계는 $\mathcal{O}(\sqrt{T}(\log T)^{\zeta + q(1+d_{eff}/4)})$ 순서이며, 여기서 $d_{eff}$는 RKHS 유도 의사 거리에서의 작은 공 확률과 관련된 유효 차원이고, $\zeta$는 사전의 꼬리 행동과 관련이 있습니다.
• 증명에는 분산 감소 논증이 사용됩니다: 최적점을 반복적으로 방문함으로써 후회 분해에 나타나는 GP 스타일의 불확실성 항이 축소됩니다.

3. 일반 LFBO 로의 확장:
저자들은 공식적 정리가 근사적 톰슨 샘플링 (모델이 목적 함수 $f$를 근사함) 에 대해 명시되었지만, 이 프레임워크는 일반적인 LFBO 방법으로 확장된다고 주장합니다. 일반적인 획득 함수에 대한 주요 기술적 장애물은 근사 한계 (RKHS 프레임워크로 처리됨) 가 아니라, 학습된 유틸리티 기반 획득 함수의 최대화자가 실제 목적 함수의 최대화자와 정렬되도록 보장하는 것입니다.

중요성 및 주장

본 논문은 모델이 가우시안 프로세스나 커널 머신이 될 필요가 없이 베이지안 최적화 및 관련 적응형 설정에서 비선형 매개변수 모델을 분석하기 위한 통합된 경로를 제공한다고 주장합니다.

• 이론 - 실무 간극 해소: 현대 실무는 신경망과 같은 유연한 유한 폭 매개변수 모델을 사용하는 반면, 이론은 선형화되거나 무한 폭 근사에 의존하는 특정 간극을 해결합니다.
• LFBO 에 대한 최초의 후회 보장: 저자들의 지식 범위 내에서, 이는 학습된 모델을 GP 대리 모델로 대체하지 않는 LFBO 관련 설정에서 무작위 비선형 유한 차원 모델에 대한 누적 후회 보장을 제공하는 최초의 사례 중 하나입니다.
• 탐색 메커니즘: 무작위 초기화와 명시적 정규화가 어떻게 적응형 설정에서 공동으로 탐색을 유도하는지 명확히 하여, 안정성 - 재발성 트레이드오프를 형식화합니다.
• 겸손한 범위: 저자들은 현재 범위에 대해 겸손하게, 공식적 후회 정리가 유한 도메인, 실현 가능성, 그리고 유니크한 최적점을 가정한다고 지적합니다. 그들은 이러한 결과를 연속 도메인과 thresholds 가 변경되고 데이터를 재레이블하는 일반적인 시간 가변 LFBO 획득 목표 (acquisition targets) 로 확장하는 것은 획득별 정렬 논증 및 국소 분산 감소와 관련하여 추가 작업이 필요함을 인정합니다.

요약하자면, 본 논문은 매개변수 공간에 의해 유도된 RKHS 렌즈를 통해 비선형 매개변수 모델을 바라봄으로써, 현대 비선형 모델의 유연성을 유지하면서도 커널 방법의 분석적 힘을 활용하는 엄격한 신뢰도 한계와 후회 보장을 유도할 수 있음을 확립합니다.