기술적 요약: 고차원 베이지안 최적화 이해를 위한 자동화된 커널 발견

문제 제기

고차원 베이지안 최적화 (BO) 는 하이퍼파라미터 튜닝, 신경 아키텍처 탐색, 생물학적 시퀀스 설계와 같은 응용 분야에서 중요합니다. 그러나 BO 는 관측치 간의 큰 거리가 정확한 대리 모델링을 어렵게 만들고 검색 공간 경계의 과도한 탐색을 초래하는 '차원의 저주'에 시달립니다.

최근 연구들은 적절하게 스케일된 길이 척도 (lengthscale) 사전분포나 기하학적 입력 왜곡을 가진 단순한 커널 (예: RBF, Matérn) 이 잘 수행할 수 있음을 시사하지만, 효과적인 사전분포나 변환을 식별하는 것은 여전히 도메인 전문가의 광범위한 수동 엔지니어링을 요구합니다. 기존 자동화 접근법은 고차원에서 두 가지 주요 병목 현상에 직면해 있습니다:

1. 표현력 병목: 현재 커널 검색 방법은 사전 정의된 기본 커널의 가산 및 승법 조합으로 제한되어, 고차원 문제에 적합한 새로운 구조의 발견을 제한합니다.
2. 인터페이스 병목: 대규모 언어 모델 (LLM) 기반 BO 방법은 일반적으로 검색을 안내하기 위해 원시 관측치에 조건을 부여합니다. 고차원에서는 방대한 양의 수치 데이터가 LLM 의 컨텍스트 한계를 초과하여 패턴 추출을 불가능하게 만듭니다.

방법론: 커널 발견

저자들은 고차원 BO 를 위한 효과적인 가우시안 프로세스 (GP) 커널 설계를 자동화하도록 고안된 LLM 주도 진화 프레임워크인 **커널 발견 (Kernel Discovery)**을 제안합니다. 이 프레임워크는 개체군 초기화, 커널 발견, 검증, 선택을 포함하는 반복 루프를 통해 작동합니다.

1. 2 단계 발견 파이프라인

LLM 이 문법적으로 다양하지만 기능적으로 동일한 코드를 생성하는 제한을 극복하기 위해 저자들은 2 단계 접근법을 채택합니다:

• 1 단계 (수학적 공식화): LLM 에게 기존 커널 개체군을 기반으로 커널의 새로운 수학적 형태를 제안하도록 프롬프트를 입력합니다. 핵심적으로, 이 단계는 원시 관측치에 조건을 부여하지 않으며, 구조적으로 혁신적인 형태를 생성하기 위해 LLM 의 수학적 추론 능력에 의존합니다. 프롬프트에는 고차원 전략 (예: 입력 투영, 차원 스케일링) 과 제약 조건 (예: 양의 준정부호성) 에 대한 구체적인 지침이 포함됩니다.
• 2 단계 (코드 변환): 두 번째 LLM 호출이 제안된 수학적 형태를 실행 가능한 Python 코드 (특히 GPyTorch 프레임워크용) 로 변환합니다.

2. 개체군 초기화 및 진화

이 과정은 고차원에서 효과적인 것으로 알려진 RBF, Matérn52, Rational Quadratic (RQ), BOCK (원통형 커널), SL (구형 선형 커널) 을 포함한 초기 커널 개체군 ($P_0$) 으로 시작합니다.

• 조합: 2 단계 발견 외에도, 프레임워크에는 LLM 이 최상위 성능을 보이는 커널들을 가산 또는 승법으로 결합하는 조합 단계를 포함합니다.
• 검증: 새로 생성된 커널은 두 가지 경험적 검사를 거칩니다:
  • 무관 실행 ($V_{agn}$): 코드가 다양한 입력 형태와 배치 크기에 걸쳐 올바르게 실행되는지 확인합니다.
  • 양의 준정부호성 ($V_{psd}$): 커널이 촐레스키 분해를 통해 유효한 공분산 행렬을 생성하는지 검증합니다.
• 선택 기준 (LOO-CRPS): 과적합 없이 다음 BO 반복을 위한 최상의 커널을 선택하기 위해 저자들은 **Leave-One-Out Continuous Ranked Probability Score (LOO-CRPS)**를 도입합니다. 현재 데이터에 과적합하는 과도하게 복잡한 커널을 선호할 수 있는 주변 로그 가능도 (MLL) 와 달리, LOO-CRPS 는 홀드아웃 데이터 포인트에 대한 예측 분포를 평가함으로써 과신된 적합에 페널티를 부여합니다.

3. 진화 루프

각 반복에서 프레임워크는 새로운 후보를 생성하고 검증한 후, 가장 낮은 LOO-CRPS 를 가진 커널을 선택하여 GP 대리 모델에 적합시킵니다. 그런 다음 획득 함수 (LogEI) 를 최대화하여 다음 쿼리 지점을 제안합니다. 개체군은 가장 낮은 LOO-CRPS 를 가진 상위 $N$개의 커널을 유지함으로써 업데이트되며, 이는 개체군이 더 보정되고 효과적인 대리 모델 방향으로 진화하도록 보장합니다.

주요 기여

1. 새로운 프레임워크: 단순한 가산/승법 조합을 넘어 더 넓은 커널 공간을 검색하고 원시 고차원 관측치에 조건을 부여하지 않는 최초의 LLM 주도 진화 프레임워크인 '커널 발견'의 도입.
2. 2 단계 분해: 수학적 공식화와 코드 생성을 분리함으로써 기능적 중복을 줄이고 진정으로 새로운 커널 구조의 발견을 장려한다는 방법론적 통찰.
3. 강건한 선택 지표: 자동화된 커널 검색에서 MLL 의 알려진 약점을 해결하고 커널 선택 과정에서의 과적합을 완화하기 위한 선택 기준으로서 LOO-CRPS 제안.
4. 경험적 검증: 100 에서 6,392 에 이르는 차원을 가진 5 개의 고차원 벤치마크에 대한 포괄적 평가로, 기본 커널, 검색 기반 방법, 기타 LLM 기반 BO 접근법을 포함한 16 개의 베이스라인보다 우수한 성능을 입증.

실험 결과

이 방법은 Rover ($D=100$), Mopta08 ($D=124$), Lasso-DNA ($D=180$), SVM ($D=388$), Humanoid ($D=6392$) 의 5 개의 표준 벤치마크에서 평가되었습니다.

• 성능: 커널 발견은 모든 벤치마크에서 17 개 방법 중 평균 순위 1.2를 기록하여, 2 위인 조합적 검색 (Compositional Search, 순위 4.4) 보다 훨씬 뛰어난 성능을 발휘했습니다.
• 베이스라인 비교:
  • 고정된 기본 커널 (RBF, Matérn 등) 보다 모두 우세했습니다.
  • Greedy Search 와 Compositional Search 와 같은 검색 기반 방법을 크게 능가하여 검색 공간을 단순 조합으로 제한하는 것의 한계를 강조했습니다.
  • CAKE, ARM, LMABO 와 같은 LLM 기반 베이스라인보다 눈에 띄게 우월했습니다. 저자들은 CAKE 의 실패 원인을 고차원에서 성능을 저하시키는 원시 관측치를 컨텍스트로 의존하는 데 있다고 귀결했습니다.
• 애블레이션 연구: 초기화, 발견 단계, 또는 LOO-CRPS 지표 중 어떤 구성 요소라도 제거하면 성능이 저하되어 전체 파이프라인의 필요성을 확인했습니다. 2 단계 접근법은 직접 코드 생성보다 기능적으로 더 다양한 커널을 생성하는 것으로 나타났습니다.

중요성 및 주장

이 논문은 수학적 추론이 가능한 시스템을 통한 커널 설계 자동화가 고차원 BO 에서 수동 엔지니어링의 장벽을 크게 낮출 수 있다고 주장합니다.

• 조합을 넘어선 접근: 이 연구는 고차원을 위한 효과적인 커널이 기본 커널의 단순 조합으로 제한되지 않음을 보여줍니다. 발견된 커널들은 종종 초기 개체군에 존재하지 않았던 복잡한 기하학적 왜곡 (예: arctan 변환) 과 비정상적 구성 요소를 포함합니다.
• 고차원 BO 에 대한 통찰: 발견된 커널들을 분석함으로써 저자들은 효과적인 대리 모델링을 이끄는 요인에 대한 새로운 통찰을 제공합니다. 그들은 기하학적으로 왜곡된 커널과 비정상적 구성 요소 (tanh-다항식 등) 의 조합이 개선으로 이어질 수 있음을 발견했으며, 이는 스케일된 사전분포를 가진 단순한 커널만으로도 충분하다는 지배적인 직관에 도전합니다.
• 전이 가능성: 저자들은 한 벤치마크 (예: SVM) 에서 발견된 커널이 다른 벤치마크로 효과적으로 전이될 수 있음을 보여주어, 발견된 구조가 고차원 최적화 지형의 일반화 가능한 특성을 포착함을 시사합니다.

저자들은 현재 프레임워크가 벤치마크별로 커널을 최적화하지만, 그 결과는 LLM 주도 커널 발견이 고차원 BO 를 위한 유망한 전략이며, 더 표현력 있고 자동화된 대리 모델링을 향한 길을 제시한다고 결론지었습니다.