📊 statistics

On the Brittleness of Maximum Likelihood Estimation for Gaussian Process Hyperparameter Optimization

본 논문은 가우시안 프로세스 학습 시 최대 가능도 추정(MLE)의 취약성을 조사하여, 기저의 가정이 위반될 때 MLE가 낮은 일반화 성능으로 이어진다는 것을 입증하고, 하위 엔지니어링 작업의 정확도, 불확실성 정량화 및 추론 비용 측면에서 기존 방법들보다 뛰어난 성능을 보이는 이론적 근거를 갖춘 실용적인 해결책을 제안한다.

원저자: Tyler R. Johnson, Kian Ben-Jacob, Christopher P. Muller, Ramin Bostanabad

게시일 2026-08-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tyler R. Johnson, Kian Ben-Jacob, Christopher P. Muller, Ramin Bostanabad

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 풀려는 탐정이라고 상상해 보세요. 하지만 당신이 마주한 것은 범죄 현장이 아니라, 테이블 위에 흩어져 있는 무질서한 데이터 포인트들의 더미입니다. 당신의 목표는 이 점들을 통과하는 매끄러운 선(또는 복잡한 형태)을 그려 다음에 어떤 일이 일어날지 예측하는 것입니다. 공학 및 과학의 세계에서 이것은 '머신러닝'이라 불리며, 더 안전한 다리를 설계하거나 새로운 약물이 어떻게 반응할지 예측하는 등 모든 것의 뒤에 숨겨진 비법 역할을 합니다.

그 선을 그리기 위해, 탐정에게는 자신의 추측이 진실에 얼마나 가까운지 알려줄 규칙 책, 즉 '손실 함수(loss function)'가 필요합니다. 수십 년 동안 가장 인기 있었던 규칙 책은 '최대 우도 추정(Maximum Likelihood Estimation, MLE)'이라 불렸습니다. MLE를 아주 엄격한 선생님이라고 생각해 보세요. 그 선생님은 "너의 임무는 네가 가진 데이터를 완벽하게 설명하는 것이다"라고 말합니다. 데이터가 매끄러운 곡선처럼 보이면 MLE는 매끄러운 곡선을 맞추려 노력합니다. 데이터가 노이즈로 가득하다면, 그 노이즈까지 설명하려고 애씁니다. 이는 직관적이고 강력하지만, 치명적인 약점이 있습니다. 바로 세상이 자신이 생각하는 방식과 정확히 일치한다고 가정한다는 점입니다. 데이터가 엉망이라면 선생님은 혼란에 빠지고, 모델은 수업 시간에는 완벽해 보일지 몰라도 기말고사(실제 세계의 예측)에서는 처참하게 실패할 수 있습니다.

최근에 새로운 종류의 탐정이 등장했습니다. 바로 '파운데이션 모델(Foundation Model)'입니다. 이들은 이미 수백만 개의 가상의 문제를 미리 학습한 매우 똑똑한 AI 시스템(예: TabPFN)입니다. 이들은 처음부터 배울 필요가 없습니다. 그저 당신의 데이터를 보고 즉시 답을 추측합니다. 이들은 빠르고 종종 매우 뛰어납니다. 하지만 여기서 큰 의문이 생깁니다. 오래되고 엄격한 선생님(MLE)이 정말 고장 난 것일까요, 아니면 우리가 단순히 더 잘 가르칠 수 있는 것일까요? 그리고 새로운 슈퍼 탐정이 정말 더 나은 것일까요, 아니면 그저 운이 좋은 것일까요?

캘리포니아 대학교 어바인(UC Irvine)의 엔지니어 팀이 작성한 이 논문은 이 논쟁을 깊이 있게 파고듭니다. 그들은 오래된 선생님(MLE)의 '취약성'을 깨지기 쉬운 유리 꽃병처럼 취급합니다. 그들은 다음과 같이 질문합니다. "만약 우리가 이 꽃병을 조금 흔들거나(노이즈 추가), 이상한 각도에서 본다면(고차원 데이터), 꽃병이 산산조각이 날까?"

저자들은 3,000개 이상의 서로 다른 시뮬레이션을 포함하는 방대한 실험을 수행했습니다. 그들은 단순한 곡선부터 복잡한 다차원 공학 문제에 이르기까지 온갖 종류의 퍼즐을 대상으로 기존의 선생님(MLE로 훈련된 가우시안 프로세스)과 새로운 슈퍼 탐정(TabPFN)을 테스트했습니다.

연구 결과는 다음과 같습니다. 첫째, 그들은 오래된 선생님이 실제로 취약하다는 것을 확인했습니다. 데이터가 부족하거나 문제가 복잡해지면, MLE는 종종 '지역 최적점(local optimum)'에 갇히곤 합니다. 이는 안개 낀 산맥에서 가장 높은 봉우리를 찾으려는 등산객을 상상해 보세요. MLE는 마치 발 바로 앞의 땅만 보는 등산객와 같습니다. 만약 그들이 작은 골짜기에서 시작했다면, 근처에 더 높은 봉우리들이 있다는 것을 보지 못하기 때문에 그곳이 정상이라고 생각할 수 있습니다. 이는 모델이 훈련된 데이터에는 훌륭해 보이지만, 새로운 것을 예측할 때는 형편없게 만드는 결과를 초래합니다.

하지만 이 논문은 "MLE를 쓰레기통에 던져버리라"고 말하는 것이 아닙니다. 대신, 등산객에게 더 좋은 지도와 손전등을 준다면 그들도 여전히 승리할 수 있다는 것을 발견했습니다. 숫자를 바라보는 방식(로그 스케일 변환 사용)을 바꾸고, 선생님이 산의 여러 지점에서 출발할 수 있도록 허용함으로써(다중 초기화), 오래된 선생님은 훨씬 더 견고해집니다. 이러한 간단한 조정을 통해, MLE로 훈련된 모델은 놀라운 정확도를 보여주었으며, 단순히 정답을 맞히는 것뿐만 아니라 그 정답에 대해 '얼마나 확신하는지'까지 예측하는 데 있어서도 종종 새로운 슈퍼 탐정을 능가했습니다.

또한 연구는 케이크의 맛을 한 입씩만 보면서 최고의 레시피를 찾아내는 과정인 '베이지안 최적화(Bayesian Optimization)'라는 실제 상황에서의 모델 비교도 진행했습니다. 여기서 제대로 튜닝된 오래된 선생님은 새로운 슈퍼 탐정보다 종종 더 빠르고 효율적이었습니다. 슈퍼 탐정은 훈련 없이 추측하는 데는 뛰어나지만, 백만 번의 질문을 던져야 하는 상황에서는 느려지고 비용이 많이 듭니다. 반면, 일단 훈련을 마친 오래된 선생님은 번개처럼 빠릅니다.

결론적으로, 이 논문은 우리가 반짝이는 새로운 방식들을 위해 오래되고 신뢰할 수 있는 방법들을 맹목적으로 버려서는 안 된다고 제안합니다. 최대 우도 추정(MLE)의 '취약성'은 치명적인 결함이 아니라, 더 나은 도구와 약간의 인내심을 통해 고칠 수 있는 버그입니다. 새로운 파운데이션 모델들이 인상적이긴 하지만, 세심하게 튜닝된 가우시안 프로세스는 여전히 많은 공학 작업에서 정확성, 불확실성, 그리고 속도의 챔피언이 될 수 있습니다. 핵심은 팀을 바꾸는 것이 아니라, 코치가 선수를 제대로 훈련할 수 있도록 만드는 것입니다.

기술 요약: 가우시안 프로세스 하이퍼파라미터 최적화에서 최대 우도 추정(MLE)의 취약성에 관하여

문제 정의

머신러닝(ML)은 비용이 많이 드는 시뮬레이션이나 실험의 대리 모델(surrogates) 역할을 수행하며 공학 설계 워크플로에 필수적인 요소가 되었습니다. 이러한 모델을 학습시키는 핵심 단계는 손실 함수를 선택하는 것이며, 최대 우도 추정(Maximum Likelihood Estimation, MLE)은 그 통계적 기초와 계산적 용이성 덕분에 가장 널리 채택되는 방식입니다. 그러나 MLE는 본질적으로 취약합니다. MLE의 이론적 보장은 올바른 모델 명세, 독립적인 관측치, 충분히 큰 데이터셋과 같은 가정들에 의존하는데, 이러한 조건들은 실제 공학 설계 문제에서 빈번하게 위반됩니다.

이러한 가정들이 실패할 때, MLE로 최적화된 모델은 훈련 데이터에는 잘 적합될 수 있으나 일반화 성능은 떨어질 수 있으며, 이러한 불일치는 베이지안 최적화(Bayesian Optimization, BO)와 같이 불확실성 정량화(Uncertainty Quantification, UQ)를 요구하는 워크플로에서 특히 치명적입니다. 이러한 취약성은 가우시안 프로세스(Gaussian Processes, GPs)에서도 나타나며, 흔히 GPs가 과적합에 강건하다고 잘못 간주되곤 합니다. 나아가, 매 문제마다 별도의 학습 과정을 거치지 않고 사전 학습된 추론 메커니즘을 활용하는 TabPFN과 같은 파운데이션 모델(Foundation Models, FMs)의 등장은, 전통적인 MLE 기반 GP와 현대적인 FM 간의 상대적 효용성에 대한 의문을 제기합니다.

방법론

저자들은 회귀 및 분류 작업에서 GP를 학습시킬 때 발생하는 MLE의 취약성을 체계적으로 평가하며, 이를 위해 TabPFN(버전 2.0 및 2.5)과 비교합니다. 연구는 다양한 노이즈 수준, 데이터 크기( $N = 5D_x$ 및 $N = 20D_x$ ), 입력 차원( $D_x \in \{4, 10, 20, 40, 80\}$ )에 걸쳐 3,170개의 독립적인 시뮬레이션을 수행하였습니다.

MLE를 위한 제안된 완화 전략

MLE를 포기하는 대신, 본 논문은 MLE의 취약성을 완화하기 위한 실질적인 전략들을 제안합니다:

재매개변수화(Reparameterization): 하이퍼파라미터를 로그 스케일(예: 길이 척수를 $10^\omega$ 로 표현)로 변환하여 큰 그래디언트를 확보하고 제약 조건을 제거함으로써 더 나은 수렴을 용이하게 합니다.
소프트 클램핑(Soft Clamping): 하이퍼파라미터를 최적화 중에 제한하는 소프트 클램프 함수를 도입하여, 경계에서의 비매끄러운 동작을 유발하지 않으면서 수치적 불안정성을 방지합니다.
다중 초기화(Multi-Initialization): 공간 채움 설계(space-filling designs)를 활용한 다중 무작위 초기화(기본값 16회)를 사용하여 좋지 않은 지역 최적점(local optima)에 수렴할 위험을 줄입니다.
대안적 손실 함수: LOO(Leave-One-Out) 로그 의사 우도(log-pseudo-likelihood), 커널 플로우(Kernel Flows), 적절한 점수 규칙(proper scoring rules, NIS 및 CRPS)과 같은 대안들을 평가합니다. 다만, LOO는 민감할 수 있고 커널 플로우는 고유한 UQ 능력이 부족하다는 점을 언급합니다.

실험 설정

회귀(Regression): 9개의 벤치마크 문제(예: Ackley, Rosenbrock, Buckling)를 대상으로 RRMSE(정확도 측정) 및 NIS(UQ 측정)를 사용하여 테스트했습니다.
베이지안 최적화(Bayesian Optimization): 동일한 벤치마크에서 GP 기반 BO(각 단계에서 MLE를 통한 재학습 수행)와 TabPFN 기반 BO(인컨텍스트 학습)를 비교하는 BO 실험을 진행했습니다.
분류(Classification): Electrical Grid, Truss 6D, Stellar, Steel Plates의 4개 데이터셋을 사용하였으며, 분류 문제를 GP를 위한 회귀 문제로 변환하기 위해 디리클레 타겟(Dirichlet target) 구성을 활용하여 정확도와 기대 캘리브레이션 오차(Expected Calibration Error, ECE)를 평가했습니다.
베이스라인(Baselines): GPyTorch(표준 MLE), GP+(제안된 완화 전략이 적용된 저자의 구현체), 그리고 TabPFN 버전들을 비교 대상으로 포함했습니다.

주요 결과

회귀 성능

MLE vs. 대안들: 제안된 MLE 완화 전략이 적용된 GP(GP+)는 예측 정확도(RRMSE)와 UQ(NIS) 측면에서 TabPFN 2.5와 대등하거나 더 나은 성능을 보였습니다.
커널 및 손실 민감도: GP+(PE)(Power Exponential 커널)와 GP+(LOO)는 특정 고차원 또는 저데이터 환경에서 우수한 성능을 보였으나 일관되지는 않았습니다. GP+(LOO)는 저데이터 환경에서 과잉 확신(좁은 예측 구간)으로 인해 UQ 성능이 저하되는 경우가 잦았습니다.
데이터 환경(Data Regime): 저데이터/고노이즈 시나리오에서 표준 GPyTorch는 종종 실패(상수 값을 학습함)했으나, 완화 전략이 적용된 GP+는 견고함을 유지했습니다. 고데이터 환경에서는 Zakharov 함수(TabPFN이 관측 스케일 처리에 탁려하여 우세했던 예외 사례)를 제외한 대부분의 벤치마크에서 GP+ 변형 모델들이 TabPFN을 일관되게 앞질렀습니다.
전처리(Preprocessing): 로그 스케일 타겟 전처리는 Buckling 문제에서 GP 성능을 크게 향상시킨 반면, TabPFN은 이러한 스케일링 선택에 관계없이 견고한 모습을 보였습니다.

베이지안 최적화

효율성 vs. 정확도: GP 기반 BO는 대부분의 벤치마크(예: Buckking, Borehole)에서 TabPFN 기반 BO보다 최적점에 더 빠르게 접근했습니다.
계산적 트레이드오프: TabPFN은 매 반복마다 발생하는 재학습 비용을 제거하지만, 대규모 후보군에 대해 획득 함수(acquisition function)를 평가할 때 높은 추론 비용이 발생합니다(그래디언트 기반 최적화가 불가능하기 때문). 반면, GP는 재학습이 필요하지만 해석적인 획득 함수와 빠른 예측을 지원합니다. 재학습 비용이 저렴한 소규모 데이터 환경에서는 GP가 계산적으로 경쟁력이 있거나 더 우수했습니다.

분류 성능

커널 선택: 훈련 손실과 테스트 성능 사이의 관계는 엄격하지 않았습니다. 예를 들어, Matérn 커널( $\nu=0.5$ )은 Steel Plates 데이터셋에서 가장 높은 훈련 손실을 기록했음에도 불구하고 가장 낮은 ECE와 가장 높은 정확도를 달いました.
TabPFN vs. GP+: TabPFN 2.5는 대부분의 분류 작업, 특히 범주형 변수와 다중 클래스 설정이 포함된 작업에서 약간의 정확도 및 캘리브레이션 우위를 유지했습니다. 그러나 이 우위는 훈련 세트 크기( $N$ )가 증가함에 따라 약화되었으며, Electrical Grid Stability 데이터셋의 경우 $N \ge 200$ 인 지점에서 GP+ 변형 모델들이 TabPFN을 추월했습니다.

의의 및 기여

본 논문은 MLE가 GP 학습의 지배적인 패러다임이지만, 그 효과는 실무에서 흔히 간과되는 구현 세부 사항에 크게 의존한다고 주장합니다. 주요 기여는 다음과 같습니다:

취약성 입증: 본 연구는 비볼록(non-convex) 최적화 지형과 모델 미스specification, 특히 소규모 데이터 및 고차원 설정으로 인해 공학적 맥락에서 MLE 학습 GP가 체계적으로 실패할 수 있다는 광범위한 경험적 증거를 제공합니다.
실질적 구제책: 저자들은 로그 스케일 재매개변수화, 소프트 클램핑, 다중 초기화와 같은 간단하고 실질적인 개입이 기존 프레임워크를 버리지 않고도 MLE의 실패를 상당히 완화할 수 있음을 보여줍니다.
파운데이션 모델과의 비교 분석: 본 연구는 고전적인 확률적 방법(GP)과 신흥 파운데이션 모델(TabPFN) 간의 엄격한 비교를 제공합니다. 결론적으로, 신중하게 구현된 MLE 기반 GP는 탐색된 차원 범위( $D_x < 100$ ) 내에서 예측 정확도, UQ 품질 및 추론 비용 측면에서 TabPFN을 능가하거나 대등한 경쟁력을 유지한다는 것을 보여줍니다.
실무자를 위한 청사진: 본 논문은 단순히 손실 함수나 모델을 교체하는 것보다 적절한 MLE 구현에 투자하는 것이 더 효과적임을 강조하며, 정확하고 견고한 GP를 구축하기 위한 청사진을 제시합니다.

저자들은 자신들의 결과가 가우시안 노이즈를 가진 해석적 벤치마크에 기반하고 있음을 언급하며, 향-연구로서 비가우시안 노이즈, 실제 데이터셋, 그리고 다중 충실도(multi-fidelity) 모델링과 같은 다운스트림 태스크로의 확장을 제안합니다. 또한, 초기화에 대한 민감도를 더욱 줄이기 위해 TabPFN의 학습 패러다임에서 영감을 얻은 메타 학습 GP 하이퍼프라이어(hyperpriors)의 잠재적 가치를 강조합니다.