🤖 machine learning

Can Bayesian Optimization Efficiently Find a Strong Single Expert in Neural Thickets?

이 논문은 가중치 공간의 저차원 무작위 선형 임베딩 내에 적용된 베이지안 최적화가 기존의 RandOpt와 같은 방법들과 대등하거나 더 나은 성능을 달성하면서도 5배 적은 후보 평가만을 필요로 하는, LLM의 효율적인 그래디언트 프리(gradient-free) 사후 학습을 가능하게 함을 입증한다.

원저자: Nigel Bastian Cendra, Abdelhamid Ezzerg, Fernando Julio Cendra, Jeremias Knoblauch, Jakob Zeitler

게시일 2026-08-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nigel Bastian Cendra, Abdelhamid Ezzerg, Fernando Julio Cendra, Jeremias Knoblauch, Jakob Zeitler

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 이미 인터넷의 거의 모든 것을 읽은 거대하고 똑똑한 로봇 뇌가 있다고 상상해 보세요. 이 뇌는 "대규모 언어 모델(Large Language Model)"입니다. 보통, 이 뇌에게 수학 퍼즐을 풀거나 특정 게임을 하는 것과 같은 새로운 기술을 가르치려면, "경사 기반 최적화(gradient-based optimization)"라고 불리는 방법을 사용해야 합니다. 이것은 마치 짙은 안개 속에서 발밑의 경사를 느끼며 아주 작고 조심스러운 발걸음을 내디디며 산의 정상에 도달하려는 것과 같습니다. 이 방법은 효과적이긴 하지만, 느리고 비용이 많이 들며 많은 컴퓨팅 파워를 필요로 합니다.

최근 과학자들은 이 무거운 등반 장비 없이도 이 뇌를 미세하게 조정할 수 있는 다른 방법을 발견했습니다. 그들은 로봇의 설정값을 무작위로 조금씩 흔들어 놓으면, 그 무작위적인 흔들림 중 일부가 특정 작업에 더 똑똑하게 만든다는 것을 발견했습니다. 이것은 레고 상자를 흔드는 것과 같습니다. 대부분의 경우에는 그냥 엉망진창이 되겠지만, 가끔은 우연히 완벽한 작은 우주선을 조립하게 됩니다. 이 아이디어는 "뉴럴 티켓(Neural Thickets)"이라고 불립니다. 문제는, 단순히 상자를 무작위로 흔드는 것만으로 이 완벽한 우주선을 찾는 것이 눈을 가리고 바늘 찾기를 하는 것과 같다는 점입니다. 수천 번의 흔들림을 시도하고, 각 시도를 테스트하며, 운이 좋기를 바라야 합니다. 이 논문은 단순한 질문을 던집니다. 우리가 더 똑똑하게 흔들 수 있을까? 무턱대고 추측하는 대신, 다음에는 어느 방향으로 흔들어야 할지 알아내어 훨씬 적은 시도로 최선의 결과를 찾을 수 있을까?

스마트한 흔들기: 눈가리개 없이 바늘 찾기

이 연구를 수행한 연구진은 Qwen2.5라고 불리는 모델을 사용하여 **베이지안 최적화(Bayesian Optimization, BO)**라는 방법을 테스트하기로 했습니다. 그들이 무엇을 했는지 이해하기 위해, 로봇 뇌의 설정값이 거대한 다차원 지도라고 상상해 봅시다. "무작위 흔들기" 방식(RandOpt)은 멀리서 이 지도에 다트를 던지는 것과 같습니다. 수천 개의 다트를 던지고, 어떤 다트가 "좋은" 지점에 맞았는지 확인한 뒤, 가장 좋은 것들을 유지합니다. 효과는 있지만 낭비가 심합니다.

저자들은 다른 전략인 **베이지안 최적화(BO)**를 제안했습니다. 이것은 당신의 다트 던지기를 몇 번 지켜본 마법의 보이지 않는 가이드가 있는 것과 같습니다. 당신이 다트를 몇 번 던지고 나면, 이 가이드는 좋은 지점이 있을 법한 곳에 대한 대략적인 지도를 만듭니다. 다트를 무작위로 던지는 대신, 가이드는 당신이 가장 많이 배울 수 있도록 다음에 어디로 던져야 할지 정확히 알려줍니다. 이것은 "뜨겁나 차가운가(Hot and Cold)" 게임을 하는 것과 같지만, 가이드가 예측을 너무 잘해서 수백 번 대신 단 몇 번의 움직임만으로 보물을 찾게 해줍니다.

이를 구현하기 위해 팀은 전체 거대한 지도를 보지 않았습니다. 그들은 로봇 뇌의 "좋은" 변화가 이 거대한 공간 안의 매우 작고 좁은 복도에서 일어날 것이라는 점을 깨달았습니다. 그래서 그들은 탐색할 아주 작은 64차원의 "단면(slice)"을 만들었습니다. 그런 다음 스마트한 가이드를 사용하여 이 단면을 탐색했습니다.

그들이 발견한 것: 더 열심히가 아니라 더 똑똑하게

결과는 꽤 흥미로웠지만, 중요한 주의 사항도 있었습니다. 연구진이 Countdown(숫자 게임), GSM8k(수학 문장제 문제), MATH500(더 어려운 수학 문제)과 같은 추론 작업에 대해 테스트했을 때, "스마트한 흔들기(BO)"는 놀라운 일을 해냈습니다.

단 200번의 시도(평가)만으로, 베이지안 최적화 방식은 1,000번의 시도를 사용한 "무작위 흔들기(RandOpt)"의 성능을 따라잡거나 심지어 능가했습니다. 이는 노력을 5배나 줄인 것입니다!

15억 파라미터 모델을 사용한 Countdown 작업에서, 스마트한 흔들기는 15.05의 점수를 얻은 반데, 다섯 배의 노력을 들인 무작위 흔들기는 14.60에 그쳤습니다.
GSM8k에서, 스마트한 흔들기는 67.78을 기록하며 무작위 흔들기의 66.13을 이겼습니다.

이는 스마트한 가이드를 사용하여 탐색 공간을 항해함으로써, 쉰 가지 버전의 답에 투표할 필요 없이 바로 사용할 수 있는 "강력한 단일 전문가 모델"을 찾는 데 더 많은 다트를 던질 필요가 없음을 시사합니다.

함정: "가짜 보물" 문제

하지만 논문은 이 마법의 가이드가 완벽하지 않다고 경고합니다. "승자의 저주(winner's curse)"라고 불리는 까다로운 부분이 있습니다.

당신이 과수원에서 가장 좋은 사과를 찾고 있다고 상상해 보세요. 햇빛 아래에서 가장 빛나는 사과를 고른다면, 그것은 실제로 가장 달콤한 사과가 아니라 그저 운이 좋은 조명 때문일 수도 있습니다. 연구진은 탐색을 너무 강하게 밀어붙이면, "스마트한 흔들기"가 훈련된 테스트 질문(선택 세트)에서는 놀랍도록 좋아 보이지만, 실제 새로운 질문에서는 오히려 성능이 떨어지는 모델을 찾아낸다는 것을 발견했습니다.

예를 들어, MATH500 작업에서 스마트한 흔드기는 연습 문제에서는 믿기 힘들 정도로 높은 점수(63% 이상)를 기록했지만, 실제 문제를 테스트했을 때는 기본 모델보다 오히려 점수가 낮았습니다! 가이드가 운 좋게 걸려든 "빛나는 사과"에 너무 확신을 가져버린 것입니다. 논문은 특정 지점에 도달하면, 탐색이 실제 기술을 배우는 것이 아니라 연습 시험을 암기하는 것에 불과하다고 제안합니다.

결론

이 논문은 베이지안 최적화가 값비싼 반복 계산 없이 신경망에서 강력한 단일 전문가를 찾는 강력한 도구임을 보여줍니다. 이 방법은 무작위 추측보다 5배 적은 노력으로 더 나은 솔루션을 찾을 수 있음을 증명하며, 단, 탐색이 "과적합(overfit, 연습 시험을 암기함)"되기 전에 멈춰야 한다는 조건이 붙습니다.

이 방법이 모든 작업(특히 "좋은" 솔루션이 매우 희귀하거나 연습 시험이 오해의 소지가 있는 경우)에서 기적을 일으키지는 못하지만, 유망한 미래를 제시합니다. 무작위적인 수백만 번의 추측을 통해 힘으로 밀어붙이는 대신, 지능적이고 유도된 탐색을 사용하여 최고의 성능을 내면서도 시간과 에너지를 아끼며 우리 AI 뇌의 가장 좋은 버전을 찾을 수 있습니다. 저자들은 더 큰 예산과 "운 좋은 조명" 문제를 처리할 더 나은 방법이 있다면, 이 접근 방식이 차세대 AI를 미세 조정하는 표준적인 방법이 될 수 있다고 제약합니다.

기술 요약: 뉴럴 티켓(Neural Thickets) 내 강력한 단일 전문가 탐색을 위한 베이지안 최적화

문제 정의

그래디언트가 없는(Gradient-free) 사후 학습(Post-training)은 대규모 언어 모델(LLM)을 위한 그래디언트 기반 방식(PPO 및 GRPO와 같은)의 비용 효율적인 대안으로 부상했습니다. RandOpt(Neural Thickets)와 같은 기존 접근 방식은 사전 학습된 가중치에 무작위 가우시안 섭동(Gaussian perturbation)을 샘플링하고, 이를 선택 세트(Selection set)에서 점수를 매긴 뒤, 상위 $K$ 개의 모델을 다수결 투표를 통해 앙상블하는 방식에 의존합니다. 비록 효과적이기는 하지만, 이 방식은 두 가지 주요한 비효율성에 직면해 있습니다:

탐색 비용(Search Cost): $N$ 개의 후보군을 평가하려면 $N \times |D_{sel}|$ 번의 자기회귀적 생성(Autoregressive generation)이 필요합니다. 강력한 결과를 얻기 위해 RandOpt는 일반적으로 큰 규모의 모집단(예: $N=5,000$ )을 필요로 하며, 이는 탐색을 계산적으로 매우 비싸게 만듭니다.
배포 비용(Deployment Cost): 가장 강력한 결과는 $K$ 개의 모델을 앙상블하는 것(예: $K=50$ )에 달려 있습니다. 단일 쿼리를 처리하기 위해 $K$ 개의 서로 다른 출력을 생성해야 하며, $K$ 개의 가중치 구성을 유지하는 것은 자원 집약적입니다. 단일 모델( $K=1$ )로 회귀할 경우 정확도가 크게 하락합니다(예: MATH-500에서 11.2 포인트 하락).

핵심 연구 질문은 다음과 같습니다: 고정되고 적절한 수준의 평가 예산이 주어졌을 때, 구조화된 그래디언트 프리(Gradient-free) 방법이 무작위 샘플링보다 우수한 단일 강력 전문가를 식별하여 탐색 및 배포 비용을 모두 줄일 수 있는가?

방법론

저자들은 무작위 선형 임베딩(Random linear embedding) 내에서 **베이지안 최적화(BO)**를 적용하는 것을 제안합니다. 이 방법은 가우시안 프로세스(GP) 대리 모델(Surrogate)을 사용하여 탐색을 유도하도록 설계된 완전한 그래디언트 프리 방식입니다.

저차원 부분 공간 탐색(Low-Dimensional Subspace Search): $D$ $D$ 차원의 전체 가중치 공간에서 등방적으로 샘플링하는 대신, 이 방법은 $A \in \mathbb{R}^{D \times d}$ $A \in R^{D \times d}$ (여기서 $d=64$ $d = 64$ )인 무작위 선형 임베딩을 구축합니다. 후보는 계수 벡터 $\alpha \in \mathbb{R}^d$ $α \in R^{d}$ 와 스케일 $\sigma \in \mathbb{R}_{>0}$ $σ \in R_{> 0}$ 로 정의됩니다.
- 섭동은 다음과 같이 공식화됩니다: $\theta' = \theta_0 + \sigma \cdot \sqrt{D} \cdot \frac{A\alpha}{\|A\alpha\|}$ .
- 이 정규화는 섭동의 노름(Norm)이 표준 RandOpt( $\sigma\sqrt{D}$ )의 노름과 일치하도록 보장하며, 이를 통해 섭동 규모에 대한 공정한 비교를 가능하게 합니다.
대리 모델 유도 탐색(Surrogate-Guided Search):
- 관측된 보상(선택 세트 $D_{sel}$ 에서의 정확도)에 대해 가우시안 프로세스(GP)를 적합(Fitting)시킵니다.
- 다음 후보 $(\alpha, \sigma)$ 는 탐색(Exploration)과 이용(Exploitation)의 균형을 맞추는 획득 함수(Acquisition function, 예: logEI)를 최대화함으로써 제안됩니다.
- 선택 규칙: 최종 모델은 관측된 최고 보상 또는 최고 GP 사후 평균(Posterior mean)에 의해 선택됩니다. 후자는 높은 점수가 선택 세트에서의 노이즈나 운 좋은 추출 때문일 수 있는 "승자의 저주(Winner's curse)"를 완화하기 위해 의도되었습니다.
평가 프로토콜: 이 방법은 Qwen2.5-Instruct 모델(0.5B, 1.5B, 3B 파라미터)을 세 가지 추론 벤치마크(Countdown, GSM8k, MATH500)에 대해 테스트되었습니다. 예산은 BO와 무작위 탐색(Random Search) 모두 200개의 후보 평가로 고정되었으며, RandOpt는 200개와 1,000개의 예산과 비교되었습니다.

주요 결과

실험은 BO가 훨씬 적은 평가 횟수로 경쟁력 있거나 더 우수한 성능을 달낼 수 있음을 보여줍니다:

샘플 효율성(Sample Efficiency): 5배 적은 후보 평가(200 vs. 1,000)만으로도, BO는 대부분의 설정에서 $K=1$ $K = 1$ (단일 전문가)인 RandOpt-1000의 성능과 대등하거나 이를 능가합니다.
- Countdown-0.5B: BO (9.34%) vs. RandOpt-1000 (6.81%).
- GSM8k-1.5B: BO (67.78%) vs. RandOpt-1000 (66.13%).
- MATH500-1.5B: BO (40.43%) vs. RandOpt-1000 (39.80%).
부분 공간 vs. 대리 모델(Subspace vs. Surrogate): 동일한 64차원 부분 공간 내에서, BO는 무작위 탐색보다 일관되게 더 높은 선택 보상을 달성하여, 이 이득이 차원 축소 자체가 아니라 대리 모델의 효율성에 의해 유도되었음을 확인시켜 줍니다.
앙상블 성능 ( $K=20$ ): BO는 매칭된 예산(200회 평가)에서 $K=20$ 일 때 대안들과 대등한 성능을 보이지만, RandOpt-1000에는 뒤처집니다. 이는 집중된 탐색이 완전히 포착하지 못할 수도 있는 더 넓은 후보 풀이 앙상블 품질에 유리함을 시사합니다.
한계 및 과적합(Overfitting):
- MATH500 이상 현상: MATH500에서 BO는 가장 높은 선택 보상을 기록했으나 가장 낮은 테스트 정확도를 보였습니다. 저자들은 이를 과적합으로 설명합니다. 즉, "이웃(Neighbourhood)" 내에 진정으로 더 나은 모델이 없을 때, 탐색이 작업 자체가 아닌 선택 세트( $D_{sel}$ )의 노이즈에 맞춰지게 됩니다.
- 포화 임계값(Saturation Threshold): GSM8k-1.5B에 대한 200개 후보 분석 결과, 검증 및 테스트 정확도가 정체된 이후에도 선택 보상은 계속 상승했습니다. 상위 8포인트의 선택 보상은 홀드아웃(Held-out) 세트에서 측정 가능한 개선을 제공하지 못했으며, 이는 선택 목적 함수가 정보력을 잃는 포화 지점이 존재함을 나타냅니다.

의의 및 주장

본 논문은 대리 모델 유도 탐색이 그래디언트 프리 사후 학습의 평가 비용을 실질적으로 줄이면서도 더 강력한 배포 가능한 단일 전문가를 생성할 수 있다고 주장합니다.

실행 가능성보다 효율성: 이 연구는 그래디언트 프리 방식이 작동하느냐의 문제가 아니라, 얼마나 효율적으로 수행하느냐의 문제라고 주장합니다. BO는 무작위 샘플링에 필요한 예산의 극히 일부만으로 가중치 공간에서 가용한 이득을 추출할 수 있는 메커니즘을 제공합니다.
노이즈 제거 효과(Denoising Effect): 선택을 위해 GP 사후 평균을 사용하는 것은 진정한 적합도(Fitness)에 대한 노이즈가 제거된 추정치를 제공하며, 이는 단순히 선택 세트에서 운이 좋았던 후보를 선택하는 것을 방지하는 데 도움이 됩니다.
제한된 범위: 저자들은 자신의 결과가 선택된 특정 64차원 슬라이스에 따라 달라진다는 점을 명시합니다. 이들은 이 부분 공간이 최적이라고 주장하는 것이 아니라, BO가 이를 효율적으로 활용한다는 점을 강조할 뿐입니다. 또한, 이 방법이 샘플링이 도달할 수 없는 새로운 이득을 만들어내는 것이 아니라, 단지 그것을 더 빨리 찾아낼 뿐이라는 점을 인정합니다. 난점은 무작위 시드와 기저(Basis) 선택에 따라 성능이 크게 달라지므로, 해당 부분 공간 내에서 "좋은 영역"을 찾아내는 데 있습니다.

요약하자면, 본 논문은 베이지안 최적화가 저차원 무작위 임베딩 내에서 적용될 때, LLM의 고성능 단일 전문가를 식별하기 위한 실행 가능하고 효율적인 전략이 될 수 있음을 입증하며, 이는 현재의 앙상블 기반 그래디언트 프리 방식에 비해 더 저렴한 훈련 및 배포 경로를 제시합니다.