🤖 machine learning

SemanticOpt: Towards LLM-Based Semantic Black-Box Optimization

SemanticOpt 는 구조화된 자연어 컨텍스트가 포함된 베이지안 궤적을 기반으로 미세 조정을 수행하여 대규모 언어 모델을 의미 기반 블랙박스 최적화에 적합하도록 개선함으로써, 고비용 실험 환경에서 도메인 지식을 효과적으로 활용하고 기존 고전적 방법론 및 기존 대규모 언어 모델 기반 최적화 기법보다 우수한 성능을 발휘하도록 하는 새로운 프레임워크입니다.

원저자: Jamison Meindl, Yunsheng Tian, Tony Cui, Veronika Thost, Zhang-Wei Hong, Jie Chen, Wojciech Matusik, Mina Konaković Luković

게시일 2026-05-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jamison Meindl, Yunsheng Tian, Tony Cui, Veronika Thost, Zhang-Wei Hong, Jie Chen, Wojciech Matusik, Mina Konaković Luković

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

완벽한 새로운 쿠키 레시피를 창조하려는 셰프가 되어 상상해 보세요. 재료와 시간 예산이 제한되어 있어 몇 번의 배트만 구울 수 있습니다.

기존 방식 (전통적 최적화기):
보통 당신을 돕는 컴퓨터 프로그램은 맹인 시음자처럼 행동합니다. 그것은 오직 숫자만 봅니다: "밀가루 2 컵, 열 100 도, 30 분." 첫 번째 배트가 타면, 그것은 단순히 "타버림"이라고 기록한 뒤 다음 번에 약간 다른 숫자를 시도할 뿐입니다. 그것이 왜 탔는지 알지 못합니다. "너무 높은 열"이 보통 쿠키를 망친다는 사실이나, "베이킹 소다"가 "베이킹 파우더"와 다르게 반응한다는 사실을 알지 못합니다. 그것은 오직 수학에 기반한 추측일 뿐이며, 실제 조리 이야기를 무시합니다.

새로운 문제:
때로는 그 "숫자"만으로는 부족합니다. 아마도 당신은 새로운 비행기 날개를 설계하거나, 페인트를 혼합하거나, 화학 반응을 조절하고 있을지도 모릅니다. 당신은 많은 텍스트 기반 지식을 보유하고 있습니다: 오래된 연구 논문, "고온은 반응을 가속화하지만 나쁜 부산물을 생성한다"는 전문가의 메모, 또는 유사한 과거 실험에 대한 설명들. 표준 컴퓨터 프로그램은 이러한 메모들을 읽을 수 없습니다; 그것들은 오직 숫자만 이해합니다.

"똑똑한" 방식 (LLM):
대규모 언어 모델 (LLM) 은 초독자처럼 행동합니다. 그것들은 모든 전문가 메모, 논문, 설명들을 읽을 수 있습니다. "프탈로 그린"이 강한 녹색 페인트라는 것을 이해합니다. 그러나 만약 당신이 LLM 에게 "최고의 혼합물을 찾아라"고만 요청한다면, 그것은 천재적인 음식 평론가에게 요리를 시키는 것과 같습니다. 그들은 이론은 알지만, 쿠키를 단계별로 실제로 구워보는 시행착오 과정에는 뛰어나지 않습니다. 그들은 훌륭한 첫 번째 배트를 제안할지도 모르지만, 그 후엔 막히거나 체계적인 최적화기로 훈련되지 않았기 때문에 같은 실수를 반복할 수 있습니다.

해결책: SemanticOpt
저자들은 SemanticOpt를 만들었는데, 이는 데이터 과학자이기도 한 마스터 셰프를 고용하는 것과 같습니다.

그들이 이를 구축한 방법은 다음과 같습니다:

훈련: 그들은 똑똑한 LLM(초독자) 을 가져와 체계적인 최적화기가 되도록 가르쳤습니다. 그들은 단순히 질문을 던지는 것이 아니라, 성공적인 실험의 수천 가지 예를 보여주었습니다. 이러한 예시에는 숫자 (레시피), 결과 (맛이 좋았는지?), 그리고 맥락 (전문가 메모와 과학 논문) 이 포함되었습니다.
학습: 모델은 숫자와 텍스트를 함께 보도록 학습했습니다. 논문이 "고온은 위험하다"고 말하고, 숫자가 고온 시도 실패를 보여준다면, 그것은 미래에 고온을 피해야 한다는 것을 학습했습니다. 그것은 새로운 아이디어를 "탐색"하는 것과 이미 작동하는 것을 "이용"하는 것 사이의 균형을 잡는 법을 배웠습니다.
결과: 새로운 문제가 주어지면 SemanticOpt 는 단순히 숫자를 추측하지 않습니다. 그것은 문제 설명을 읽고, 무엇이 작동했거나 실패했는지의 역사를 살펴본 뒤, 텍스트에서 얻은 "상식"을 사용하여 다음 최선의 실험을 선택합니다.

페인트 혼합자의 비유:
이 논문은 페인트 혼합의 훌륭한 예를 제시합니다.

목표: "민트 그린"이라는 목표 색상에 맞추기 위해 사용 가능한 5 가지 페인트를 혼합합니다.
전통적 최적화기: 페인트의 무작위 비율을 시도합니다. 90% 검정과 10% 흰색을 시도해 어두운 회색을 얻고 그것이 틀렸음을 깨닫습니다. 그것은 맹목적으로 수천 가지 조합을 시도해야 합니다.
SemanticOpt: 당신은 그것에게 "목표는 '강렬하고 선명한 녹색'인 민트 그린이다"라고 말합니다. 그것은 페인트 이름들을 읽습니다: "프탈로 그린"(강한 녹색), "티타늄 화이트" 등. 그것은 즉시 많은 양의 녹색 페인트와 일부 흰색이 필요하다는 것을 즉시 이해합니다. 그것은 끔찍한 추측들을 건너뛰고 훨씬 빠르게 완벽한 혼합물을 찾습니다.

그들이 발견한 것:

더 나은 시작: SemanticOpt 는 지시사항을 읽기 때문에 표준 컴퓨터보다 더 나은 추측으로 시작합니다.
더 나은 개선: 몇 번 시도한 후 막히는 표준 LLM 과 달리, SemanticOpt 는 실제 과학자가 실수에서 배우듯 더 많은 데이터를 수집함에 따라 계속 나아갑니다.
승자: 비행기 날개 설계부터 화학 반응 최적화까지 다양한 테스트에서 SemanticOpt 는 전통적인 숫자 계산 컴퓨터와 훈련되지 않은 초독자 모두를 능가했습니다.

주의점:
이 논문은 이 시스템이 제공된 텍스트의 품질에 크게 의존한다고 지적합니다. 만약 오해의 소지가 있는 메모를 주거나, 문제가 논리적인 이야기가 없는 무작위 카테고리 (예: 무작위 ID 번호 선택) 만과 관련된다면, 그 효과는 덜합니다. 그러나 문제에 "이야기"나 "맥락"이 있을 때, SemanticOpt 는 그 이야기를 사용하여 훨씬 빠르게 답을 찾습니다.

요약하자면, SemanticOpt는 초지능 AI 에게 매뉴얼을 읽는 것을 넘어 실제로 실험을 수행하도록 가르치며, 어려운 문제들을 효율적으로 해결하기 위해 수학과 단어를 모두 활용합니다.

기술 요약: SemanticOpt: LLM 기반 의미론적 블랙박스 최적화를 toward

문제 정의

실험 시스템의 최적화는 종종 개별 평가 수행의 높은 비용, 시간 소모, 또는 난이도로 인해 방해받습니다. 이러한 "비싼 블랙박스" 시나리오에서는 설계 매개변수와 결과 간의 관계가 알려져 있지 않습니다. 베이지안 최적화 (BO) 와 같은 전통적인 최적화 기법은 수치적 관찰 (구성 및 스칼라 결과) 만을 의존합니다. 이들은 전문가 휴리스틱, 과학 문헌, 또는 이전 실험에 대한 의미론적 설명과 같은 광범위한 도메인 지식을 통합하는 능력이 부족합니다. 반면 대규모 언어 모델 (LLM) 은 이러한 의미론적 정보를 해석할 수 있는 능력을 갖추고 있지만, 최첨단 LLM 은 신뢰할 수 있는 반복적 최적화를 수행하는 데 어려움을 겪습니다. 이들은 종종 초기 후보 제안 (warm-starting) 에 탁월하지만, 더 긴 궤적에 걸쳐 효과적인 탐색 - 활용 균형을 유지하지 못하여 성능 정체에 직면합니다.

방법론

저자들은 구조화된 BO 궤적에 자연어 컨텍스트를 보강하여 LLM 을 미세 조정함으로써 LLM 에 강력한 블랙박스 최적화 능력을 부여하는 SemanticOpt 프레임워크를 소개합니다.

1. 문제 구성

최적화는 LLM 정책 $\pi_\theta$ 가 알려지지 않은 목적 함수 $f$ 와 상호작용하는 순차적 의사결정 문제로 설정됩니다. 각 단계 $t$ 에서 모델은 관찰 이력 $D_t = \{(x_i, y_i)\}$ 과 의미론적 컨텍스트 $C$ (예: 문제 설명, 역사적 데이터, 또는 평가 피드백) 를 수신합니다. 모델은 다음 구성 $x_{t+1} \sim \pi_\theta(\cdot | C, D_t)$ 를 생성합니다.

2. 데이터 생성 및 학습

의미론적 데이터가 포함된 실제 벤치마크의 부족을 극복하기 위해 저자들은 10 만 개 이상의 최적화 궤적으로 구성된 대규모 학습 데이터셋을 구축했습니다:

함수 공간: 두 가지 방법을 사용하여 다양한 합성 목적 함수를 생성했습니다:
- 가우시안 프로세스 (GP) 함수: 비선형 좌표 왜곡, 불연속성, 제약 조건, 그리고 실패 영역을 보강한 유연하고 확장 가능한 생성기로, 실제 세계의 불규칙성을 모방합니다.
- LLM 생성 함수: Qwen 3.5 35B-A3B 를 사용하여 화학 반응, 물류 운송과 같은 실제 도메인에 대한 의미론적 컨텍스트를 생성하고, 100 개의 평가된 점과 짝을 이루어 대리 모델 적합을 통해 기준값을 정의했습니다.
궤적 생성: 최첨단 BO 프레임워크인 HEBO가 이러한 함수 공간에서 고품질 최적화 궤적을 생성하는 데 사용되었습니다. 이 과정은 5 단계로 초기화 (GP 함수에는 Sobol 샘플링, 의미론적 함수에는 LLM 생성 초기화를 사용) 하고 3 개의 서로 다른 대리 모델 (GP, 랜덤 포레스트, SVIDKL) 을 실행하는 것을 포함했습니다. 특정 단계 수 (10, 25, 50, 100) 에서 가장 성능이 좋은 대리 모델을 선택하여 데이터셋을 구성했습니다.
프롬프트 구조: 학습 데이터는 다중 턴 대화 형식으로 포맷됩니다. 시스템 지시는 제안된 구성, 예측 평균, 표준 편차, (해당되는 경우) 실패 확률을 포함하는 엄격한 JSON 출력을 강제합니다.
미세 조정: 저자들은 저랭크 적응 (LoRA) 을 사용하여 Qwen 3.5 27B(및 9B) 모델을 미세 조정했습니다. 이 모델은 후보 구성과 대리 모델 스타일 예측을 모두 출력하도록 학습되어, 수치적 피드백과 의미론적 추론을 통합하는 엔드 - 투 - 엔드 순차 최적화기로 작동하도록 훈련되었습니다.

3. 추론 파이프라인

추론 중 SemanticOpt 는 동일한 다중 턴 구조를 따릅니다. 제공된 컨텍스트를 기반으로 5 개의 초기 구성을 제안하는 것으로 시작합니다. 이후 새로운 구성을 반복적으로 제안합니다. 의사결정을 강화하기 위해 모델은 각 단계당 두 개의 후보 구성을 샘플링하며, 최종 선택은 성공에 대한 예측 확률로 가중치를 둔 기대 개선량을 최대화하여 결정되므로 실현 가능성을 고려합니다.

주요 기여

대규모 학습 데이터셋: BO 방법을 활용하여 고품질 최적화 데이터를 보장하는 다양한 GP 생성 및 LLM 생성 함수 공간에 걸쳐 10 만 개 이상의 최적화 궤적을 포함하는 데이터셋 구축.
구조화된 미세 조정 접근법: BO 데이터에 LLM 을 미세 조정하여 후보 구성과 보정된 대리 모델 스타일 예측을 모두 출력하는 새로운 방법이며, 이를 통해 SemanticOpt 모델을 생성합니다.
종합 평가: 다양한 수준의 의미론적 컨텍스트를 가진 실제 세계 대리 모델 벤치마크에 대한 평가로, 관련 의미론적 정보가 제공될 때 SemanticOpt 가 고전적 BO 방법 및 기존 LLM 기반 접근법 모두를 능가함을 입증했습니다.

결과

저자들은 HEBO(GP, RF, SVIDKL 대리 모델 포함), 트랜스포머 기반 최적화기 (PFNs4BO), 그리고 최첨단 LLM(GPT-5.4, Qwen 3.5 27B) 을 포함한 포괄적인 베이스라인에 대해 SemanticOpt 를 평가했습니다.

성능: 다양한 도메인 (예: Airfoil CFD, MuJoCo 제어, 페인트 혼합, PD1) 전반에 걸쳐 SemanticOpt 는 가장 우수한 평균 정규화 성능을 달성했습니다. 이는 반복적 최적화에서 기본 LLM(Qwen 3.5 27B) 을 크게 능가하여 정체 현상이 아닌 지속적인 개선을 보여주었습니다.
의미론적 컨텍스트: 의미론적 데이터 (긴 형식의 컨텍스트, 역사적 예시, 추가 지표) 의 포함은 일관되게 성능을 향상시켰습니다. 예를 들어, 페인트 혼합 작업에서 SemanticOpt 는 색상 설명을 활용하여 목표 일치 (점수 0.91) 를 찾았는데, 이는 HEBO GP(점수 6.5) 보다 훨씬 우수했습니다.
최첨단 모델과의 비교: GPT-5.4 는 공개 데이터셋에서 파생된 벤치마크에서 강력한 초기화 성능을 보였으나 (잠재적인 암기 가능성 시사), 시뮬레이션을 통해 생성된 온라인 데이터가 적은 벤치마크 (예: Airfoil CFD, MuJoCo 제어) 에서는 SemanticOpt 가 이를 능가했습니다. GPT-5.4 로부터 동일한 초기화를 제공받았을 때, SemanticOpt 는 우수한 반복적 최적화 능력을 보여주었습니다.
대리 모델 품질: SemanticOpt 의 내부 예측 (평균 및 표준 편차) 은 전통적인 BO 대리 모델과 비교하여 경쟁력 있거나 우수한 정확도와 불확실성 보정을 보여주었습니다.
절대 연구:
- 모델 크기: 27B 모델은 사전 학습된 사전 지식의 "용량 의존적 망각"으로 고통받은 9B 모델보다 초기화 능력을 더 잘 유지했습니다.
- 초기화 vs 반복: SemanticOpt 의 이점은 개선된 웜 - 스타팅과 우수한 반복적 최적화 모두에서 비롯됩니다.

중요성 및 주장

이 논문은 SemanticOpt 가 LLM 의 의미론적 추론 강점과 샘플 효율적이며 불확실성을 인식하는 베이지안 최적화의 탐색 사이의 간극을 해소한다고 주장합니다. 의미론적 컨텍스트가 보강된 구조화된 BO 궤적에 LLM 을 직접 미세 조정함으로써, 저자들은 LLM 을 효과적인 순차 최적화기로 훈련할 수 있음을 입증합니다.

그 중요성은 외부 BO 루프나 단순한 프롬프팅에 의존하지 않는 엔드 - 투 - 엔드 의미론적 최적화기를 창출하는 데 있습니다. 이는 새로운 실험을 제안할 때 문서, 이전 실험, 그리고 보조 측정을 최적화 시스템이 활용할 수 있게 합니다. 저자들은 순수 범주형 공간 (여기서는 BO 방법 자체가 어려움을 겪음) 과 BO 보정이 실패할 수 있는 매우 불연속적인 목적 함수를 가진 도메인에서 제한 사항이 있음을 지적합니다. 향후 작업에는 의사결정 근거를 포함하고 더 유연한 함수 공간으로 확장하는 것이 포함될 수 있다고 제안합니다.