💻 computer science

LLM-Driven Evolutionary Generation of Multi-Objective Bayesian Optimization Algorithms

이 논문은 대규모 언어 모델을 알고리즘 구현을 자동 생성하는 진화 연산자로 채택함으로써 LLaMEA 프레임워크를 다목적 베이지안 최적화로 확장하며, 이는 합성 및 실제 공학 문제 모두에서 최첨단 qParEGO 베이스라인과 대등하거나 이를 능가하는 정확도를 보여주는 동시에 계산 비용을 크게 절감하는 것으로 나타났다.

원저자: Georgios Laskaris, Reuben Brasher, Niki van Stein, Elena Raponi, Thomas Bäck, Florian Neukart

게시일 2026-07-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Georgios Laskaris, Reuben Brasher, Niki van Stein, Elena Raponi, Thomas Bäck, Florian Neukart

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 완벽한 케이크 레시피를 찾으려고 노력하고 있다고 상상해 보세요. 당신은 그 케이크가 가장 달콤하면서도, 가장 폭신폭신하고, 동시에 만드는 비용도 가장 저렴하기를 원합니다. 하지만 여기 함정이 있습니다. 더 달콤하게 만들면 덜 폭신해질 수 있고, 더 저렴한 재료를 사용하면 식감이 망가질 수 있다는 점입니다. 이것은 "다목적(multi-objective)" 문제입니다. 그리고 너무 많은 선택지를 한꺼번에 조절해야 하기 때문에 인간 요리사들에게는 악몽 같은 일입니다.

보통 전문 요리사(알고리즘)들은 이 균형을 찾기 위해 수년간 레시피를 미세하게 조정합니다. 하지만 이 논문에서 연구진들은 똑똑한 로봇 셰프(대규모 언어 모델, LLM 기반)가 직접 요리를 하도록 결정했습니다. 그들은 단순히 로봇에게 향신료 몇 가지만 조절하라고 시킨 것이 아니라, 완전히 새로운 요리법을 처음부터 발명하도록 요청했습니다.

로봇 셰프의 진화하는 주방

연구진은 LLaMEA-MOBO라는 디지털 주방을 설정했습니다. 이것을 기술이 집약된 요리 쇼라고 생각해보세요. 여기서 로봇 셰프는 단순히 요리 하나를 만드는 것이 아니라, 스스로 '진화'합니다.

참가자: 로봇은 몇 가지 기본 레시피(알고리즘)로 시작합니다.
변이와 교차: 자연계에서와 마찬가지로, 로봇은 하나의 레시 recipe를 가져와 무작위적인 변화를 주거나(변이), 서로 다른 두 레시피를 가져와서 하나로 합쳐 새로운 하이브리드를 만들어냅니다(교차).
맛 테스트: 새로운 레시피들은 12가지의 서로 다른 "합성" 케이크 챌린지(실제 세상의 퍼즐처럼 보이는 수학 문제들)를 통해 테스트됩니다. 로봇은 각 레시피가 달콤함, 폭신함, 그리고 비용을 얼마나 잘 조절하는지 측정합니다.
루프(반복): 가장 좋은 레시피들이 다음 라운드에 살아남아 다시 미세하게 조정되며, 이 과정이 반복됩니다. 로봇은 이 과정을 약 900번 반복하여 완전히 새로운 세대의 요리법을 만들어냅니다.

거대한 발견: 속도와 지능

논문에 따르면 이 로봇 셰프는 단순히 요리하는 법을 배운 것이 아니라, 인간 전문가보다 더 빠르고 더 잘 요리하는 법을 배웠습니다.

로봇의 창작물 중 하나인 MOEAD-EI Hybrid는 합성 쇼의 주인공이었습니다. 이 모델은 0.971의 "정규화된 하이퍼볼륨(normalized hypervolume)" 점수를 달성했습니다. 이를 비교해 보자면, 현재 최고의 인간 설계 레시피인 qParEGO는 0.869를 기록했습니다.

하지만 진짜 마법은 맛뿐만이 아니었습니다. 바로 속도였습니다. 로봇의 레시피는 인간 전문가의 레시피보다 약 60배 더 빨랐습니다. 인간 셰프는 요리하는 데 오랜 시간이 걸렸던 반면(높은 "벽시계 시간/wall-clock time"), 로봇의 방식은 동일하거나 더 나은 결과를 훨씬 짧은 시간 안에 만들어냈습니다.

연구진이 이 로봇 레시피를 교량용 트러스 설계나 로켓 분사기 설계와 같은 세 가지 실제 공학 문제에 테스트했을 때, 로봇의 Improved-Scalarized-EI가 1위를 차지했습니다. 이 모델은 0.985를 기록하며 인간 전문가의 0.971을 제쳤고, 시간은 약 3.4배 적게 걸렸습니다

로봇이 한 것 (그리고 하지 않은 것)

이 실험이 무엇을 증명하지 않았는지 아는 것이 중요합니다. 논문은 로봇이 단순히 운이 좋았거나, 혹은 모든 문제에 작동한다는 아이디어를 명시적으로 배제합니다.

모든 것에 통하는 마법 지팡이는 아닙니다: 로봇은 특정 유형의 문제(12가지 합성 문제 및 3가지 실제 공학 문제)에 대해 테스트되었습니다. 논문은 이 로봇이 우주의 모든 문제를 해결할 수 있다고 주장하는 것이 아니라, 이 특정 유형의 최적화 과제에서 잘 작동한다는 것을 주장합니다.
"해결된" 문제는 아닙니다: 저자들은 자신들이 로봇이 이러한 설계를 찾아낼 수 있음을 보여준 것이지, 알고리즘 설계라는 문제가 이제 "해결되었다"고 주장하는 것이 아님을 주의 깊게 밝히고 있습니다. 그들은 이것이 최종 해답이 아니라 솔루션을 찾는 새로운 방법임을 시사합니다.
"확률적(Stochastic)" 함정: 논문은 재미있는 결함을 언급합니다. 때때로 로봇 셰프가 너무 결정론적(예를 들어 항상 똑같은 방식으로 동전을 던지는 로봇처럼)으로 행동하려고 했습니다. 연구진은 로봇이 다시 진정으로 무작위성을 갖도록 강제함으로써 이를 수정해야 했으며, 그렇지 않으면 결과가 가짜가 되었을 것입니다. 이는 이 과정이 아직 완벽하지 않다는 것을 보여줍니다.

"시간 대 맛"의 트레이드오프

연구진은 요리에 걸린 시간과 케이크의 품질 사이의 관계를 보여주는 그래프를 그렸습니다.

기존의 인간 방식들은 매우 느리지만 훌륭하거나, 혹은 빠르지만 평범했습니다.
로봇의 방식들은 "스위트 스팟(효율적 경계선/efficient frontier)"에 위치했습니다. 즉, 최고의 인간 방식만큼 성능이 좋으면서도 1~3 자릿수(orders of magnitude) 더 빨랐습니다.
하나의 로봇 레시피인 RF-ParEGO-Batch는 실제 문제에서 인간 전문가보다 754배나 빨랐지만, 정확도는 약간 낮았습니다.

결론

이 논문은 LLM을 사용하여 알고리즘을 진화시키는 것이 강력한 새로운 도구라는 결론을 내립니다. 이는 우리가 복잡한 최적화 도구를 설계하기 위해 오직 인간 전문가에게만 의존할 필요가 없음을 시사합니다. 로봇은 인간이 결코 생각하지 못했을 디자인을 발견하여, 인간의 수동 설계로는 도달하기 어려운 정확도와 속도의 균형을 맞출 수 있습니다.

하지만 저자들은 한계에 대해서도 솔직합니다. 그들은 실제 문제(3가지)를 적게 테스트했다는 점과, 로봇이 다른 유형의 도전 과제에 대해서는 더 많은 튜닝이 필요할 수 있다는 점을 인정합니다. 또한 로봇의 성공은 사용된 특정 "두뇌"(LLM)와 그들에게 주어진 프롬프트에 달려 있다는 점도 언급했습니다.

요약하자면, 이 논문은 진화의 안내를 받는 로봇 셰프가 품질은 인간 셰프와 대등하게 유지하면서도 속도 면에서는 인간을 압도하는, 맛있고도 믿기지 않을 정도로 빠른 새로운 레시피를 발명할 수 있음을 증명합니다. 하지만 이는 여전히 진행 중인 작업이며, 우리가 이들을 궁극의 셰프로 선언하기 전에 더 많은 주방에서 계속 테스트해 볼 필요가 있습니다.

기술 요약: 다목적 베이지안 최적화 알고리즘의 LLM 기반 진화적 생성

1. 문제 정의

효과적인 다목적 베이지안 최적화(Multi-Objective Bayesian Optimization, MOBO) 알고리즘을 설계하는 것은 대리 모델(surrogate model) 선택, 획득 함수(acquisition function), 후보 생성 전략과 같이 수많은 상호 의존적인 설계 선택 사항들의 균형을 맞추어야 하는 복잡한 작업입니다. 최적의 구성은 일반적으로 문제에 따라 달라지며 깊은 전문 지식을 요구합니다. 최근 대규모 언어 모델(LLM)을 활용한 알고리즘 생성의 발전이 단일 목적 설정에서 유망한 결과를 보여주었으나, 이를 다목적 영역으로 확장하는 것은 수동 개입 없이 파레토 우위(Pareto dominance), 하이퍼볼륨(hypervolume) 계산, 목적 함수 정규화를 처리해야 한다는 점에서 여전히 과제로 남아 있습니다.

2. 방법론

저자들은 LLaMEA 프레ile임워크를 다목적 설정으로 확장하여 LLaMEA-MOBO를 구축했습니다. 이 시스템은 LLM이 돌연변이 및 교차 연산자 역할을 수행하여 완전한 알고리즘 구현체를 생성하는 진화적 루프를 채택합니다.

핵심 프레임워크 구성 요소

진화적 루프 (Evolutionary Loop): 프로세스는 세대를 거듭하며 반복됩니다. 각 단계에서 LLM은 부모 알고리즘(들)의 소스 코드, 피트니스 피드백(정규화된 하이퍼볼륨 및 실행 시간), 그리고 런타임 에러를 프롬프트로 전달받습니다.
- 돌연변이 (Mutation): 단일 부모를 개선하여 전략을 정교화합니다.
- 교차 (Crossover): 두 부모를 결합하여 새로운 솔루션을 생성한 후 이를 정제합니다.
알고리즘 인터페이스: 생성된 알고리즘은 고정된 객체 지향 인터페이스를 준수해야 합니다. 결정적으로, 알고리즘은 범용성을 보장하기 위해 목적 함수의 개수가 하드코딩되지 않아야 하며, 첫 번째 함수 평가 시점에 런타임에서 목적 함수 개수를 스스로 추론해야 합니다.
하이퍼파라미터 최적화 (HPO): SMAC(Sequential Model-based Algorithm Configuration)을 사용하여 진화적 루프 내에 직접 통합되었습니다. 각 생성된 알고리즘은 튜닝 가능한 하이퍼파라미터 공간(예: 배치 크기, 커널 파라미터)을 정의합니다. SMAC는 일반화 성능을 높이고 과적합을 방지하기 위해 벤치마크 문제의 일부에 대해 이러한 파라미터를 최적화합니다.
피트니스 신호 (Fitness Signal): 알고리즘의 피트니스는 일련의 벤치마크 문제에 대한 평균 정규화 하이퍼볼륨(HV)으로 정의됩니다. 정규화는 서로 다른 목적 함수 스케일을 가진 문제들이 피트니스 신호에 동일하게 기여하도록 보장합니다.

실험 설정

진화 전략: $(1+1)$ -ES, $(4+16)$ -ES, $(8,16)$ -ES의 세 가지 구성을 테스트했습니다.
LLM 연산자: 알고리즘 코드와 구성 공간을 합성하기 위해 Gemini-2.5-flash가 사용되었습니다.
벤치마크:
- 합성 스위트 (Synthetic Suite): ZDT, DTLZ, WFG 패밀리에서 추출한 12개의 문제로, 다양한 차원(5~30개 변수)과 복잡도(다중 모드성, 비볼록성, 불연속성)를 가진 이목적 및 삼목적 설정을 포함합니다.
- 실제 세계 스위트 (Real-World Suite): RE 벤치마크 스위트에서 가져온 3개의 무제약 공학 문제(RE21, RE34, RE37)를 포함합니다.
베이스라인: 생성된 알고리즘을 qParEGO (BoFire 제공), IOC-SAMO-COBRA, 고전적 진화 알고리즘 (NSGA-II, NSGA-III), 그리고 랜덤 서치(Random Search)와 비교했습니다.

3. 주요 기여

프레임워크 확장: 저자들은 LLaMEA 프레임워크를 성공적으로 확장하여 완전한 MOBO 알고리즘을 생성하였으며, SMAC 기반의 하이퍼파라미터 최적화를 진화적 루프 내에 직접 통합했습니다.
알고리즘 발견: 시스템은 9번의 진화 실행 과정 동안 약 900개의 후보 알고리즘을 생성했습니다. 본 연구는 서로 다른 선택 체제(진화 전략)가 결과물인 설계의 다양성과 품질에 어떤 영향을 미치는지 분석합니다.
성능 벤치마킹: 생성된 최적의 알고리즘들을 합성 및 실제 세계 도메인 모두에서 확립된 수작업 설계 방식들과 엄격하게 비교 벤치마킹했습니다.
시간-정확도 트레이드오프 분석: 연구는 효율성 경계면(efficiency frontier)을 규명하여, LLM이 생성한 알고리즘이 상당한 계산 비용 절감과 함께 최첨단 수준의 정확도를 달고할 수 있음을 입증했습니다.

4. 결과

합성 벤치마크 (단계 1 & 2)

최고 성능 모델: 개발 과정에서 발견된 MOEAD-EI Hybrid 알고리즘은 12개의 합성 문제에 대해 0.971의 가장 높은 평균 정규화 하이퍼볼륨을 달성했습니다.
SOTA와의 비교: MOEAD-EI Hybrid는 12개 문제 중 7개에서 최첨단 방식인 qParEGO (0.869)를 크게 앞질렀으며, 결코 유의미하게 뒤처지지 않았습니다.
효율성: MOEAD-EI Hybrid는 우수하거나 대등한 정확도를 달성하기 위해 qParEGO보다 약 **60배 적은 벽시계 시간(wall-clock time)**을 소요했습니다.
체계적으로 선택된 알고리즘: 순수하게 진화 과정을 통해 선택된 상위 알고리즘 중, Improved-Scalarized-EI는 0.811의 평균 정규화 HV를 달성하여 모든 고전적 베이스라인을 능가했으나, qParEGO와 MOEAD-EI Hybrid에는 미치지 못했습니다.

실제 세계 벤치마크 (단계 3)

일반화 능력: 관찰되지 않은 세 가지 실제 공학 문제에 대해, Improved-Scalarized-EI가 0.985의 평균 정규화 HV로 단일 최우수 정확도 알고리즘으로 나타났습니다.
비교: 이 알고리즘은 세 문제 중 두 문제에서 qParEGO (0.971)를 유의미하게 앞질렀습니다.
비용: Improved-Scalarized-EI는 qParEGO보다 약 3.4배 낮은 벽시계 비용으로 이 성능을 달성했습니다.
MOEAD-EI Hybrid 역시 실제 문제에서 우수한 성능(0.926)을 보이며 전체 3위를 기록하여, 합성 환경에서의 성과가 실제 환경으로 전이됨을 확인했습니다.

통계적 유의성

Friedman 검정: 알고리즘 간의 유의미한 차이를 확인하였으며 ( $p = 4.3 \times 10^{-8}$ ), MOEAD-EI Hybrid가 1위를 차지했습니다.
시간-정확도: 생성된 모든 알고리즘은 15개 문제 전체에서 qParEGO보다 유의미하게 빨랐습니다 ( $p = 6.1 \times 10^{-5}$ ). 생성된 알고리즘들은 정확도를 유지하거나 능가하면서도 1~3 자릿수(orders of magnitude) 더 빠르게 작동하여 효율적 경계면에 위치합니다.

알고리즘 특성

연구는 상위 알고리즘들의 계보를 분석하여, 이들이 단순한 "블랙박스"가 아니라 인식 가능하고 동기 부여된 블록들로 구성되어 있음을 밝혔습니다.

MOEAD-EI Hybrid: MOEA/D 분해와 독립적인 가우시안 프로세스(GP) 대리 모델 및 기대 개선(EI) 획득 함수를 결려, 정확도와 비용 사이의 균형을 맞춥니다.
Improved-Scalarized-EI: 스케일 불변 Tchebycheff 스칼라화(scale-invariant Tchebycheff scalarization)에 대하여 Matérn-2.5 GP 대리 모델과 EI를 사용하며, 벡터화된 진화 내부 최적화기에 의해 최적화됩니다. 이는 매끄럽고 저차원인 실제 문제를 해결하는 데 탁월합니다.
RF 변형 모델: Random Forest 대리 모델을 사용하는 알고리즘(예: RF-ParEGO-Batch)은 대리 모델의 충실도(fidelity)를 희생하는 대신 속도를 얻었으며, 2~3 자릿수 더 낮은 실행 시간으로 경쟁력 있는 정확도를 달성했습니다.

5. 의의 및 주장

본 논문은 LLM 기반 진화 탐색이 수동 설계로는 도달하기 어려운 파레토 효율적 트레이드오프를 달성하는 알고리즘 설계를 발견할 수 있음을 주장합니다.

구체적으로 저자들은 다음과 점을 입증했습니다:

자동 생성된 알고리즘이 수작업으로 설계된 최첨단 방식(qParEGO 등)과 대등하거나 이를 능가하는 정확도를 달성할 수 있습니다.
이러한 생성된 알고리즘은 베이지안 최적화와 관련된 높은 벽시계 비용 문제를 해결하며, 매우 적은 계산 비용(최대 60배 빠름)으로 성능을 낼 수 있습니다.
제안된 방식은 재설정 없이 합성 벤치마크에서 실제 공학 문제로 성공적으로 일반화됩니다.
이 과정은 해석 가능합니다. 상위 알고리즘의 계보는 무작위 샘플링이 아니라 특정 모듈(대리 모델, 획득 함수, 최적화기)의 직접적인 정교화 과정을 보여줍니다.

저자들은 평가 예산의 높은 계산 비용(반복 횟수 제한), 제약 조건이 있는 실제 문제에 대한 제한, LLM 백본 선택에 따른 결과 민감도 등의 한계를 인정했습니다. 향후 연구에서는 제약 조건이 있는 문제, 더 큰 예산, 그리고 특정 타겟 문제를 위한 특화된 솔버 생성을 탐구해야 한다고 제언합니다.