🤖 machine learning

Surrogate Ensemble in Expensive Multi-Objective Optimization via Deep Q-Learning

이 논문은 모델 선택에서의 인간의 편향을 제거함으로써 비용이 많이 드는 다목적 최적화 문제에 대한 성능을 향상시키기 위해, 단일 최적화 과정 내에서 심층 Q-네트워크를 활용하여 대리 모델을 동적으로 선택하고 스케줄링하는 강화 학습 지원 앙상블 프레임워크인 SEEMOO를 제안한다.

원저자: Yuxin Wu, Hongshu Guo, Ting Huang, Yue-Jiao Gong, Zeyuan Ma

게시일 2026-02-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuxin Wu, Hongshu Guo, Ting Huang, Yue-Jiao Gong, Zeyuan Ma

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 복잡한 요리의 완벽한 레시피를 찾으려 한다고 상상해 보세요. 하지만 음식을 맛보는 데 드는 비용이 엄청나게 비싸고 시간도 많이 걸립니다. 당신에게는 재료가 딱 550번의 맛 테스트를 할 수 있을 만큼만 남아 있습니다. 이것이 바로 **비싼 다목적 최적화(Expensive Multi-Objective Optimization)**의 과제입니다. 즉, 모든 가능성을 테스트할 여유는 없으면서 여러 가지 상충하는 목표(예: 맛, 비용, 건강) 사이의 최적의 균형을 찾아내는 일입니다.

보통 과학자들은 실제로 요리를 하기 전에 레시피가 어떤 맛이 날지 예측하기 위해 "대리 모델(surrogate)"(저렴하고 빠른 추측 모델)을 사용합니다. 하지만 문제가 하나 있습니다. 서로 다른 대리 모델은 서로 다른 것을 예측하는 데 특화되어 있다는 점입니다. 어떤 모델은 단맛을 예측하는 데는 뛰어나지만 매운맛을 예측하는 데는 형편없을 수 있습니다. 전통적으로는 인간 전문가가 전체 과정 동안 사용할 단 하나의 대리 모델을 선택해야 합니다. 만약 잘못된 모델을 선택하면, 전체 탐색 과정이 실패하게 됩니다.

SEEMOO를 소개합니다: SEEMOO를 단순히 하나의 도구를 고르는 것이 아니라, 도구 상자 전체를 관리하는 **똑똑하고 학습하는 수셰프(sous-chef)**라고 생각해보세요.

SEEMOO가 어떻게 작동하는지 간단한 개념으로 나누어 설명하겠습니다.

1. 도구 상자 (모델 풀, The Model Pool)

단 하나의 추측 모델에 의존하는 대신, SEEMOO는 다섯 가지의 서로 다른 대리 모델(가우시안 프로세스, 몇 가지 유형의 신경망 등)로 구성된 "풀(pool)"을 유지합니다. 각 모델은 저마다의 추측 스타일을 가지고 있습니다. 어떤 것은 매끄럽고 단순한 경향을 파악하는 데 좋고, 어떤 것은 복잡하고 들쭉날쭉한 패턴을 파악하는 데 좋습니다.

2. 스마트 매니저 (Deep Q-Learning 에이전트)

이것이 운영의 핵심인 '두뇌'입니다. 실시간으로 요리 과정을 지켜보는 매니저를 상상해 보세요.

상태 (State, 무엇을 보는가): 매니저는 대시보드를 통해 탐색이 어떻게 진행되고 있는지 관찰합니다. 목표에 가까워지고 있는가? 레시피 집단의 특성이 점점 비슷해지고 있는가? 최근 몇 번의 추측은 얼마나 정확했는가?
행동 (Action, 무엇을 하는가): 매니저는 관찰한 내용을 바탕으로 다음 단계를 위해 도구 상자에서 가장 적합한 도구를 선택합니다. 탐색이 복잡한 영역에서 막히고 있다면, 복잡성을 처리하기에 좋은 도구로 교체할 수 있습니다. 상황이 단순하다면, 더 빠르고 간단한 도구로 바꿀 수 있습니다.
학습 (Reward, 보상): 매니저가 결정을 내린 후, 시스템은 실제 레시피를 몇 번 테스트합니다. 새로운 추측들이 더 나은 결과를 가져온다면, 매니저는 "긍정적인 보상"(예: 금메달)을 받습니다. 만약 추측이 좋지 않았다면, 부정적인 보상을 받습니다. 시간이 흐르면서 매니저는 최소한의 맛 테스트로 최상의 결과를 얻기 위해 어떤 상황에서 어떤 도구를 사용해야 하는지 정확히 학습하게 됩니다.

3. 프로세스 (워크플로우)

이 논문은 두 단계의 춤(two-level dance)을 설명합니다.

하위 단계 (요리사, The Cook): 메인 알고리즘(NSGA-II)은 선택된 대리 모델의 예측값을 사용하여 더 나은 솔루션을 진화시키려고 노력합니다. 아직 비싼 실제 테스트를 낭비하지 않습니다.
상위 단계 (매니저, The Manager): AI 매니저는 요리사를 지켜보며, 다음 라운드를 위해 가장 적합한 대리 모델을 선택하고, 그 결과로부터 학습합니다.

왜 이것이 더 나은가요?

논문에 따르면 인간 전문가는 종종 편향된 선택을 하여, 자신의 특정 문제에는 잘 작동하지만 다른 문제에는 실패하는 도구를 선택하곤 합니다. SEEMOO는 이러한 인간의 편향을 제거합니다. SEEMOO는 "보편적인" 전략을 학습합니다.

비유: 항상 모든 문제를 망치로 해결하려는 인간 셰프를 상상해 보세요. 만약 나사(screw)를 마주친다면, 그는 실패할 것입니다. SEEMOO는 문제를 살펴보고 그것이 나사라는 것을 깨달은 뒤, 즉시 드라이버를 집어 드는 법을 배우는 셰프와 같습니다. 만약 못(nail)이라면, 망치를 집어 듭니다. SEEMOO는 단 하나의 도구에 집착하지 않고 동적으로 적응합니다.

결과

연구진은 24가지의 서로 다른 복잡한 "레시피"(수학적 문제)를 대상으로 테스트했습니다.

성능: SEEMOO는 단일 도구만을 사용하는 것보다 일관되게 더 나은 솔루션을 찾아냈습니다.
일반화: AI가 적은 양의 문제로 학습된 후, 완전히 새로운 미지의 문제에 대해 테스트되었을 때도 여전히 우수한 성능을 보였습니다. 이는 AI가 단순히 정답을 암기한 것이 아니라, 도구를 선택하는 방법을 학습했음을 의미합니다.
절제 연구 (Ablation Studies): 연구진이 시스템의 일부(예: "스마트 매니저"를 제거하거나 도구 상자에서 도구 하나를 제거하는 경우)를 제거했을 때 성능이 떨어졌습니다. 이는 도구의 다양성과 그 사이를 전환하는 AI의 능력이 모두 필수적이라는 점을 입증했습니다.

요약하자면, SEEMOO는 복잡하고 비용이 많이 드는 문제를 단일 모델보다 훨씬 더 효율적으로 해결하기 위해, 인공지능을 사용하여 다양한 예측 모델을 끊임없이 교체하며 역동적으로 관리하는 시스템입니다.

기술 요약: 심층 Q-학습을 통한 고비용 다목적 최적화에서의 대리 모델 앙상블 (SEEMOO)

문제 정의

복잡한 공학 및 설계 시나리오에서 흔히 발생하는 고비용 다목적 최적화(Expensive Multi-Objective Optimization, EMOO) 문제는 목적 함수를 계산하기 위해 비용이 많이 드는 시뮬레이션이나 물리적 실험을 필요로 합니다. NSGA-II 및 MOEA/D와 같은 전통적인 진화 다목적 알고리즘(Evolutionary Multi-Objective Algorithms, MOEAs)은 함수 평가 비용이 매우 높기 때문에 이러한 맥락에서 어려움을 겪습니다. 대리 모델 기반 진화 알고리즘(Surrogate-Assisted Evolutionary Algorithms, SAEAs)은 가벼운 모델(예: 가우시안 프로세스, 방사 기저 함수)을 사용하여 목적 함수를 근사함으로써 이를 완화하지만, 이들의 효과는 대리 모델 관리 전략에 크게 의존합니다.

기존의 SAEAs는 주로 정적인 인간 정의 방식의 대리 모델이나 고정된 앙상블 체계에 의존합니다. 이는 설계자 편향을 유발하여, 범위를 벗어난 작업이나 변화하는 지형 복잡성을 가진 문제에 적용될 때 알고리즘의 일반화 능력과 강건성을 제한합니다. 또한, 메타 블랙박스 최적화(Meta-Black-Box Optimization, MetaBBO) 기술, 구체적으로 강화 학습(Reinforcement Learning, RL)을 다목적 문제의 대리 모델 선택 과정에 통합하는 연구는 단일 목적 도메인에 비해 여전히 미개척 영역으로 남아 있습니다.

방법론: SEEMOO 프레임워크

이러한 한계를 해결하기 위해 저자들은 강화 학습 기반 대리 모델 앙상블 프레임워크인 SEEMOO를 제안합니다. SEEMOO는 이중 구조 내에서 작동하며, 최적화 과정을 메타 레벨의 RL 에이전트가 저수준 진화 최적화기를 위해 대리 모델을 동적으로 스케줄링하는 순차적 의사결정 문제로 취급합니다.

1. 저수준 최적화기 (Low-Level Optimizer)

기본 최적화기는 대리 모델 보조 NSGA-II입니다. 프로세스는 다음과 같습니다:

초기화: 라틴 하이퍼큐브 샘플링(Latin Hypercube Sampling, LHS)을 통해 초기 집단을 생성하고 이들을 실제 목적 함수로 평가합니다.
진화: 각 단계에서, 현재 데이터베이스를 바탕으로 학습된 선택된 대리 모델이 목적 값을 예측합니다. 집단은 실제 평가 비용을 발생시키지 않고 이러한 예측값(토너먼트 선택, 교차 및 변이 활용)을 사용하여 진화합니다.
인필링 (Infilling): 진화된 집단에서 유망한 후보군 배치를 선택하여 실제 평가를 수행합니다. 이 새로운 샘 샘플들은 훈련 데이터베이스와 비지배 해(non-dominated solutions)의 외부 아카이브를 업데이트합니다.

2. 메타 레벨 RL 설계

핵심 혁신은 심층 Q-네트워크(Deep Q-Network, DQN)를 통해 각 최적화 단계에서 대리 모델을 동적으로 선택하는 데 있습니다.

상태 공간 ( $s_t$ ): 다양한 수의 목적 함수를 처리하기 위해 어텐션 기반 상태 추출기가 사용됩니다. 풀(pool) 내의 각 후보 모델에 대해 다음을 포함하는 8차원 특징 벡터가 구성됩니다:
- 사용 이력 (누적 사용량, 최근 빈도).
- 성능 지표 (IGD 기반 개선도, 전역 단계별 개선도).
- 수렴 역학 (결정 공간 및 목적 공간 밀도 변화).
- 모델별 정확도 (대리 모델 오차 변동).
- 탐색 진행도 (단계 비율).
  이러한 특징들은 공유 선형 레이어와 멀티 헤드 어텐션(Multi-Head Attention) 메커니즘을 통해 처리되어 모델 간의 관계를 포착한 후, 레이어 정규화(Layer Normalization)를 거칩니다.
행동 공간 (Action Space): 에이전트는 다섯 가지 서로 다른 대리 모델 풀 중 하나의 행동을 선택합니다:
- 가우시안 프로세스 (Gaussian Processes, GP)
- 다층 퍼셉트론 (MLP1: 낮은 예산, MLP2: 높은 예산)
- K-최근접 이웃 (K-Nearest Neighbors, KNN)
  def
- 방사 기저 함수 네트워크 (Radial Basis Function Networks, RBFN)
보상 함수 (Reward Function): 보상( $r_t$ )은 연속적인 단계 사이의 외부 아카이브에 대한 역세대 거리(Inverted Generational Distance, IGD)의 정규화된 개선량으로부터 유도됩니다. 이는 파레토 프런트(Pareto front)의 근사를 개선하는 행동을 장려하는 조밀하고 연속적인 신호를 제공합니다.
훈련: DQN은 벤치마크 문제 분포를 통해 훈련됩니다. 에이전트는 현재 최적화 상태를 가장 적합한 대리 모델로 매핑하는 정책을 학습하여 장기적인 최적화 성능을 극대화합니다.

주요 기여

SEEMOO 프레임워크: 평가 예산이 제한된 고비용 다목적 최적화 상황에서 동적인 대리 모델 스케줄링을 가능하게 하는 RL 지원 프레믹의 제안.
적응형 아키텍처: 다양한 대리 모델 풀, 보편적인 문제 표현(다양한 목적 함수 수 지원)을 위한 어텐션 기반 상태 추출기, 그리고 매 단계에서 최적의 모델을 적응적으로 선택하는 DQN 기반 선택기의 통합.
실증적 검증: SEGA-II 프레임워크 내에서의 포괄적인 비교 연구 및 절제 실험(Ablation analysis)을 통해 SEEMOO가 다양한 개별 정적 대리 모델보다 우수한 성능을 보임을 입증하고, 핵심 설계 구성 요소의 필요성을 검증함.

실험 결과

프레막은 결정 변수가 2에서 80까지이며 최대 5개의 목적 함수를 가진 24개의 벤치마크 문제(ZDT, DTLZ, WFG, OmniTest, Kursawe) 세트에서 평가되었습니다.

성능: SEEMOO는 다섯 가지 정적 베이스라인 모델(GP, MLP1, MLP2, KNN, RBFN)과 비교하여 ZDT, DTLZ, WFG 계열에서 일반적으로 우수한 성능을 보였습니다. 특히 복잡한 다봉(multimodal) 인스턴스에서 주목할 만한 IGD 감소를 달alog했습니다.
일반화: 두 가지 데이터 분할 설정(3:1 및 1:3 훈련-테스트 비율) 하에서 수행된 실험을 통해, SEEMOO는 제한된 문제 서브셋에서 훈련되었음에도 불구하고 보지 못한 도메인에서 안정적인 성능을 유지함을 보여주었습니다. 이는 학습된 메타 정책이 특정 인스턴스를 암기하는 것이 아니라 불변하는 최적화 상태 특징을 포착하고 있음을 시사합니다.
절제 실험 (Ablation Studies):
- 대리 모델 풀: 특정 대리 모델(예: GP, MLPs, KNN, RBFN)을 제거하면 성능이 일관되게 저하되었으며, 이는 이질적인 풀이 스케줄링 정책에 필수적인 상호 보완적 정보를 제공함을 확인시켜 줍니다.
- 보상 설계: IGD 기반 보상은 이진 보상(희소 피드백) 및 하이퍼볼륨(Hypervolume, HV) 기반 보상보다 우수한 성능을 보였으며, 이는 조밀하고 부드럽게 변화하는 피드백이 효과적인 메타 학습에 결정적임을 나타냅습니다.

의의 및 주장

본 논문은 SEEMOO가 정적인 대리 모델 관리와 복잡한 최적화 지형의 동적인 요구 사이의 간극을 효과적으로 메운다고 주장합니다. 학습 기반 정책을 통해 대리 모델 선택 과정을 자동화함으로써, 프레임워크는 인간 설계자의 편향을 완화하고 적응성을 높입니다.

저자들은 SEEMOO를 메타 블랙박스 최적화의 유망한 방향으로 제시하며, 대리 모델 관리를 메타 RL 과제로 모델링하는 것이 정적 앙상블 설계의 한계를 극복할 수 있음을 입증했습니다. 본 연구는 동적인 스케줄링이 평가 예산이 엄격히 제한된 고비용 시나리오에서 최적화 효율을 높일 수 있음을 검증합니다. 향후 연구로는 대리 모델 풀의 확장, 다양한 MOEA 아키텍처와의 통합, 그리고 실제 공학 과제에 대한 프레임워크 검증 등이 제시되었습니다.