기술 요약: NeurGO – 메타 블랙박스 최적화를 위한 엘리트 후보 생성 학습

1. 문제 정의

본 논문은 목적 함수 $f: \Omega \to \mathbb{R}$에 접근할 수 있으나 기울기(gradient)를 구할 수 없고, 평가 예산($B_{max}$)이 엄격히 제한된 목적 함수 평가를 통해서만 접근 가능한 클래스인 고비용 블랙박스 최적화(Expensive Black-Box Optimization, EBBO) 문제를 다룹다. 이러한 시나리오는 하이퍼파라미터 튜닝 및 공학 설계에서 흔히 발생한다.

핵심 과제는 가능한 최소한의 함수 평가를 통해 전역 최적해(global optimum)에 접근하는 것이다. 기존 패러다임들은 다음과 같은 구체적인 한계에 직면해 있다:

• 베이지안 최적화(BO) 및 대리 모델 기반 진화 알고리즘(SAEA): 이들은 적합도 지형(fitness landscape)을 근사하기 위해 대리 모델(예: 가우시안 프로세스)을 구축하는 데 의존한다. 그러나 예산이 빠듯한 상황에서는 제한된 데이터로 인해 부정확한 대리 모델이 생성되는 "콜드 스타트(cold-start)" 문제와 모델 편향이 발생하며, 이는 탐색이 지역 최적점(local optima)에 갇히게 만들 수 있다. 또한, 매 새로운 태스크마다 대리 모델을 처음부터 학습시키는 것은 태스크 간 전이 학습(cross-task generalization)을 제한한다.
• 전통적인 메타 블랙박스 최적화(MetaBBO): 이러한 방법들은 전이 가능한 탐색 전략을 학습하지만, 많은 경우 진화 알고리즘(EA)을 기저의 최적화 도구로 취급한다. 결과적으로, 많은 수가 열등한 오프스프링(offspring) 풀을 생성하고 평가하는 데 상당한 예산을 낭비하게 된다.

2. 방법론: NeurGO

저자들은 과거의 인구 상태(population states)로부터 소수의 고품질("엘리트") 후보를 직접 합성하도록 설계된 생성형 메타BBO 프레임워크인 NeurGO를 제안한다. 이 방식은 대규모 오프스프링 풀이나 온라인 대리 모델 피팅의 필요성을 우회한다. 프레임워크는 세 가지 주요 단계로 구성된다:

2.1 아키텍처 개요

NeurGO는 트랜스포머(Transformer) 백본을 기반으로 하며 두 개의 핵심 모듈로 구성된다:

1. 인구 컨텍스트 인코더 (Population Context Encoder, PCE): 현재의 인구 상태를 진화적 추세를 포착하는 고차원 표현으로 인코딩한다.
2. 엘리트 합성 디코더 (Elite Synthesis Decoder, ESD): 인코딩된 표현을 비싼 평가를 위한 $k$개의 후보 솔루션 배치로 매핑한다 ($k \ll N$, 여기서 $N$은 인구 크기).

2.2 인구 컨텍스트 인코더 (PCE)

PCE는 전역적 상호작용을 포착하기 위해 인구를 하나의 시퀀스로 처리한다.

• 인구 정렬 (Population Sorting): 인구를 적합도(fitness)에 따라 오름차순으로 정렬한다. 이는 특정 적합도 척도에 의존하지 않고 고성능 개체를 우선시하는 암시적 상대적 위치 인코딩 역할을 한다.
• 순위-적합도 이중 인지 어텐션 (Rank-Fitness Dual-Aware Attention): 표준적인 학습된 투영 대신, 다음과 같은 구조를 사용하여 어텐션을 구성한다:
  • 적합도 브랜치 (Fitness Branch): 정규화된 적합도 값($\tilde{F}_t$)을 투영하여 적합도 관계에 따라 정렬된 인구를 집계하는 적합도 인지 쿼리(query)와 키(key)를 생성한다.
  • 순위 브랜치 (Rank Branch): 학습 가능한 행렬($A_{rank}$)이 순서 정보를 포착한다.
  • 이 브랜치들은 학습 가능한 가중치($\lambda_{rank}, \lambda_{fit}$)를 통해 융합된다.
• 섭동을 포함한 잔차 융합 (Residual Fusion with Perturbation): 조기 수렴을 방지하고 탐색을 장려하기 위해, 피드 포워드 네트워크(FFN)가 어텐션 출력에 학습 가능한 비선형 섭동을 도입한다. 최종적으로 정제된 표현($X^{ref}_t$)은 원래의 정렬된 인구, 어텐션으로 집계된 특징, 그리고 FFN에 의해 섭동된 특징의 잔차 융합물이다.

2.3 엘리트 합성 디코더 (ESD)

ESD는 정제된 인구 표현으로부터 직접 $k$개의 엘리트 후보를 생성한다.

• 다중 소스 특징 결합 (Multi-Source Feature Concatenation): 디코더는 세 가지 소스를 결합한다: 정렬된 원시 인구($X^{sort}_t$), 정규화된 적합도($\tilde{F}_t$), 그리고 정제된 표현($X^{ref}_t$).
• 가중 집계 (Weighted Aggregation): MLP($g_\phi$)는 각 개체가 $k$개의 후보 각각에 기여하는 정도를 정량화하는 점수 행렬을 계산한다. 소프트맥스(Softmax) 정규화를 통해 기여 가중치($P_t$)를 얻는다. 최종 후보($X^{cand}_t$)는 이 가중치를 사용하여 정제된 인구 표현을 집계함으로써 합성된다: $X^{cand}_t = P_t^\top X^{ref}_t$. 이는 후보들이 현재 인구 분포 내에 머물도록 하여, 분포 외(out-of-distribution) 제안을 방지한다.

2.4 학습 목표: 품질-다양성 (Quality-Diversity, QD) 손실

NeurGO는 솔루션의 품질과 탐색 다양성의 균형을 맞추기 위해 복합 손실 함수를 사용하여 메타 학습된다:

• 품질 손실 ($L_{qual}$): 합성된 후보 세트 중 최적의 후보가 부모 인구의 최적 개체보다 얼마나 개선되었는지를 측정한다. 적합도 값은 태스크 간의 척도 차이를 처리하기 위해 z-score 정규화를 거친다.
• 다양성 손실 ($L_{div}$): 합성된 후보들 사이의 평균 쌍 유클리드 거리(mean pairwise Euclidean distance)를 최대화함으로써 후보들이 결정 공간(decision space)에 퍼지도록 유도한다. 이때 거리는 탐색 공간의 경계값으로 정규화된다.
• 전체 목적 함수: $L_{QD} = L_{qual} + \lambda L_{div}$이며, 여기서 $\lambda$는 훈련 중에 선형적으로 감소하여 탐색(exploration)에서 수렴(convergence)으로 초점을 전환한다.

3. 주요 기여

1. 생성형 메타BBO 프레임워크: NeurGO는 인구 상태로부터 엘리트 후보를 직접 합성하는 패러다임을 도입하여, 값비싼 최적화 설정에서 대규모 오프스프링 풀을 생성하는 비효율성을 제거한다.
2. QD 목적 함수를 갖춘 엔드투엔드 아키텍처: 본 논문은 커스텀 손실 함수를 통해 수렴 속도(품질)와 탐색 다양성을 명시적으로 균형 있게 조절하면서, 인구 상태에서 솔루션으로의 매핑을 학습하는 통합된 생성 모델을 제시한다.
3. 경험적 검증: 광범에한 벤치마킹을 통해 NeurGO가 엄격한 평가 예산 하에서 클래식 EA, SAEA, BO 및 기타 메타BBO 베이스라인보다 더 빠른 수렴 속도와 우수한 최종 성능을 달음을 입증하였다.

4. 실험 결과

저자들은 차원 $D=10$ 및 엄격한 예산 $MaxFE = 300$ 조건에서 CEC 2008 및 COCO BBOB 테스트 스위트를 사용하여 NeurGO를 평가하였다.

• EA와의 비교: NeurGO는 대부분의 테스트 함수에서 클래식 진화 알고리즘(DE, GA, SHADE, CMA-ES)보다 뛰어난 성능을 보였다. 저자들은 이를 저품질 개체에 대한 평가를 피하고 타겟팅된 엘리트 후보를 생성하는 NeurGO의 능력 덕분이라고 설명한다.
• SAEA 및 BO와의 비교: NeurGO는 대리 모델 기반 방법(EGO, SACOSO, TurBO, HEBO)보다 더 높은 안정성과 성능을 보였다. BO 방법이 특정 복잡한 함수에서 경쟁력이 있을 수 있지만, NeurGO는 특히 제한된 데이터 하에서의 온라인 대리 모델 피팅과 관련된 노이즈 및 편향을 피함으로써 더 일관된 우위를 보여주었다.
• MetaBBO와의 비교: NeurGO는 다른 학습 기반 최적화 도구(B2Opt, LGA, LES)보다 더 나은 최종 성능과 안정성을 달성했다. 특히 CEC 메타 테스트 함수에서 강력한 교차 함수 일반화 능력을 보였다.
• 수렴 분석: 수렴 플롯은 NeurGO가 최적화 과정 초기(약 100회의 평가 시점)에 급격한 적합도 하락을 달성함을 보여주었으며, 이는 메타 학습된 사전 지식(prior)이 유망한 영역을 효과적으로 국소화(localize)하고 있음을 시사한다.
• 절제 연구 (Ablation Study): PCE 모듈 또는 그 내부 구성 요소(어텐션, FFN, 잔차 연결)를 제거하면 성능이 크게 저하되었으며, 이는 단순한 재조합에 의존하기보다 풍부한 인구 컨텍스트 표현을 학습하는 것이 필수적임을 확인시켜 준다.

5. 의의 및 주장

본 논문은 NeurGO가 목적 함수를 모델링하는 것(대리 모델)에서 탐색 과정을 모델링하는 것(생성적 사전 지식)으로 초점을 전환함으로써 전통적인 고비용 최적화 패러다임에 대한 강력한 대안을 제공한다고 주장한다.

• 효율성: 매 반복마다 소수의 고가치 후보만을 합성함으로써, NeurGO는 모든 값비싼 평가의 효용을 극대화한다.
• 일반화: 프레임워크는 교차 태스크 훈련을 활용하여 전이 가능한 탐색 사전 지식을 학습하며, 이를 통해 태스크별 하이퍼파라미터 튜닝이나 정확한 온라인 대리 모델에 대한 의존도를 낮춘다.
• 강건성: 이 방법은 저예산 환경에서 대리 모델 기반 방법들을 괴롭히는 "콜드 스타트" 문제와 모델 편향에 덜 민감하다.

저자들은 결론적으로 NeurGO가 효율적인 블랙박스 최적화의 병목 현상을 효과적으로 해결하며, 전통적인 방법들이 예산 제약으로 인해 어려움을 겪는 지점에서 안정적이고 고성능의 솔루션을 제공한다고 밝히고 있다.