기술 요약: SMOG – 다목적 베이지안 최적화를 위한 확장 가능 메타러닝

문제 정의

다목적 최적화 (MOO) 는 경쟁하는 목표 (예: 성능 대 비용) 가 있는 문제에 대한 파레토 최적 해를 찾는 것을 포함합니다. 산업 튜닝, 신소재 발견, 머신러닝 시스템 설계와 같은 많은 실제 응용 분야에서 이러한 목표를 평가하는 비용이 높기 때문에, 베이지안 최적화 (BO) 가 효과적인 저데이터 환경이 발생합니다.

조직들은 종종 관련 최적화 작업에서 역사적 데이터를 보유하고 있지만, 다목적 설정을 위해 메타러닝을 통해 이러한 데이터를 활용하는 것은 아직 충분히 탐구되지 않았습니다. 기존 접근 방식은 세 가지 주요 과제를 직면하고 있습니다:

1. 불확실성 인지 전이: MOO 에서 "최적"은 파레토 집합이며, 의사결정은 불확실성 인지 기준 (예: 하이퍼볼륨) 에 의존합니다. 지식 전이는 불일치하는 작업으로부터의 과도한 확신 편향을 피하기 위해 메타 작업 불확실성을 전파해야 합니다.
2. 확장성: 완전한 결합 다작업 가우시안 프로세스 (GP) 모델은 원칙적이지만, 관측치 총수에 대한 3 차 스케일링으로 인해 많은 메타 작업에 대해 계산적으로 불가능합니다.
3. 목표 간 상관관계: MOO 의 목표들은 종종 상관되어 있습니다. 이를 독립적으로 취급하면 귀중한 정보가 낭비되지만, BO 를 위한 대부분의 확장 가능한 메타러닝 방법은 단일 목표 전이를 위해 설계되어 이러한 의존성을 무시합니다.

현재 방법들은 원칙적인 불확실성 전이가 부족하거나, 메타 작업 수에 따라 확장되지 못하거나, 목표 간 상관관계를 무시합니다.

방법론: SMOG

저자들은 다목적 가우시안 프로세스를 사용하여 메타러닝과 다목적 최적화를 결합한 대리 모델인 SMOG(Scalable Meta-Learning for Multi-Objective Gaussian processes) 를 제안합니다. SMOG 는 완전한 베이지안 불확실성 전파, 메타 작업 수에 대한 선형 스케일링, 그리고 목표 간 상관관계를 학습할 수 있는 능력을 충족하도록 설계되었습니다.

핵심 아키텍처

SMOG 는 ScaML-GP 프레임워크를 다출력 설정으로 확장합니다. 이는 대상 작업 함수 $f_t$를 스케일링된 메타 작업 함수의 합과 잔여 대상 고유 함수의 합으로 모델링합니다:
$$f_{t,o} = \tilde{f}_{t,o} + \sum_{m \in \mathcal{M}} w_{m,o} f_{m,o}$$
여기서 $w_{m,o}$는 목표별 가중치입니다.

이 방법은 세 가지 구조적 가정에 의존합니다:

1. 구별된 메타 작업 독립성: 메타 작업 모델은 서로 상관관계가 없습니다 ($m \neq m'$인 경우 $\text{Cov}(f_{m,o}, f_{m',o'}) = 0$). 이는 확장성을 보장합니다.
2. 구조화된 결합: 대상 작업은 목표별 가중치를 가진 메타 작업 함수의 선형 결합을 통해 메타 작업과 결합됩니다. 중요한 점은 잔여 대상 함수가 메타 작업 함수와 상관관계가 없다는 것입니다. 이는 하이퍼파라미터 수가 작업 수에 따라 2 차적으로 증가하는 것을 방지합니다.
3. 모듈형 하이퍼파라미터 추론: 메타 작업 하이퍼파라미터는 대상 데이터와 독립적으로 추론됩니다 (피드백 없음). 이는 모듈형 사후 분포를 가능하게 합니다.

SMOG 커널

모든 작업과 목표에 대한 결합 커널은 희소하도록 구성됩니다. 위의 가정을 적용하면 작업과 목표 간의 상관관계를 모델링하는 코리조널화 행렬이 희소해져, 커널 파라미터의 수가 $O(M^3 O^3)$에서 $O(M O^3)$으로 감소합니다. 여기서 $M$은 메타 작업 수이고 $O$는 목표 수입니다.

메타데이터에 조건을 부여하면 대상 작업에 대한 폐쇄형 사전 분포가 도출됩니다:

• 평균: 개별 메타 작업 GP 의 사후 평균의 가중 합.
• 공분산: 대상의 잔여 커널과 메타 작업 사후 공분산의 가중 합. 가중치는 $w_{m,o} w_{m,o'}$의 곱이며, 이는 전체 목표 - 목표 공분산 블록을 명시적으로 결합합니다.

등상관 커널

제한된 데이터로 대상 작업의 잔여 상관관계를 처리하기 위해 SMOG 는 목표 - 목표 결합 행렬 $K_{Obj}$에 등상관 커널 구조를 사용합니다. 이는 자유 파라미터를 $O^2$에서 $O+1$(모든 쌍에 공유되는 단일 상관 파라미터 $\rho$와 개별 스케일 $\sigma_i$) 로 제한하여 저데이터 환경에서의 식별 가능성을 보장합니다.

알고리즘

학습 과정 (알고리즘 1) 은 다음을 포함합니다:

1. 각 메타 작업에 대해 개별 다출력 GP 를 학습하고 하이퍼파라미터를 최적화합니다.
2. 메타 작업 사후 분포를 캐시하고 가중 합을 계산하여 대상 작업 사전 분포를 구성합니다.
3. 대상 작업 하이퍼파라미터를 최적화합니다.
4. 사전 분포를 대상 데이터에 조건화하여 최종 사후 분포를 얻습니다.

계산 복잡도는 메타 작업 수 $M$에 대해 선형으로 스케일링되므로, 많은 관련 작업이 있는 시나리오에서 실행 가능합니다.

주요 기여

1. 첫 번째 통합 대리 모델: SMOG 는 저데이터 환경에서 메타 작업 데이터에 대한 완전한 베이지안 불확실성 전파, 메타 작업 수에 대한 선형 스케일링, 그리고 목표 간 학습된 상관관계를 동시에 제공하는 첫 번째 대리 모델입니다.
2. 이론적 보장: 논문은 제안된 커널이 유효 (양수 준정부호) 하며, 메타데이터에 대한 조건 부여가 폐쇄형 표현을 가진 유효한 GP 사후 분포를 산출함을 증명합니다.
3. 실용적 통합: 결과적으로 생성된 대리 모델은 표준 다목적 BO 획득 함수 (예: LogExpectedHypervolumeImprovement) 와 원활하게 통합됩니다.
4. 절차 제거 및 분석: 저자들은 단일 목표 ScaML-GP 가 SMOG 의 특수한 경우임을 보여주고 목표 간 결합의 영향을 분석합니다.

실험 결과

저자들은 SMOG 를 비메타러닝 GP(Ind. GP, MO-GP), MOO 에 적응된 단일 목표 메타러닝 방법 (Ind. ScaML-GP, Ind. RGPE, Ind. SGPT, Ind. ABLR, Ind. GC3P), 그리고 유일한 다른 메타러닝 MOO 방법 (MO-TPE) 을 포함한 광범위한 베이스라인과 비교 평가했습니다.

벤치마크:

• 합성: 2 개 및 4 개의 목표를 가진 Branin-Currin 및 Hartmann6 함수를 적응화.
• 실제 세계: HPOBench (4 개 데이터셋에 대한 신경망의 하이퍼파라미터 최적화) 및 지형 벤치마크 (UAV 궤적 최적화).

결과:

• 성능: SMOG 는 모든 합성 및 실제 세계 벤치마크에서 일관되게 최저 또는 최저에 가까운 누적 하이퍼볼륨 후회를 달성합니다.
• 메타러닝 대 독립성: 목표를 독립적으로 취급하는 것 (Ind. SMOG) 은 메타러닝의 이점 대부분을 포착하지만, SMOG 는 더 높은 목표 수를 가진 문제 (예: 4 개의 목표를 가진 Hartmann6) 에서 뚜렷한 이점을 보여주어 목표 간 상관관계 모델링의 이점을 확인시켜 줍니다.
• 강건성: SMOG 는 다양한 메타 작업 수와 관측치 수에서 강건하게 작동합니다. 일부 베이스라인 (예: Ind. ABLR, Ind. SGPT) 은 특정 데이터셋에서 SMOG 를 능가하지만 다른 곳에서는 종종 어려움을 겪는 반면, SMOG 는 전반적인 강력한 성능을 유지합니다.
• 대리 모델 품질: SMOG 는 비메타러닝 베이스라인에 비해 Root Mean Squared Error(RMSE) 를 크게 줄입니다. 보정 (Negative Log Predictive Density 로 측정) 은 경쟁력이 있지만, 매개변수 전이 방법은 때때로 매끄러운 합성 함수에서 더 나은 보정을 달성합니다.

중요성과 주장

이 논문은 메타러닝과 다목적 최적화를 결합하는 실용적이고 원칙적인 알고리즘을 제공함으로써 문헌의 중요한 공백을 메운다고 주장합니다.

• 효율성: 메타데이터 불확실성을 전파하고 목표 간 상관관계를 활용함으로써 SMOG 는 샘플 효율성을 향상시켜 실무자가 더 적은 비용이 드는 평가를 통해 좋은 해를 찾을 수 있게 합니다.
• 확장성: 메타 작업 수에 대한 선형 스케일링은 완전히 결합된 GP 모델에 대해 계산적으로 금지되었던 대규모 역사적 최적화 데이터 저장소의 사용을 가능하게 합니다.
• 적용 가능성: 이 방법은 경쟁하는 목표 간의 트레이드오프가 흔하고 데이터가 부족한 항공우주 공학, 재료 과학, 머신러닝 시스템 설계와 같은 고영향 분야에 직접 적용 가능합니다.

저자들은 방법론이 작업들이 동일한 검색 공간과 목표 공간을 공유한다고 가정하며, 충분한 데이터가 있을 때 신경망 기반 모델에 비해 유연성이 제한될 수 있는 가정에 의존한다고 인정합니다. 그러나 표적화된 희소하고 노이즈가 많은 데이터 환경에서 SMOG 는 강건하고 이론적으로 근거된 해결책을 제공합니다.