기술 요약: ParetoPilot

문제 정의

오프라인 다목적 최적화(Offline Multi-Objective Optimization, Offline MOO)는 비용이 많이 들거나 제한적인 환경 상호작용을 피하면서, 오직 정적인 사전 수집 데이터셋만을 사용하여 새로운 파레토 최적(Pareto-optimal) 설계를 발견하는 것을 목표로 합니다. 이는 약물 발견, 재료 설계, 하드웨어 아키텍처 탐색과 같이 함수 평가가 까다로운 도메인에서 매우 중요합니다.

핵심 과제는 수렴성(해를 관측되지 않은 진정한 파레토 프런트로 밀어넣는 것)과 다양성(목적 함수의 트레이드오프 공간 전반에 걸쳐 폭넓은 커버리지를 확보하는 것)을 동시에 달ınız하는 것입니다. 현재의 최첨단 방식들은 주로 생성 과정을 가이드하기 위해 외부 대리 모델(예: 프록시 회귀 모델 또는 선호도 분류기)에 의존합니다. 이러한 의존성은 세 가지 주요 병목 현상을 초래합니다:

1. 계산 오버헤드: 각 목적 함수에 대해 별도의 대리 모델을 학습시키는 것은 광범위한 하이퍼파라미터 튜닝과 자원을 요구합니다.
2. 신뢰할 수 없는 외삽(Extrapolation): 외부 프록시는 분포 외(OOD) 설계에 대해 기만적인 점수를 생성할 수 있으며, 이는 매니폴드 붕괴(manifold collapse)와 유효하지 않은 솔루션으로 이어집니다.
3. 개인정보 보호 및 배포 제약: 작업별 프록시를 학습시키려면 원본 오프라인 데이터셋에 대한 지속적인 접근이 필요하며, 이는 모델을 가중치 형태로만 배포하는 파운데이션 모델 패러다임과 엄격한 데이터 개인정보 보호 규정에도 위배됩니다.

방법론: ParetoPilot과 IPG 엔진

저자들은 외부 보조 모델의 필요성을 제거한 제로-서로게이트(zero-surrogate) 확산 프레임워크인 ParetoPilot을 제안합니다. 대신, 이 모델은 사전 학습된 조건부 확산 모델 내에 내재된 조건부 사전 확률(conditional priors)을 활용합니다. 이 프레임워크는 역방향 생성 과정의 무조건부 노이즈 제거 단계 내에 새로운 추론-섭동-가이드(Infer-Perturb-Guide, IPG) 엔진을 인터리빙(interleaving)하여 작동합니다.

IPG 엔진은 확산 과정 중 특정 간격마다 세 가지 순차적 연산을 실행합니다:

1. 추론(Infer): 암시적 매니폴드 앵커링(Implicit Manifold Anchoring)

외부 회귀 모델을 사용하는 대신, 이 프레임워크는 노이즈가 섞인 샘플 $x_t$에 대한 즉각적인 목적 함수 방향($y^*_t$)을 암시적으로 추론합니다.

• 메커니즘: 조건부 노이즈 예측($\epsilon_\theta(x_t, y, t)$)과 무조건부 노이즈 예측($\epsilon_\theta(x_t, \emptyset, t)$) 사이의 거리를 측정하는 정렬 손실($L_{align}$)을 최소화합니다.
• 안정화: 큰 타임스텝에서의 노이즈 예측의 고주파 성질(stochasticity)에 대응하기 위해, 이 방법은 전역적이고 리셋되지 않는 Adam 옵티마이저를 채택합니다. 옵티마이저의 모멘텀 상태를 확산 단계 전반에 걸쳐 유지함으로써, 이는 추론된 앵커 $y^*_t$의 최적화 궤적을 부드럽게 만드는 자연스러운 저역 통과 필터(low-pass filter) 역할을 합니다.

2. 섭동(Perturb): 직교 유체 역학(Orthogonal Fluid Dynamics)

앵커 $y^*_t$가 설정되면, 엔진은 후보군들을 파레토 프런트로 유도하면서 다양성을 유지하기 위해 섭동 벡터를 합성합니다. 이는 수학적으로 직교화된 유체 역학 시스템을 통해 이루어집니다:

• 웜업 단계(Warmup Phase): 앵커가 안정화되고 초기 매니폴드 붕괴를 방지할 수 있도록 섭동은 $t \le T - T_{warmup}$인 단계로 제한됩니다.
• 수렴력(Convergence Force, 평행 중력): 통합된 평행 중력장($\vec{d}_{conv}$)은 모든 솔루션을 최적 영역으로 유도하는 동시에, 무조건부 분포의 기존 다양성을 유지하기 위해 상대적인 횡적 거리를 보존합니다.
• 다양성력(Diversity Force, 에지 인지 반발력): 극단적인 트레이드오프 설계를 보장하기 위해, 경계 근처의 솔루션에 "에지니스(edgeness)" 승수($E_i$)가 적용되어, 이들을 바깥쪽으로 밀어내는 반발력($\vec{F}_{rep}$)을 증폭시킵니다.
• 직교화(Orthogonalization): 반발력이 수렴을 방해하지 않도록, 반발 벡터는 **그람-슈미트 직교화(Gram-Schmidt orthogonalization)**를 사용하여 중력장의 직교 보공간(orthogonal complement) 위로 투영됩니다. 이는 탐색(다양성)과 착취(수렴)를 엄격하게 분리합니다.
• 동적 어닐링(Dynamic Annealing): 시간적 스케줄이 수렴력과 다양성 힘을 혼합하여, 프로세스가 $t=0$에 가까워짐에 따라 수렴 중심에서 다양성 중심으로(또는 그 반대로) 전환합니다.

3. 가이드(Guide): CFG 외삽

섭동된 타겟 조건($y^{target}_t$)은 표준 분류기 없는 가이던스(Classifier-Free Guidance, CFG) 공식에 직접 입력됩니다.

• 수정된 노이즈 예측 $\tilde{\epsilon}_t$는 다음과 같이 계산됩니다:
  $$\tilde{\epsilon}_t = \epsilon_\theta(x_t, \emptyset, t) + w_t \cdot (\epsilon_\theta(x_t, y^{target}_t, t) - \epsilon_\theta(x_t, \emptyset, t))$$
• 가이던스 스케일 $w_t$는 섭동 스케줄과 함께 선형 보간됩니다. 이를 통해 모델은 무조건부 분포에 의해 정의된 유효한 데이터 매니폴드를 벗어나지 않으면서도, 다양하고 파레토 최적인 영역으로 생성을 유도할 수 있습니다.

주요 기여

1. 제로-서로게이트 프레임워크: ParetoPilot은 사전 학습된 확산 모델의 내재된 조건부 정보를 직접 활용하여 외부 프록시 모델의 학습 없이 오프라인 MOO를 수행하는 최초의 프레임워크입니다.
2. IPG 엔진: 암시적 조건을 추론하고 직교화된 유체력을 적용하여 생성 궤적을 동적으로 변경하는 혁신적인 메커니즘입니다. 이는 데이터 프라이버시를 준수하면서도 명시적으로 디노이징 과정을 가이드합니다.
3. 플러그 앤 플레이 기능: 이 방법은 원본 데이터에 대한 접근 없이 학습된 분포에 적용될 수 있는 모듈로서 작동하며, 이는 실제 다운스트림 배포 시나리오와 일치합니다.

실험 결과

저자들은 네 가지 도메인(합성 함수, 다목적 신경 구조 탐색(MO-NAS), 과학적 설계(SciDesign), 실세계 공학(RE))에 걸친 51개의 연속적 오프라인 MOO 태스크에서 ParetoPilot을 평가했습니다.

• 성능: ParetoPilot은 모든 태스크에서 평균 순위 6.81과 하이퍼볼륨(Hypervolume, HV) 10.46% 향상을 달성하였으며, IOM, PcGrad와 같은 서로게이트 기반 포워드 방식 및 ParetoFlow, PGD-MOO와 같은 생성적 인버스 방식 등 14개의 최첨단 베이스라인을 능가했습니다.
• 강건성: 서로게이트 기반 방식들이 OOD 평가 오류로 인해 복잡한 이산/구조적 태스크(MO-NAS, SciDesign)에서 심각한 성능 저하(음수의 HV 개선)를 겪은 것과 달리, ParetoPilot은 견고한 성능을 유지했습니다. 무조건부 확산 단계가 궤적을 유효한 데이터 매니폴드 내로 제한함으로써, 터무니없는 분자나 깨진 아키텍처의 합성을 방지했습니다.
• 절제 연구(Ablation Studies): 핵심 구성 요소의 제거를 통해 그 필요성을 확인했습니다:
  • Smoothing 미적용 시: 필터링되지 않은 노이즈로 인한 궤적 진동 때문에 성능이 크게 하락했습니다(순위 3.08).
  • Edgeness 미적용 시: 시스템이 극단적인 트레이드오프 설계를 효율적으로 발견하지 못했습니다.
  • 직교화 미적용 시: 수렴력과 다양성 힘이 서로를 상쇄하여 전체적인 HV 개선이 감소했습니다.

의의 및 주장

본 논문은 ParetoPilot이 데이터 프라이시, 계산 효율성, 그리고 최적화 신뢰성 사이의 긴장을 해결함으로써 Offline MOO의 패러다임 전환을 나타낸다고 주장합니다.

• 프라이버시 보존: 외부 서로게이트를 제거함으로써, 프록시 학습을 위한 원본 오프라인 데이터셋에 대한 재접근이 필요하지 않아 데이터 프라이버시를 엄격히 보호합니다.
• 신뢰성: 서로게이트 기반 방식에서 흔히 발생하는 "기만적 평가"를 피하며, 이는 OOD 영역 외삽 시 발생하는 매니폴드 붕괴 문제를 해결합니다.
• 배포 가능성: 이 접근 방식은 모델을 가중치 형태로만 공유하면서도 복잡한 최적화 작업을 수행할 수 있게 하여 파운데이션 모델 패러다임과 일치합니다.

저자들은 한계점으로, 생성 품질이 기본 확산 모델이 초기 데이터 분포를 포착하는 능력에 본질적으로 의존한다는 점과, IPG 엔진이 단순한 포워드 서로게이트 평가에 비해 추가적인 추론 지연 시간을 발생시킨다는 점을 인정했습니다. 그러나 이들은 프록시 학습 오버헤드의 제거와 결과의 강건함을 고려할 때 이러한 트레이드오프가 정당하다고 주장합니다.