기술 요약: MAdam: Metric-Aware Multi-Objective Adam

1. 문제 정의

다중 목적 최적화(Multi-Objective Optimization, MOO)는 다중 작업 학습(MTL), 물리 정보 신경망(PINNs), 의료 영상 등 많은 머신러닝 작업의 기초가 됩니다. 손실 균형(loss-balancing), 그래디언트 균형(gradient-balancing), 파레토 기반(Pareto-based) 계열로 분류되는 다양한 MOO 솔버들이 존재하지만, 이들은 거의 예외 없이 업데이트 단계의 실행을 Adam 옵티마이저에 위임합니다.

저자들은 이러한 MOO 솔버의 의도와 Adam의 실행 사이의 체계적인 단절을 식별하였으며, 이는 두 가지 구체적인 불일치(mismatch)를 초래합니다:

1. 가중치 불일치(Weighting Mismatch): 선호도 벡터 $\lambda(t)$가 시간에 따라 변하는 방법(예: 손실 균형 또는 파레토 프런트 스위핑)에서, Adam의 2차 모멘트 지수 이동 평균(EMA)은 시간 가변적인 선호도를 그래디언트 통계와 얽히게 만듭니다. Adam은 현재의 선호도 $\lambda(t)$를 그래디언트 통계에 적용하는 대신, 선호도를 이력 평균화된 양에 흡수시켜 버립니다. 이는 의도된 선호도 전략을 무력화하며, 뚜렷한 파레토 트레이드오프를 거의 균일한 혼합물로 붕괴시키고, 옵티마이저가 선호도 변화를 따라가는 것을 지연시킵니다.
2. 기하학적 불일치(Geometric Mismatch): MOO 솔버는 일반적으로 조율된 하강 방향(reconciled descent directions)을 구성할 때(예: 선형 스칼라화 사용 시) 가공되지 않은 유클리드 기하학(raw Euclidean geometry)을 가정합니다. 그러나 Adam은 모든 업데이트에 대해 자신의 적응형 대각 메트릭(adaptive diagonal metric, 2차 모멘트 분모로부터 유도됨)을 암묵적으로 부과합니다. 이 메트릭은 솔버가 가정한 유클리드 기하학을 왜곡하여, 정렬된 목적 함수들을 상충하는 것으로 보이게 하거나 그 반대의 상황을 만들어, 결과적으로 목적 함수당 실질적인 손실 변화를 변화시킵니다.

2. 방법론: MAdam

저자들은 기존 MOO 솔버나 Adam 옵티마이저를 수정하지 않고도 이러한 문제를 해결하기 위해, 솔버의 출력을 전처리하는 "드롭인(drop-in)" 래퍼인 **MAdam (Metric-Aware Multi-Objective Adam)**을 제안합니다.

이론적 토대

저자들은 MOO 업데이트를 위한 올바른 곡률(curvature)을 도출합니다. 그들은 적절한 메트릭이 활성 선호도 $\lambda(t)$에서의 스칼라화된 목적 함수의 **선호도 조건부 대각 피셔 정보 행렬(preference-conditioned diagonal Fisher information matrix)**이라고 주장합니다.

• $g_i$를 $i$번째 목적 함수의 그래디언트라고 합시다.
• 스칼라화된 그래디언트는 $g_\lambda = \sum \lambda_i g_i$입니다.
• 올바른 곡률 추정치는 $C_\lambda = \mathbb{E}[g_\lambda \odot g_\lambda] = \sum_{i,j} \lambda_i \lambda_j F_{ij}$이며, 여기서 $F_{ij}$는 교차 목적 그래디언트 상관관계(Fisher blocks)를 나타냅니다.
• $\mathbb{E}[(\sum \lambda_i g_i) \odot (\sum \lambda_j g_j)]$를 계산하고 선호도와 그래디언트의 곱을 함께 평균내는 Adam과 달리, MAdam은 현재의 선호도 $\lambda(t)$를 기대값 외부에서 고정하여 각 교차 모멘트의 기여도를 동적으로 제어할 수 있게 합니다.

알고리즘 구현

MAdam은 솔버-Adam 파이프라인 내에서 래퍼로 작동합니다:

1. 솔버 단계(Solver Step): MOO 솔버가 조율된 방향 $d(t) = \sum \lambda_i(t) g_i(t)$를 생성합니다.
2. 메트릭 추정(Metric Estimation): MAdam은 EMAs를 사용하여 교차 목적 피셔 블록 $F_{ij}$의 온라인 추정치를 유지합니다. 계산 비용을 $O(C)$에서 매 단계당 $O(1)$의 역전파(backward pass)로 줄이기 위해, 매 반복마다 무작위로 샘플링된 태스크 쌍 $(i, j)$에 해당하는 피셔 항목만을 업데이트하는 **확률적 쌍 샘플링(stochastic pair sampling)**을 채택합니다.
3. 전처리(Preconditioning): 조율된 방향은 추정된 메트릭의 역행렬에 의해 전처리됩니다: $\tilde{d}(t) = M_\lambda(t)^{-1} d(t)$, 여기서 $M_\lambda(t) = \text{Diag}(\sqrt{C_\lambda + \epsilon})$입니다.
4. 최적화(Optimization): 이 전처리된 방향 $\tilde{d}(t)$가 Adam에 입력됩니다.
   • 입력이 선호도 조건부 메트릭에 의해 "백색화(whitened)"되었기 때문에, 이 입력에 대한 Adam의 2차 모멘트 EMA는 항등 행렬($M_{Adam} \approx I$)로 수렴합니다.
   • 결과적으로, 실질적인 업데이트는 $\theta(t+1) = \theta(t) - \eta M_\lambda(t)^{-1} d(t)$가 되며, Adam의 이력 편향된 메트릭이 아닌 선호도 조건부 메트릭에 의해 완전히 제어됩니다.
5. 웜업(Warmup): 초기화 단계에서 램프업 계수 $\alpha(t)$를 사용하여 항등 행렬(표준 Adam)과 전체 MAdam 메트릭 사이를 블렌딩함으로써, 노이즈가 많은 초기 피셔 추정치로 인한 불안정성을 방지합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 솔버-Adam 불일치 진단: 저자들은 표준 MOO 파이프라인에서의 두 가지 실패 모드를 공식적으로 증명했습니다: 시간 가변적 선호도를 무력화하는 가중치 불일치(Proposition 1)와 솔버가 가정한 유클리드 기하학을 왜곡하는 기하학적 불일치(Proposition 2).
2. 메트릭 인식 그래디언트 전처리: 이들은 선호도 조건부 대각 피셔를 도출하고 이를 플러그 앤 플레이(plug-and-play) 방식의 전처리기로 구현했습니다. 이 메커즘은 솔버 로직이나 옵티마이저의 내부 상태를 변경하지 않고 두 가지 불일치를 동시에 해결합니다.
3. 실험적 검증: 이 방법은 다양한 도메인에서 검증되었으며, 다양한 MOO 솔버와 결합했을 때 표준 Adam보다 일관된 개선을 보여주었습니다.

4. 실험 결과

저자들은 네 가지 영역에서 MAdam을 평가했습니다: 다중 작업 학습(MTL), 파레토 프런트 복구, 물리 정보 신경망(PINNs), 의료 영상 분석(MIA).

• 다중 작업 학습 (MTL): MultiMNIST, SARCOS, UTKFace, Cityscapes, NYUv2를 포함한 벤치마크에서 MAdam은 베이스 솔버(Linear Scalarization, DWA, UW, IMTL, CAGrad) 대비 일관되게 향상된 성능을 보였습니다. 예를 들어, Cityscapes에서 IMTL의 상대적 깊이 오차를 74.2에서 61.8로 줄였습니다.
• 파레토 프런트 복구 (Pareto-front Recovery): MultiMNIST 및 SARCOS에서 파레토 기반 솔버(PaMaL, PaLoRA)와 결합했을 때, MAdam은 하이퍼볼륨(hypervolume)을 개선하고 per-ray 오차를 줄여, 더 높은 다양성과 정확도로 파레토 프런트를 효과적으로 추적했습니다.
• PINNs: PINNacle 벤치마크(20개 PDE)에서 MAdam은 Vanilla, Loss Reweighting, 그리고 적응형 활성화 베이스라인 전반에서 성능을 개선했으며, 특히 손실 스케일이 크게 변하는 기하학적으로 복잡한 도메인과 카오틱 시스템에서 상당한 이득을 얻었습니다.
• 의료 영상 (Medical Imaging): 피부 병변 분할(ISIC2018) 및 뇌 MRI 초해상도(OASIS3)에서 MAdam은 픽셀 단위 메트릭의 저하를 최소화하면서 더 나은 지각적 충실도(LPIPS, DISTS)를 달 achieved 했으며, 더 균형 잡힌 Dice/HD95 프로필을 생성했습니다.
• 절제 연구 (Ablation Studies): 램프업 메커니즘을 제거하면 성능이 베이스라인 아래로 떨어졌으며, 이는 안정적인 피셔 추정치의 필요성을 확인시켜 줍니다. 비대각 피셔 항($F_{ij}$)을 제거하는 것도 이득을 감소시켰으며, 이는 교차 목적 상관관계를 모델링하는 것의 중요성을 강조합니다.

5. 의의 및 한계점

의의:
본 논문은 MAdam이 MOO에서의 솔버-옵티마이저 불일치에 대한 보편적인 드롭인 솔루션임을 주장합니다. 선호도 벡터를 옵티마이저의 이력으로부터 분리하고 기하학적 왜곡을 교정함으로써, 기존 MOO 솔버가 의도한 업데이트를 충실히 수행할 수 있도록 합니다. 이는 MOO 솔버의 이론적 가정(유클리드 기하학, 명시적 선호도)과 적응형 옵티마이저의 실제 현실 사이의 간극을 메웁니다.

한계 및 향-후 연구:
저자들은 두 가지 한계를 인정합니다:

1. 이질적 목적 함수 (Heterogeneous Objectives): 이질적인 목적 함수(예: 분류와 회귀의 결 조합)에 대한 비대각 피셔 블록($F_{ij}$)의 추정은 현재 최적화 수준이 낮아, 종종 작고 노이즈가 많은 값을 생성합니다. 향후 연구는 이러한 교차 목적 곡률을 위한 더 원칙적인 추정기를 개발하는 것을 목표로 합니다.
2. 스칼라화 가정 (Scalarization Assumption): 현재의 유도는 선형 스칼라화($\sum \lambda_i L_i$)를 가정합니다. 저자들은 MAdam을 Tchebycheff 스칼라화와 같은 비선형 스칼라화로 확장할 계획입니다.