Technische Samenvatting: MAdam: Metric-Aware Multi-Objective Adam

1. Probleemstelling

Multi-objective optimalisatie (MOO) is fundamenteel voor veel taken binnen machine learning, waaronder multi-task learning (MTL), physics-informed neural networks (PINNs) en medische beeldverwerking. Hoewel er diverse MOO-solvers bestaan—gecategoriseerd in families van loss-balancing, gradient-balancing en Pareto-gebaseerde methoden—delegeren zij vrijwel universeel de uitvoering van de update-stap aan de Adam-optimizer.

De auteurs identificeren een systematische ontkoppeling tussen de intentie van deze MOO-solvers en de uitvoering door Adam, wat resulteert in twee specifieke mismatches:

1. Wegingsmismatch (Weighting Mismatch): In methoden waarbij de preferentievector $\lambda(t)$ in de loop van de tijd varieert (bijv. loss balancing of Pareto-front sweeping), verstrengelt de tweede-moment exponentiële voortbewegende gemiddelde (EMA) van Adam de tijdsvariërende voorkeuren met de gradiëntstatistieken. In plaats van de huidige voorkeur $\lambda(t)$ toe te passen op de gradiëntstatistieken, absorbeert Adam de voorkeur in een historisch gemiddelde hoeveelheid. Dit marginaliseert de beoogde preferentiestrategie, waardoor onderscheidende Pareto-trade-offs instorten tot een bijna uniforme mengeling en de optimizer achterloopt op de wisselingen in voorkeuren.
2. Geometrische Mismatch (Geometric Mismatch): MOO-solvers gaan er doorgaans van uit dat er een ruwe Euclidische geometrie geldt bij het construeren van verzoende dalingrichtingen (bijv. via lineaire scalarisatie). Echter, Adam legt impliciet zijn eigen adaptieve diagonale metriek op (afgeleid van de tweede-moment denominator) op elke update. Deze metriek vervormt de door de solver veronderstelde Euclidische geometrie, wat potentieel gealigneerde objectieven kan veranderen in schijnbaar conflicterende objectieven, of vice versa, waardoor de gerealiseerde veranderingen per objectieve loss worden beïnvloed.

2. Methodologie: MAdam

Om deze problemen op te lossen zonder de onderliggende MOO-solver of de Adam-optimizer te wijzigen, stellen de auteurs MAdam (Metric-Aware Multi-Objective Adam) voor, een "drop-in" wrapper die de output van de solver voorconditioneert.

Theoretische Fundering

De auteurs leiden de correcte kromming af voor MOO-updates. Zij stellen dat de geschikte metriek de preferentie-geconditioneerde diagonale Fisher-informatie-matrix is van de gescalariseerde objectieve functie bij de actieve preferentie $\lambda(t)$.

• Laat $g_i$ de gradiënt zijn van de $i$-de objectieve functie.
• De gescalariseerde gradiënt is $g_\lambda = \sum \lambda_i g_i$.
• De correcte schattingskromming is $C_\lambda = \mathbb{E}[g_\lambda \odot g_\lambda] = \sum_{i,j} \lambda_i \lambda_j F_{ij}$, waarbij $F_{ij}$ de cross-objectieve gradiëntcorrelaties (Fisher-blokken) vertegenwoordigt.
• In tegen tegenstelling tot Adam, dat $\mathbb{E}[(\sum \lambda_i g_i) \odot (\sum \lambda_j g_j)]$ berekent en de product van voorkeuren en gradiënten gezamenlijk middelt, houdt MAdam de huidige preferentie $\lambda(t)$ vast buiten de verwachting, waardoor deze de bijdrage van elk cross-moment dynamisch kan controleren.

Algoritmische Implementatie

MAdam opereert als een wrapper in de solver-dan-Adam pipeline:

1. Solver Stap: De MOO-solver produceert een verzoende richting $d(t) = \sum \lambda_i(t) g_i(t)$.
2. Metriek Schatting: MAdam houdt online schattingen bij van de cross-objectieve Fisher-blokken $F_{ij}$ met behulp van EMA's. Om de computationele kosten te reduceren van $O(C)$ naar $O(1)$ backward passes per stap, maakt het gebruik van stochastische paar-sampling, waarbij alleen de Fisher-entries worden bijgewerkt die overeenkomen met een willekeurig gesampleerd paar van taken $(i, j)$ per iteratie.
3. Preconditioning: De verzoende richting wordt ge-preconditioneerd door het inverse van de geschatte metriek: $\tilde{d}(t) = M_\lambda(t)^{-1} d(t)$, waarbij $M_\lambda(t) = \text{Diag}(\sqrt{C_\lambda + \epsilon})$.
4. Optimalisatie: Deze ge-preconditioneerde richting $\tilde{d}(t)$ wordt ingevoerd in Adam.
   • Omdat de input is "gewitst" door de preferentie-geconditioneerde metriek, convergeert de tweede-moment EMA van Adam op deze input naar de identiteitsmatrix ($M_{Adam} \approx I$).
   • Bijgevolg wordt de gerealiseerde update $\theta(t+1) = \theta(t) - \eta M_\lambda(t)^{-1} d(t)$, die volledig wordt beheerst door de preferentie-geconditioneerde metriek in plaats van de door historie-bias gedreven metriek van Adam.
5. Warmup: Een ramp-up coëfficiënt $\alpha(t)$ wordt gebruikt tijdens de initialisatie om de preconditioner te mengen tussen de identiteit (standaard Adam) en de volledige MAdam-metriek, om instabiliteit door ruisige vroege Fisher-schattingen te voorkomen.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

1. Diagnose van de Solver-Adam Mismatch: De auteurs bewijzen formeel twee faalmodi in de standaard MOO-pipeline: een wegingsmismatch die tijdsvariërende voorkeuren marginaliseert (Propositie 1) en een geometrische mismatch die de door solvers veronderstelde Euclidische geometrie vervormt (Propositie 2).
2. Metriek-bewuste Gradiënt Preconditioning: Zij leiden de preferentie-geconditioneerde diagonale Fisher af van de gescalariseerde objectieve functie en implementeren dit als een plug-and-play preconditioner. Dit mechanisme lost beide mismatches simultaan op zonder de solver-logica of de interne status van de optimizer te wijzigen.
3. Empirische Validatie: De methode wordt gevalideerd over diverse domeinen, waarbij consistente verbeteringen ten opzien van standaard Adam worden aangetoond wanneer deze gekoppeld wordt aan diverse MOO-solvers.

4. Experimentele Resultaten

De auteurs evalueerden MAdam over vier regimes: Multi-Task Learning (MTL), Pareto-front recovery, Physics-Informed Neural Networks (PINNs) en Medische Beeldanalyse (MIA).

• Multi-Task Learning (MTL): Op benchmarks inclusief MultiMNIST, SARCOS, UTKFace, Cityscapes en NYUv2, verbeterde MAdam consequent de prestaties ten opzien van base solvers (Linear Scalarization, DWA, UW, IMTL, CAGrad). Zo verminderde het op Cityscapes de relatieve dieptefout van IMTL van 74.2 naar 61.8.
• Pareto-front Recovery: Wanneer gekoppeld aan Pareto-gebaseerde solvers (PaMaL, PaLoRA) op MultiMNIST en SARCOS, verbeterde MAdam de hypervolume en verminderde het de per-ray fouten, waardoor het de Pareto-front effectiever traceert met hogere diversiteit en nauwkeurigheid.
• PINNs: Op de PINNacle benchmark (20 PDE's) verbeterde MAdam de prestaties over Vanilla, Loss Reweighting en adaptieve activatie baselines, met significante winsten op geometrisch complexe domeinen en chaotische systemen waar de loss-schalen sterk variëren.
• Medische Beeldverwerking: Bij huidlaesie-segmentatie (ISIC2018) en hersen-MRI super-resolutie (OASIS3) bereikte MAdam betere perceptuele getrouwheid (LPIPS, DISTS) met minimale degradatie in pixel-wise metrieken, en produceerde het meer gebalanceerde Dice/HD95 profielen.
• Ablatie-studies: Het verwijderen van het ramp-up mechanisme zorgde ervoor dat de prestaties onder het baseline niveau zakten, wat de noodzaak bevestigt voor stabiele Fisher-schattingen. Het verwijderen van de off-diagonal Fisher-termen ($F_{ij}$) verminderde ook de winst, wat het belang van het modelleren van cross-objectieve correlaties benadrukt.

5. Betekenis en Beperkingen

Betekenis:
Het artikel stelt dat MAdam een universele, drop-in oplossing biedt voor de solver-optimizer mismatch in MOO. Door de preferentievector te ontkoppelen van de historie van de optimizer en de geometrische vervorming te corrigeren, stelt het bestaande MOO-solvers in staat om hun beoogde updates getrouw uit te voeren. Het overbrugt de kloof tussen de theoretische aannames van MOO-solvers (Euclidische geometrie, expliciete voorkeuren) en de praktische realiteit van adaptieve optimizers.

Beperkingen en Toekomstig Werk:
De auteurs erkennen twee beperkingen:

1. Heterogene Objectieven: De schatting van de off-diagonal Fisher-blokken ($F_{ij}$) voor heterogene objectieven (bijv. classificatie gecombineerd met regressie) is momenteel suboptimaal en levert vaak kleine en ruisige entries op. Toekomstig werk richt zich op het ontwikkelen van meer principiële schatters voor deze cross-objectieve krommingen.
2. Scalarisatie Aanname: De huidige afleiding gaat uit van lineaire scalarisatie ($\sum \lambda_i L_i$). De auteurs zijn van plan MAdam uit te breiden om niet-lineaire scalarisatie, zoals Tchebycheff scalarisatie, te kunnen verwerken.