🤖 machine learning

MAdam: Metric-Aware Multi-Objective Adam

O artigo apresenta o MAdam, um wrapper de aplicação direta que resolve desajustes sistemáticos de ponderação e geométricos entre resolvedores multiobjetivo e o otimizador Adam ao pré-condicionar direções reconciliadas com curvatura condicionada por preferência, melhorando consistentemente o desempenho através de diversas tarefas de aprendizado de máquina.

Autores originais: Fengbei Liu, Rachit Saluja, Sunwoo Kwak, Ruibo Wang, Ruining Deng, Heejong Kim, Johannes C. Paetzold, Mert R. Sabuncu

Publicado 2026-06-03

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Fengbei Liu, Rachit Saluja, Sunwoo Kwak, Ruibo Wang, Ruining Deng, Heejong Kim, Johannes C. Paetzold, Mert R. Sabuncu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a fazer três coisas ao mesmo tempo: dirigir um carro, cantar uma música e resolver problemas de matemática. Isso é um problema de Otimização Multiobjetivo (Multi-Objective Optimization). Você quer que o robô melhore em todas as três simultaneamente, mas, muitas vezes, melhorar em matemática faz com que ele piore no canto.

Para resolver isso, pesquisadores usam um "Treinador" (o Solucionador MOO) para descobrir a mistura perfeita de instruções, e um "Motor" (o Otimizador, geralmente chamado de Adam) para realmente mover as engrenagens do robô.

O artigo argumenta que, durante anos, temos emparelhado os melhores Treinadores com os Motores errados. O Motor (Adam) tem um hábito oculto que atrapalha as instruções cuidadosamente calculadas pelo Treinador. Os autores introduzem um novo "adaptador" chamado MAdam para corrigir isso.

Aqui está a divisão do problema e da solução usando analogias simples:

O Problema: O "Motor Confuso"

Os autores descobriram que o Motor padrão (Adam) tem dois hábitos específicos que confundem as instruções do Treinador:

1. A "Memória Esquecida" (Desajuste de Pesos)

O Cenário: O Treinador diz ao Motor: "Hoje, foque 80% no canto e 20% na matemática". Amanhã, o Treinador diz: "Agora, foque 20% no canto e 80% na matemática".
A Falha: O Motor tem uma memória que faz a média de tudo o que já ouviu. Quando o Treinador muda o plano, o Motor não escuta o novo plano imediatamente. Em vez disso, ele mistura o novo plano com todos os planos antigos que ele lembra. É como tentar dirigir um carro enquanto seu GPS ainda está tentando roteá-lo para o destino de ontem.
O Resultado: O robô se move de forma lenta e pesada, preso no meio de dois objetivos diferentes, em vez de mudar agudamente para a nova prioridade.

2. A "Lente Distorcida" (Desajuste Geométrico)

O Cenário: O Treinador desenha uma linha reta em um mapa dizendo: "Vá para o Norte para melhorar o canto".
A Falha:** O Motor olha para o mapa através de um espelho de parque de diversões. Devido à forma como ele calcula a velocidade, "Norte" pode parecer "Nordeste" para o Motor. Ele acha que está movendo o robô em uma direção que ajuda o canto, mas, na verdade, está acidentalmente prejudicando as habilidades de matemática.
O Resultado: O robô se move em uma direção que parece correta para o Motor, mas que é errada de acordo com o plano original do Treinador. Isso cria conflitos falsos entre tarefas que não deveriam estar brigando entre si.

A Solução: MAdam (O "Adaptador Inteligente")

Os autores criaram o MAdam. Pense no MAdam não como um novo Treinador ou um novo Motor, mas como um adaptador especializado que fica entre eles.

Como funciona: Antes que as instruções do Treinador cheguem ao Motor, o MAdam as "pré-condiciona". Ele age como um par de óculos corretivos para o Motor.
O Truque Mágico: O MAdam calcula exatamente como a memória e a lente distorcida do Motor irão atrapalhar as coisas e pré-ajusta as instruções para cancelar esses erros.
- Ele diz ao Motor: "Ignore sua memória antiga; olhe apenas para a prioridade atual".
- Ele diz ao Motor: "Ignore seu espelho de parque de diversões; olhe para o mapa como ele realmente é".
O Resultado: Quando o Motor finalmente move o robô, ele se move exatamente para onde o Treinador pretendia, adaptando-se instantaneamente a novas prioridades sem ficar confuso por sua própria história ou por sua própria visão distorcida.

Por Que Isso Importa (Os Resultados)

O artigo testou este adaptador em quatro diferentes "campos de treinamento":

Aprendizado Multitarefa (Multi-Task Learning): Ensinar um modelo a fazer muitas coisas ao mesmo tempo (como reconhecer rostos e estimar a idade).
Recuperação de Pareto (Pareto Front Recovery): Encontrar o equilíbrio perfeito onde você não pode melhorar uma tarefa sem prejudicar outra.
Redes Neurais Informadas por Física (PINNs): Ensinar IA a resolver equações físicas complexas (como a dinâmica de fluidos).
Imagem Médica: Melhorar a forma como a IA vê lesões de pele ou reconstrói exames de imagem cerebral.

O Desfecho: Em cada um desses campos, adicionar o adaptador MAdam fez com que os Treinadores existentes performassem melhor. Não ajudou apenas um pouco; melhorou consistentemente os resultados, fazendo com que os robôs aprendessem de forma mais rápida e precisa.

A Conclusão

O artigo afirma que, por muito tempo, estivemos usando um motor poderoso, porém um tanto "desajeitado" (Adam), com treinadores inteligentes, causando um desajuste. O MAdam é uma ferramenta simples, de implementação direta, que corrige a visão e a memória do motor, permitendo que as instruções do treinador sejam seguidas perfeitamente. Ele funciona com qualquer estratégia de treinamento existente, tornando todo o sistema mais inteligente sem a necessidade de reconstruir o treinador ou o motor do zero.

Resumo Técnico: MAdam: Adam Multi-Objetivo Sensível à Métrica

1. Definição do Problema

A otimização multi-objetivo (MOO) é fundamental para muitas tarefas de aprendizado de máquina, incluindo aprendizado multi-tarefa (MTL), redes neurais informadas por física (PINNs) e imagem médica. Embora existam diversos solvers de MOO — categorizados em famílias de balanceamento de perda, balanceamento de gradiente e baseados em Pareto — eles quase universalmente delegam a execução da etapa de atualização ao otimizador Adam.

Os autores identificam um descompasso sistemático entre a intenção desses solvers de MOO e a execução do Adam, resultando em dois desalinhamentos específicos:

Descompasso de Pesagem (Weighting Mismatch): Em métodos onde o vetor de preferência $\lambda(t)$ varia ao longo do tempo (ex: balanceamento de perda ou varredura da fronteira de Pareto), a média exponencial móvel (EMA) do segundo momento do Adam mistura as preferências variantes no tempo com as estatísticas do gradiente. Em vez de aplicar a preferência atual $\lambda(t)$ às estatísticas do gradiente, o Adam absorve a preferência em uma quantidade média histórica. Isso marginaliza a estratégia de preferência pretendida, colapsando distintos trade-offs de Pareto em uma mistura quase uniforme e fazendo com que o otimizador fique atrasado em relação às mudanças de preferência.
Descompasso Geométrico (Geometric Mismatch): Os solvers de MOO tipicamente assumem uma geometria euclidiana bruta ao construir direções de descida reconciliadas (ex: via escalonamento linear). No entanto, o Adam impõe implicitamente sua própria métrica diagonal adaptativa (derivada do denominador do segundo momento) em cada atualização. Esta métrica distorce a geometria euclidiana assumida pelo solver, podendo transformar objetivos alinhados em aparentes conflitos ou vice-versa, alterando assim as mudanças reais de perda por objetivo.

2. Metodologia: MAdam

Para resolver esses problemas sem modificar o solver de MOO subjacente ou o otimizador Adam, os autores propõem o MAdam (Metric-Aware Multi-Objective Adam), um wrapper "drop-in" que pré-condiciona a saída do solver.

Fundamentação Teórica

Os autores derivam a curvatura correta para atualizações de MOO. Eles argumentam que a métrica apropriada é a matriz de informação de Fisher diagonal condicionada à preferência do objetivo escalonado na preferência ativa $\lambda(t)$ .

Seja $g_i$ o gradiente do $i$ -ésimo objetivo.
O gradiente escalonado é $g_\lambda = \sum \lambda_i g_i$ .
A estimativa de curvatura correta é $C_\lambda = \mathbb{E}[g_\lambda \odot g_\lambda] = \sum_{i,j} \lambda_i \lambda_j F_{ij}$ , onde $F_{ij}$ representa as correlações de blocos de gradiente entre objetivos (blocos de Fisher).
Diferente do Adam, que calcula $\mathbb{E}[(\sum \lambda_i g_i) \odot (\sum \lambda_j g_j)]$ e faz a média do produto das preferências e gradientes conjuntamente, o MAdam mantém a preferência atual $\lambda(t)$ fixa fora da esperança, permitindo que ela controle a contribuição de cada momento cruzado dinamicamente.

Implementação Algorítmica

O MAdam opera como um wrapper no pipeline solver-então-Adam:

Etapa do Solver: O solver de MOO produz uma direção reconciliada $d(t) = \sum \lambda_i(t) g_i(t)$ .
Estimativa da Métrica: O MAdam mantém estimativas online dos blocos de Fisher cruzados $F_{ij}$ usando EMAs. Para reduzir o custo computacional de $O(C)$ para $O(1)$ passagens de backward por passo, ele emprega amostragem de pares estocástica, atualizando apenas as entradas de Fisher correspondentes a um par de tarefas $(i, j)$ amostrado aleatoriamente em cada iteração.
Pré-condicionamento: A direção reconciliada é pré-condicionada pelo inverso da métrica estimada: $\tilde{d}(t) = M_\lambda(t)^{-1} d(t)$ , onde $M_\lambda(t) = \text{Diag}(\sqrt{C_\lambda + \epsilon})$ .
Otimização: Esta direção pré-condicionada $\tilde{d}(t)$ $\tilde{d} (t)$ é enviada para o Adam.
- Como a entrada é "branqueada" pela métrica condicionada à preferência, a EMA do segundo momento do Adam sobre esta entrada colapsa para a matriz identidade ( $M_{Adam} \approx I$ ).
- Consequentemente, a atualização realizada torna-se $\theta(t+1) = \theta(t) - \eta M_\lambda(t)^{-1} d(t)$ , governada inteiramente pela métrica condicionada à preferência, em vez da métrica enviesada pelo histórico do Adam.
Warmup: Um coeficiente de ramp-up $\alpha(t)$ é usado durante a inicialização para misturar o pré-condicionador entre a identidade (Adam padrão) e a métrica completa do MAdam, evitando instabilidade de estimativas de Fisher ruidosas no início.

3. Principais Contribuições

O artigo apresenta três contribuições principais:

Diagnóstico do Descompasso Solver-Adam: Os autores provam formalmente dois modos de falha no pipeline padrão de MOO (Proposição 1: um descompasso de pesagem que marginaliza preferências variantes no tempo; e Proposição 2: um descompasso geométrico que distorce a geometria euclidiana assumida pelos solvers).
Pré-condicionamento de Gradiente Sensível à Métrica: Eles derivam a informação de Fisher diagonal condicionada à preferência do objetivo escalonado e a implementam como um pré-condicionador plug-and-play. Este mecanismo resolve ambos os descompassos simultaneamente sem alterar a lógica do solver ou o estado interno do otimizador.
Validação Empírica: O método é validado em diversos domínios, demonstrando melhorias consistentes sobre o Adam padrão quando pareado com vários solvers de MOO.

4. Resultados Experimentais

Os autores avaliaram o MAdam em quatro regimes: Aprendizado Multi-Tarefa (MTL), recuperação de fronteira de Pareto, Redes Neurais Informadas por Física (PINNs) e Análise de Imagem Médica (MIA).

Aprendizado Multi-Tarefa (MTL): Em benchmarks incluindo MultiMNIST, SARCOS, UTKFace, Cityscapes e NYUv2, o MAdam melhorou consistentemente o desempenho em relação aos solvers base (Linear Scalarization, DWA, UW, IMTL, CAGrad). Por exemplo, no Cityscapes, reduziu o erro de profundidade relativo do IMTL de 74.2 para 61.8.
Recuperação de Fronteira de Pareto: Quando pareado com solvers baseados em Pareto (PaMaL, PaLoRA) no MultiMNIST e SARCOS, o MAdam melhorou o hipervolume e reduziu erros por raio, traçando a fronteira de Pareto com maior diversidade e precisão.
PINNs: No benchmark PINNacle (20 PDEs), o MAdam melhorou o desempenho em relação às bases Vanilla, Loss Reweighting e adaptação de ativação, com ganhos significativos em domínios geometricamente complexos e sistemas caóticos onde as escalas de perda variam amplamente.
Imagem Médica: Na segmentação de lesões de pele (ISIC2018) e super-resolução de RM cerebral (OASIS3), o MAdam alcançou melhor fidelidade perceptual (LPIPS, DISTS) com degradação mínima em métricas pixel a pixel, e produziu perfis de Dice/HD95 mais equilibrados.
Estudos de Ablação: Remover o mecanismo de ramp-up causou uma queda de desempenho abaixo do baseline, confirmando a necessidade de estimativas de Fisher estáveis. Remover os termos de Fisher fora da diagonal ( $F_{ij}$ ) também reduziu os ganhos, destacando a importância de modelar as correlações entre objetivos.

5. Significância e Limitações

Significância:
O artigo afirma que o MAdam fornece uma solução universal e "drop-in" para o descompasso entre solver e otimizador em MOO. Ao desacoplar o vetor de preferência do histórico do otimizador e corrigir a distorção geométrica, ele permite que os solvers de MOO existentes executem suas atualções pretendidas fielmente. Ele preenche a lacuna entre as suposições teóricas dos solvers de MOO (geometria euclidiana, preferências explícitas) e a realidade prática dos otimizadores adaptativos.

Limitações e Trabalhos Futuros:
Os autores reconhecem duas limitações:

Objetivos Heterogêneos: A estimativa dos blocos de Fisher fora da diagonal ( $F_{ij}$ ) para objetivos heterogêneos (ex: classificação combinada com regressão) é atualmente subótima, frequentemente gerando entradas pequenas e ruidosas. Trabalhos futuros visam desenvolver estimadores mais fundamentados para essas curvaturas de gradiente cruzado.
Suposição de Escalonamento: A derivação atual assume escalonamento linear ( $\sum \lambda_i L_i$ ). Os autores planejam estender o MAdam para lidar com escalonamentos não lineares, como o escalonamento de Tchebycheff.