How does the optimizer implicitly bias the model merging loss landscape?

Resumo Técnico: Como o Otimizador Vies Implicitamente a Paisagem de Perda da Fusão de Modelos

1. Problema e Motivação

A fusão de modelos (Model Merging) é uma técnica que combina soluções independentes treinadas (com diferentes capacidades ou em diferentes tarefas) em um único modelo, mantendo o custo de inferência original. Métodos populares incluem:

• Interpolação Linear: Média simples dos pesos.
• Aritmética de Tarefas (Task Arithmetic): Combinação de vetores de tarefa (diferença entre modelo ajustado e base).

Apesar do sucesso prático, a teoria por trás da eficácia da fusão é mal compreendida. A questão central é: por que alguns modelos treinados independentemente são compatíveis para fusão, enquanto outros falham, mesmo tendo desempenho individual semelhante?

A literatura anterior focou na "conectividade de modos" (a existência de caminhos de baixa perda entre mínimos), mas não esclareceu como os dinâmicas de otimização (especificamente hiperparâmetros como taxa de aprendizado, weight decay, tamanho de batch, etc.) moldam a geometria global da paisagem de perda que determina essa compatibilidade.

2. Metodologia e Conceito Central

Os autores propõem que a compatibilidade para fusão é governada por uma única quantidade unificadora: a Escala de Ruído Efetivo ($\tilde{S}$).

• Definição de Escala de Ruído Efetivo:
  A escala de ruído efetivo captura a magnitude das flutuações estocásticas na trajetória de otimização. Ela é definida proporcionalmente a:
  $$\tilde{S} \propto \frac{\eta}{B(1 - \mu)} \cdot \text{tr}(\Sigma_A)$$
  Onde:

  • $\eta$: Taxa de aprendizado (Learning Rate).
  • $B$: Tamanho do batch.
  • $\mu$: Momento.
  • $\Sigma_A$: Covariância do ruído do gradiente dependente de aumento de dados (Data Augmentation).

• Abordagem Experimental:
  Os pesquisadores treinaram modelos em diversas arquiteturas (MLP, ResNet, DenseNet, Transformers) e datasets (SVHN, CIFAR-10/100, TinyImageNet, TinyStories) variando sistematicamente os hiperparâmetros do otimizador. Eles avaliaram a fusão medindo o ganho de acurácia (ou redução de perda) do modelo fundido em comparação com os modelos individuais.

3. Contribuições Principais

1. Unificação via Ruído Efetivo: Demonstraram que componentes distintos do otimizador (LR, weight decay, batch size, momentum, augmentation) controlam a mesma variável subjacente (ruído efetivo) que determina a compatibilidade de fusão.
2. Relação Não-Monotônica: A eficácia da fusão não aumenta linearmente com o ruído. Existe uma curva em forma de U invertido (ou um ponto crítico ótimo):
   • Ruído muito baixo: Fusão ineficaz (soluções muito alinhadas, pouca diversidade explorada).
   • Ruído muito alto: Instabilidade e falha na fusão.
   • Ruído Moderado (Ponto Crítico): Maximiza o ganho de fusão, criando uma geometria de paisagem de perda favorável.
3. Viés Implícito do Otimizador: Mostraram que o otimizador não apenas encontra um mínimo, mas molda a geometria global ao redor dele, afetando como soluções de diferentes execuções se conectam.

4. Resultados Chave

• Taxa de Aprendizado (Learning Rate - $\eta$):

  • Taxas de aprendizado maiores (dentro de um limite de estabilidade) identificam soluções mais compatíveis para fusão do que taxas menores, mesmo quando ambas convergem para desempenho individual similar.
  • Isso ocorre porque um $\eta$ maior introduz mais ruído, levando a mínimos mais "planos" e compatíveis.

• Decaimento de Peso (Weight Decay - $\lambda$):

  • Em redes invariantes à escala (com camadas de normalização), um weight decay maior atua aumentando a taxa de aprendizado efetiva, prevenindo que o ruído estocástico decaia a zero.
  • Resultados mostram que maiores $\lambda$ melhoram a fusão, seguindo a mesma tendência do aumento de $\eta$.

• Tamanho de Batch (Batch Size - $B$):

  • Batches menores geram estimativas de gradiente mais ruidosas.
  • O experimento confirmou que batches menores (mais ruído) levam a melhores ganhos de fusão, enquanto batches grandes (menos ruído) resultam em fusão quase nula.

• Aumento de Dados e Momento:

  • Aumento de dados (Data Augmentation) e momento (Momentum) também modulam o ruído efetivo, seguindo a mesma tendência qualitativa: níveis moderados de ruído são ideais.

• Aritmética de Tarefas e Transfer Learning:

  • Na fusão por aritmética de tarefas, a geometria da paisagem depende fortemente da inicialização. Com inicializações pré-treinadas (ex: CLIP), taxas de aprendizado maiores levam a paisagens mais planas e fusão mais robusta.
  • Ao fundir modelos treinados em tarefas diferentes, pares com ruído moderado e similar apresentam o melhor desempenho, mas perdem compatibilidade com modelos treinados com ruído muito diferente.

• Simetria de Permutação e Alinhamento de Recursos:

  • O ruído moderado facilita o processo de "rebasamento" (re-basin) via simetria de permutação, tornando os mínimos mais fáceis de alinhar.
  • Curiosamente, maiores ganhos de fusão estão associados a uma menor alinhamento de recursos (feature alignment) entre os ramos, sugerindo que a fusão beneficia-se de uma diversidade de características que o ruído moderado promove.

5. Significado e Implicações

• Reformulação da Busca por Hiperparâmetros: O trabalho sugere que a busca por hiperparâmetros para fusão de modelos pode ser simplificada, focando em ajustar a escala de ruído efetivo em vez de testar combinações aleatórias de LR, batch size, etc.
• Conexão entre Otimização e Fusão: Estende o entendimento de como o ruído do otimizador afeta a generalização (focada em mínimos individuais) para a compatibilidade entre múltiplos mínimos.
• Diretrizes Práticas: Para obter modelos fundidos de alto desempenho, os praticantes devem evitar configurações de otimização "demasiado limpas" (baixo ruído) ou "demasiado ruidosas" (instáveis), buscando um ponto de equilíbrio que maximize a exploração da paisagem de perda.
• Limitações: O estudo não fornece garantias teóricas formais e foi limitado a recursos computacionais disponíveis, focando em métodos de fusão padrão (interpolação linear e aritmética de tarefas) em escalas de modelos atuais, mas não em LLMs massivos.

Em suma, o artigo revela que a dinâmica de treinamento (através do ruído efetivo) é um fator determinante para a "fusibilidade" de modelos, oferecendo um mecanismo controlável para melhorar a criação de modelos fundidos robustos.