Resumo Técnico: Fusão Parcial de Redes Neurais

Declaração do Problema

Ensembles de redes neurais tipicamente superam modelos individuais ao combinar suas saídas, oferecendo maior robustez e desempenho de previsão. No entanto, ensembles incorrem em custos computacionais significativos, exigindo que múltiplos modelos sejam armazenados na memória e aumentando o tempo de inferência. Por outro lado, métodos de agregação de pesos (como a média de pesos) produzem modelos únicos e eficientes em termos de custo, mas frequentemente sofrem com redução de precisão, particularmente quando as redes sendo mescladas não foram alinhadas ou foram treinadas em distribuições de dados diferentes. Técnicas existentes de agregação de pesos frequentemente dependem de invariância de permutação estrita (correspondência de camadas de tamanho igual) ou exigem procedimentos de alinhamento complexos que podem não generalizar para arquiteturas heterogêneas ou tamanhos de camadas desiguais.

O desafio central abordado é encontrar um compromisso eficiente entre o alto desempenho dos ensembles e o baixo custo computacional da agregação de pesos. Os métodos atuais tendem a ser binários: ou agregam totalmente os pesos (potencialmente perdendo desempenho) ou mantêm um ensemble completo (incorrendo em altos custos). Há uma necessidade de um mecanismo flexível para interpolar entre esses extremos.

Metodologia

O artigo introduz a Fusão Parcial, um método que interpola entre agregação de pesos e ensembles ao mesclar apenas os neurônios mais semelhantes entre as redes, mantendo os neurônios restantes isolados. Essa abordagem permite um compromisso flexível, por camada, entre o tamanho do modelo e o desempenho.

1. Fusão Parcial via Transporte Ótimo Parcial

O método principal proposto estende técnicas existentes de agregação de pesos baseadas em similaridade ao nível de neurônio.

• Conceito: Em vez de alinhar todos os neurônios entre duas redes (como na Fusão de Transporte Ótimo (OT) padrão), a fusão parcial identifica e corresponde apenas os neurônios mais semelhantes. Os neurônios não correspondidos (mais dissimilares) são deixados isolados, preservando seus pesos originais.
• Mecanismo: Os autores utilizam Transporte Ótimo Parcial (Partial OT). Dadas duas redes $A$ e $B$, um acoplamento $\tilde{\pi}$ é computado que corresponde apenas a uma fração $(1-\alpha)$ da massa entre os neurônios das duas redes, onde $\alpha \in [0, 1]$ é um parâmetro que controla o grau de fusão.
  • $\alpha = 0$: Corresponde à agregação total de pesos (todos os neurônios correspondidos).
  • $\alpha = 1$: Corresponde a um ensemble (nenhum neurônio correspondido).
• Implementação: O método codifica camadas como distribuições de probabilidade discretas baseadas em características de neurônios (por exemplo, vetores de ativação ou matrizes de pesos). Ele resolve um problema de OT parcial para encontrar o emparelhamento ótimo dos neurônios mais semelhantes. A rede fundida resultante $C$ contém três componentes por camada: neurônios isolados de $A$, neurônios fundidos (pesos médios) e neurônios isolados de $B$.
• Otimização Global: Para melhorar o alinhamento, o método incorpora uma abordagem de iteração de ponto fixo (inspirada em Ainsworth et al., 2023) que otimiza permutações/emparelhamentos globalmente através das camadas, em vez de camada por camada, levando em conta dependências entre camadas.

2. Poda Generalizada

O artigo enquadra a fusão parcial a partir de uma perspectiva complementar: Poda Generalizada de modelos ensemble.

• Conceito: Em vez de começar com agregação de pesos e relaxá-la, essa visão começa com um ensemble (um modelo concatenado grande) e aplica uma operação de poda. Diferentemente da poda padrão, que apenas exclui neurônios, a poda generalizada permite que neurônios sejam combinados linearmente.
• Formalismo: Isso é formalizado como a transformação dos pesos de um grande modelo ensemble $E$ em uma rede menor $S$ através de transformações lineares (kernels estocásticos).
• Abordagem de Agrupamento (Clustering): Uma realização específica da poda generalizada é proposta usando agrupamento. Neurônios do ensemble são agrupados, e neurônios dentro de um cluster são combinados linearmente. Isso oferece mais graus de liberdade do que a fusão parcial, pois não restringe combinações a pares de redes diferentes.
• Viés Indutivo: Os autores observam que a fusão parcial impõe um viés indutivo específico: combina linearmente neurônios apenas se eles originam-se de redes diferentes e limita combinações a pares. Acredita-se que esse viés seja benéfico para Redes Neurais Convolucionais (CNNs), enquanto a abordagem de agrupamento mais flexível pode ser mais adequada para Perceptrons Multicamada (MLPs).

Principais Contribuições

1. Framework de Fusão Parcial: A introdução de um método para interpolar entre agregação de pesos e ensembles ao mesclar apenas os neurônios mais semelhantes, fornecendo um compromisso ajustável entre custo computacional e desempenho.
2. Perspectiva de Poda Generalizada: A unificação teórica da fusão parcial e da compressão de modelos sob o conceito de poda generalizada, onde neurônios podem ser combinados linearmente em vez de apenas excluídos. Isso estende a aplicabilidade do método para compressão de modelo único.
3. Algoritmos Concretos:
   • Fusão OT Parcial: Uma extensão da fusão de modelos baseada em OT usando transporte ótimo parcial para lidar com emparelhamento desigual e tamanhos de camadas.
   • Poda Baseada em Agrupamento: Um método para poda generalizada usando agrupamento hierárquico para combinar linearmente neurônios, oferecendo flexibilidade na compressão de modelos.
4. Validação Empírica: Experimentos em MLPs e CNNs (VGG11, ResNet18) em vários conjuntos de dados (MNIST, CIFAR10) demonstrando que a fusão parcial alcança desempenho mais próximo dos ensembles com significativamente menos parâmetros.

Resultados

Os experimentos demonstram a eficácia dos métodos propostos em vários regimes:

• Agregação de Conjuntos de Dados Divididos (Dados Heterogêneos): Ao mesclar modelos treinados em divisões de dados diferentes (por exemplo, um especializado, um geral), a Fusão OT Parcial supera significativamente a fusão OT padrão. O aumento do número de neurônios isolados (aumentando $\alpha$) leva a melhorias monotônicas no desempenho, fechando a lacuna entre o modelo agregado e o ensemble. Por exemplo, um aumento de 20-40% na contagem de neurônios produziu ganhos claros de precisão sobre a fusão padrão.
• Ajuste Fino (Fine-Tuning): Modelos parcialmente fundidos, quando ajustados finamente com um pequeno subconjunto de dados (1% para MNIST, 5% para CIFAR10), consistentemente superam tanto modelos individuais quanto o ensemble completo em precisão.
• Agregação de Mesmos Dados: Ao mesclar modelos treinados nos mesmos dados com diferentes sementes, a agregação total de pesos frequentemente performa mal para CNNs (como VGG11), mas melhor para ResNets devido a conexões residuais. A fusão parcial fornece uma interpolação robusta, recuperando o desempenho perdido na fusão total.
• Compressão de Modelo Único (Poda Generalizada):
  • Para MLPs, a poda generalizada via agrupamento supera significativamente tanto a poda não estruturada quanto a poda com pós-processamento (Fusão OT). Os autores atribuem isso à capacidade do agrupamento de equilibrar os erros de "exclusão" (poda) e "desfoque" (combinação linear).
  • Para CNNs (VGG11), a Fusão OT Parcial frequentemente supera o agrupamento, sugerindo que o viés indutivo de emparelhar pares específicos de neurônios é mais eficaz para camadas convolucionais.
• Eficiência de Parâmetros: Os métodos permitem tamanhos de modelo entre os de uma única rede e um ensemble completo. Por exemplo, um modelo parcialmente fundido com $\alpha=0.5$ usa aproximadamente 1,45$\times$ os parâmetros de uma única rede (comparado a 2$\times$ para um ensemble) enquanto alcança precisão muito mais próxima do ensemble.

Significado e Alegações

O artigo afirma que a principal percepção é o significado das diferenças nas similaridades ao nível de neurônio. Neurônios variam em sua unicidade; alguns são altamente semelhantes entre redes, enquanto outros desempenham papéis únicos. Os métodos propostos exploram essas diferenças:

• A Fusão Parcial aproveita o fato de que manter os neurônios mais dissimilares isolados aumenta a similaridade média dos neurônios agregados restantes, levando a uma média de pesos mais eficaz.
• A Poda Generalizada explora o compromisso entre excluir neurônios (perdendo informação) e combiná-los linearmente (desfocando informação).

Os autores posicionam seu trabalho como um passo em direção a um estudo estruturado de operações de mesclagem no espaço de pesos de redes neurais. Eles enfatizam que os métodos fornecem um compromisso flexível e eficiente entre o tamanho do modelo e o desempenho, frequentemente produzindo ganhos de desempenho desproporcionais para pequenos aumentos no tamanho do modelo. O artigo permanece modesto quanto às implicações futuras, observando que a escalabilidade para modelos maiores e o desenvolvimento de critérios principistas para decisões por camada (por exemplo, quais camadas fundir versus isolar) são direções abertas para trabalhos futuros. O código é disponibilizado para facilitar pesquisas adicionais.