Resumo Técnico: Além das Simetrias Estruturais: Conectividade de Modo Linear via Identificabilidade de Neurônios

Declaração do Problema

Modelos de aprendizado profundo, particularmente redes neurais sobreparametrizadas, exibem um fenômeno onde soluções treinadas independentemente convergem para modelos com previsões e desempenho de generalização semelhantes, apesar de residirem em superfícies de perda altamente não convexas. Uma propriedade fundamental que explica isso é a Conectividade de Modo Linear (LMC - Linear Mode Connectivity), onde dois modelos treinados podem ser interpolados linearmente no espaço de pesos mantendo uma perda baixa.

No entanto, a LMC é frequentemente obstruída por simetrias de parâmetros, especificamente simetrias de permutação de unidades ocultas. Em arquiteturas padrão, permutar unidades ocultas e compensar nas camadas adjacentes deixa a função realizada inalterada. Consequentemente, execuções de treinamento independentes exploram diferentes representantes da mesma órbita funcional, fazendo com que a interpolação linear direta falhe (barreiras de perda alta), a menos que um alinhamento pós-hoc (correspondência de permutação) seja realizado.

Trabalhos recentes tentaram quebrar essas simetrias estruturais via intervenções arquiteturais (por exemplo, fixando pesos ou máscaras aleatórias) para alcançar uma LMC não alinhada (LMC sem alinhamento). No entanto, os resultados empíricos têm sido mistos: alguns métodos de quebra de simetria produzem LMC não alinhada, enquanto outros não. Este artigo investiga por que a quebra de simetria estrutural às vezes é insuficiente e propõe que a quebra de simetria efetiva depende da interação entre arquitetura, geometria dos dados e a identificabilidade dos neurônios.

Metodologia

1. Estrutura Teórica: Classes de Funções Efetivas e Custos de Realização

Os autores desenvolvem uma estrutura teórica centrada em classes de funções efetivas e custos de realização.

• Classe de Função Efetiva ($H_i(X)$): Para um neurônio $i$ em uma camada, esta é o conjunto de funções que ele pode realizar no suporte de entrada $X$ (a distribuição de dados ou representações aprendidas).
• Custo de Realização: A norma mínima de peso necessária para um neurônio realizar uma função específica $h$. Este custo é medido em relação à classe de função efetiva do neurônio.
• Quebra de Simetria via Identificabilidade: O artigo define identificabilidade de neurônio como a atribuição consistente de características aos neurônios em execuções de treinamento independentes. Isso ocorre quando assimetrias arquiteturais enviesam o treinamento para uma atribuição única e de baixo custo de características aos neurônios.

Os autores modelam o suporte de entrada $X$ como residindo em um subespaço de baixa dimensão $U$ (Suposição 3.1). Eles analisam uma intervenção de quebra de simetria onde a matriz de peso efetiva é $W_{eff} = F + D \odot W$, onde $F$ (offsets fixos) e $D$ (máscaras diagonais fixas) são componentes arquiteturais, e $W$ é treinável.

2. Quantificando a Quebra de Simetria

A análise central envolve quantificar a sensibilidade do custo de realização às permutações.

• Sensibilidade de Permutação ($\Delta_{\pi, \tau}$): A mudança no custo total de realização quando as características são reatribuídas a diferentes neurônios (permutação de saída $\pi$) ou quando as coordenadas de entrada são reindexadas (permutação de entrada $\tau$).
• Regime Dominado pelo Centro: Os autores identificam um regime onde os pesos fixos $F$ dominam os pesos treináveis $W$. Neste regime, o custo de trocar neurônios é determinado principalmente pela distância entre seus centros fixos projetados no subespaço de entrada.
• Coerência de Subespaço ($\nu(U)$): O artigo introduz o conceito de coerência de subespaço para medir o quão alinhadas as direções principais dos dados estão com a base padrão. Alta coerência implica que mascarar coordenadas de entrada específicas (via $D$) tem um efeito pronunciado sobre quais características são realizáveis por quais neurônios.

3. Conexão com a Conectividade de Modo Linear

O artigo estabelece um vínculo entre a identificabilidade de neurônios e a LMC.

• Desvio de Corda (Chord Deviation): Os autores analisam o desvio da saída da rede ao longo de um caminho de interpolação linear entre duas soluções. Eles mostram que se os neurônios forem "dominados pelo centro" (pesos fixos dominam), o desvio da corda é pequeno ($O(\beta^{3/2})$), implicando uma barreira de perda baixa.
• Fusão sem Alinhamento: Se os neurônios forem identificáveis (ou seja, seus papéis são fixados pela arquitetura e pelos dados), as representações podem ser fundidas sem alinhamento explícito, levando à LMC não alinhada.

Principais Contribuições

1. Estrutura Teórica para Identificabilidade de Neurônios: O artigo formaliza a identificabilidade de neurônios como a atribuição consistente de características aos neurônios em execuções de treinamento, impulsionada pela minimização dos custos de realização. Ele distingue entre quebra de simetria estrutural (quebra de simetrias no espaço de parâmetros bruto) e quebra de simetria efetiva (quebra de simetrias no suporte de entrada real).
2. Caracterização de Custos de Realização: Os autores derivam expressões de forma fechada para custos de realização como normas de Mahalanobis dependentes das matrizes de Gram dos componentes arquiteturais fixos ($F$ e $D$) projetados no subespaço de entrada.
3. Condições para Quebra de Simetria Efetiva:
   • Pesos Fixos ($F$): No regime dominado pelo centro, a quebra de simetria efetiva requer que os centros projetados dos neurônios sejam suficientemente separados. O artigo fornece limites assintóticos mostrando que essa separação depende do número de neurônios ($m$) e da dimensão intrínseca dos dados ($k$). Se $k$ for pequeno em relação a $m$, a separação é difícil e as simetrias podem permanecer efetivamente intactas.
   • Coerência do Subespaço de Entrada: O artigo demonstra que mesmo sem grandes pesos fixos, uma alta coerência de subespaço pode permitir a quebra de simetria efetiva via o operador diagonal $D$, pois torna certas direções de características caras de serem realizadas por neurônios específicos.
4. Trade-off entre Identificabilidade e Aprendizado de Características: Os autores provam um resultado de dificuldade sugerindo que uma quebra de simetria forte (impondo papéis consistentes de neurônios) restringe o conjunto de características que uma rede pode aprender dentro de um determinado orçamento de norma, potencialmente limitando a expressividade em comparação com uma linha de base de características aleatórias totalmente simétrica.
5. Explicação Unificada de Fenômenos Empíricos: A estrutura explica por que alguns métodos de quebra de simetria (como redes W-assimétricas com grandes pesos fixos) geram LMC não alinhada, enquanto outros (como redes esparsas sem offsets fixos) não o fazem.

Resultados Experimentais

Os autores validam sua teoria através de experimentos em MLPs e ResNets (e uma extensão preliminar para Transformers) usando MNIST e CIFAR-10.

• Efeito da Escala de Peso Fixo ($\sigma_F$): Experimentos variando $\sigma_F$ mostram que para $\sigma_F$ pequeno (efetivamente simétrico), o objetivo de correspondência de ativação (um proxy para identificabilidade) é baixo para permutações de identidade, e as barreiras de LMC não alinhada são altas. À medida que $\sigma_F$ aumenta, as permutações de identidade tornam-se quase ótimas e as barreias de LMC não alinhada caem significativamente.
• Dimensão Intrínseca ($k$): Usando dados sintéticos de mistura Gaussiana, os autores mostram que os custos de troca de neurônios (uma medida de quebra de simetria) são baixos quando a dimensão intrínseca $k$ é pequena em relação à largura da rede, mesmo com arquiteturas de quebra de simetria. À medida que $k$ aumenta, os custos de troca sobem e a LMC não alinhada melhora.
• Coerência de Subespaço: Experimentos variando a coerência do subespaço de entrada confirmam que a alta coerência permite que o mascaramento diagonal ($D$) sozinho induza a quebra de simetria efetiva e a LMC não alinhada, mesmo quando os pesos fixos ($F$) são zero.
• Transformers: Resultados preliminares em Vision Transformers sugerem que, embora o mecanismo W-assimétrico reduza as barreiras de interpolação, as simetrias complexas dos mecanismos de atenção (além de simples permutações) tornam o alcance da LMC não alinhada perfeita mais desafiador do que em MLPs.

Significância e Alegações

O artigo afirma fornecer uma lente teórica unificadora para entender quando e por que a quebra de simetria de parâmetros leva à identificabilidade de neurônios e à conectividade de modo linear.

• Além das Simetrias Estruturais: A principal significância é a mudança de ver a quebra de simetria como uma propriedade puramente estrutural da arquitetura para uma propriedade efetiva determinada pela interação entre a arquitetção, a distribuição de dados e as representações aprendidas.
• Mecanismo para LMC Não Alinhada: O trabalho esclarece que a LMC não alinhada não é garantida simplesmente quebrando as simetrias de permutação no espaço de pesos; requer que a arquitetura induza uma atribuição única e de baixo custo de características aos neurônios que seja estável entre execuções de treinamento.
• Papel da Geometria dos Dados: O artigo destaca que a geometria dos dados (especificamente a coerência do subespaço e a dimensão intrínseca) desempenha um papel crítico em determinar se uma intervenção de quebra de simetria é eficaz.
• Limitações e Trade-offs: Os autores notam modestamente que uma quebra de simetria forte pode vir ao custo de uma redução nas capacidades de aprendizado de características, já que a rede é restringida a mapeamentos específico de característica-neurônio. Eles também reconhecem que seu framework atual foca em simetrias de permutação e pode precisar de extensão para grupos de simetria mais ricos (ex: em Transformers).

Em resumo, o artigo argumenta que a identificabilidade de neurônios é o mecanismo chave que liga intervenções arquiteturais, geometria de dados e o surgimento da conectividade de modo linear, oferecendo um framework preditivo para quando a fusão de modelos não alinhada terá sucesso.