🤖 machine learning

Parameter-Level Attribution of Symmetry in Trained Networks Though Parameter-Wise Functional Sensitivity

Este artigo estabelece que uma ação suave no espaço de parâmetros que realiza a simetria de uma função existe se, e somente se, a órbita tangente da simetria estiver contida na imagem das sensibilidades funcionais da rede, fornecendo um arcabouço para identificar direções locais de parâmetros que ou seguem a órbita da simetria ou descem em direção ao subespaço equivariante em redes treinadas.

Autores originais: Alan Muriithi, Vedanta Thapar, Torben Berndt

Publicado 2026-08-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alan Muriithi, Vedanta Thapar, Torben Berndt

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Na vasta paisagem da inteligência artificial moderna, as redes neurais são frequentemente tratadas como caixas pretas: sistemas complexos que recebem dados e produzem respostas, mas oferecem pouco insight sobre como chegam a essas conclusões. Esses sistemas são construídos a partir de camadas de conexões matemáticas, cada uma contendo um valor numérico específico, ou parâmetro, que a máquina ajusta durante o treinamento. Uma questão central para os cientistas que estudam esses sistemas é se a estrutura interna de uma rede treinada reflete as regras que governam o mundo que ela aprendeu. Se uma rede aprende uma tarefa que envolve simetria — como reconhecer que uma forma parece a mesma após ser rotacionada — a fiação interna da rede contém de fato um mecanismo que espelha essa rotação? Os pesquisadores há muito suspeitam que a resposta seja sim, mas provar exatamente quais partes da rede são responsáveis por esse comportamento tem sido algo elusivo. Essa incerteza é importante porque compreender a geometria interna desses modelos poderia revelar como eles generalizam o conhecimento e se eles realmente compreendem as leis físicas que foram treinados para mimetizar.

Uma equipe de pesquisadores da Universidade de Oxford e do Instituto de Estudos Teóricos de Heidelberg desenvolveu uma nova maneira de olhar dentro dessas redes, indo além da simples estatística para examinar a geometria local precisa de como os parâmetros influenciam a saída de uma rede. Eles focaram em um conceito que chamam de sensibilidade funcional, que mede o quanto a resposta final de uma rede muda quando um único número interno é levemente alterado. Ao mapear essas pequenas mudanças, os pesquisadores criaram um quadro detalhado das direções nas quais a rede pode mover sua saída. Eles fizeram uma pergunta específica: se uma rede aprendeu uma função com uma simetria conhecida, essa simência pode ser rastreada até um movimento específico dentro dos parâmetros da rede? Em outras palavras, existe um caminho através das configurações internas da rede que corresponde exatamente a rotacionar ou deslocar a função que ela desempenha?

Os pesquisadores formularam isso como um problema de levantamento (lifting problem), perguntando se as transformações suaves observadas na saída final podem ser "levantadas" de volta para uma transformação suave nas configurações internas da rede. Eles descobriram que, para tal movimento existir, as direções nas quais a função pode mudar devido à simetria devem ser alcançáveis pelos parâmetros atuais da rede. Se as configurações internas da rede forem muito rígidas ou mal alinhadas, a simetria na saída não poderá ser totalmente realizada ao mover os parâmetros. Para testar isso, a equipe desenvolveu um método para calcular a melhor direção possível para mover os parâmetros para seguir uma simetria ou para corrigir uma falta de simetria. Eles identificaram dois caminhos distintos: um que move a rede ao longo da órbita de simetria, efetivamente rotacionando a função aprendida sem alterar sua natureza fundamental, e outro que move a rede em direção a um estado de simetria perfeita, reduzindo quaisquer erros onde a função falha em respeitar a simetria.

Para ver se essas direções teóricas funcionavam na prática, os pesquisadores treinaram redes neurais em duas tarefas diferentes. Primeiro, usaram um classificador de imagens simples projetado para distinguir entre um círculo completo e uma fatia em forma de cunha. Eles então aplicaram as direções calculadas à rede treinada. Quando moveram os parâmetros da rede ao longo do caminho de simetria, a fronteira de decisão da rede rotacionou exatamente como previsto, preservando sua precisão enquanto mudava sua orientação. Quando moveram os parâmetros ao longo do caminho em direção à simetria, a saída da rede tornou-se mais consistente com as regras de rotação, reduzindo o erro em seu comportamento. Crucialmente, eles descobriram que essas direções só funcionavam de forma confiável quando eram recalculadas a cada passo do movimento. Se calculassem a direção uma única vez no início e a mantivessem fixa, a rede rapidamente se desviava do curso, falhando em manter a simetria ou a correção. Isso mostrou que a relação entre os parâmetros e a simetria é altamente local e muda conforme a rede se move.

A equipe repetiu esse processo com um sistema mais complexo projetado para aprender a física de um potencial rotativo, conhecido como um sistema Hamiltoniano. Mesmo que a arquitetura da rede não a forçasse explicitamente a respeitar a simetria de rotação, a rede treinada ainda aprendeu a física subjacente. Quando os pesquisadores aplicaram seu método aqui, observaram o mesmo padrão: recalcular a direção a cada passo permitia que a rede rotacionasse seu potencial aprendido ou o tornasse mais simétrico, enquanto manter a direção fixa levava a um desvio gradual do comportamento correto. O estudo demonstra que, embora as redes neurais possam aprender a codificar simetrias, os parâmetros específicos responsáveis por esse comportamento não são estáticos. A capacidade de rastrear essas simetrias de volta à estrutura interna da rede depende da reavaliação constante da geometria local dos parâmetros. As descobertas sugerem que a representação interna da simetria é uma característica dinâmica, uma que requer ajuste contínuo para permanecer alinhada com as regras matemáticas que a rede aprendeu a seguir.

Resumo Técnico: Atribuição de Simetria em Nível de Parâmetro em Redes Treinadas

Enunciado do Problema
O artigo aborda uma questão fundamental no estudo de classes de funções parametrizadas: quando uma rede neural aprende uma função que possui uma simetria conhecida, essa simetria pode ser "elevada" (lifted) através da parametrização da rede? Especificamente, os autores investigam se existe um movimento no espaço de parâmetros que realize uma ação de grupo no espaço de funções. Embora o levantamento global (uma ação suave sobre todo o manifold de parâmetros) possa nem sempre existir, o artigo foca no problema do levantamento infinitesimal: determinar se o espaço tangente à órbita de simetria de uma função reside dentro da imagem do diferencial do mapa de realização da rede. Se esta condição for atendida, a rede pode mover-se localmente ao longo da direção de simetria via atualizações de parâmetros.

Metodologia
Os autores introduzem um framework baseado em sensibilidade funcional, definida como a resposta local da saída da rede a perturbações em parâmetros individuais.

Sensibilidade Funcional: Para uma rede $f_\theta$ parametrizada por $\theta$ , a sensibilidade funcional pontual do $i$ -ésimo parâmetro é $S^*_i(x; \theta) = \frac{\partial f_\theta}{\partial \theta_i}(x)$ . A sensibilidade agregada $S_i(\theta)$ é a raiz do valor quadrático médio destas sensibilidades sobre uma distribuição de sondagem.
Critério de Levantamento Diferencial: O artigo formula o problema do levantamento utilizando o mapa de realização $\Phi: \Theta \to \mathcal{B}$ , onde $\mathcal{B}$ é o espaço de funções. O diferencial $J_\theta = d\Phi_\theta$ mapeia velocidades de parâmetros para variações no espaço de funções. As colunas de $J_\theta$ correspondem às sensibilidades funcionais. Uma condição necessária para elevar um gerador de simetria $\xi$ é que a direção induzida no espaço de funções $\eta_\xi$ esteja contida na imagem de $J_\theta$ (ou seja, $\text{Im}(J_\theta)$ ).
Relaxação de Mínimos Quadrados: Como o levantamento exato é frequentemente impossível em redes superparametrizadas ou imperfeitamente treinadas, os autores propõem uma abordagem de mínimos quadrados para encontrar a melhor direção de parâmetro local. Isso resulta em duas direções distintas:
1. Direção da Órbita de Simetria ( $c^\star$ ): A direção de parâmetro de norma mínima que aproxima o movimento ao longo da órbita de simetria ( $\eta_\xi$ ). O resíduo mede o componente da direção de simetria inacessível à parametrização atual.
2. Direção do Defeito de Equivariância ( $b^\star$ ): A direção de parâmetro de norma mínima que move a função em direção ao subespaço equivariante (reduzindo o "defeito de equivariância" $\delta_\theta = f_\theta - P_E f_\theta$ ).
Atribuição: Os coeficientes destas soluções de mínimos quadrados fornecem uma atribuição por parâmetro dos geradores de simetria, identificando quais pesos e vieses específicos contribuem para a simetria ou para a ausência dela.

Principais Contribuições

Framework de Sensibilidade Funcional: Os autores definem um framework diferencial de nível de parâmetro que relaciona parâmetros individuais a variações locais do mapa aprendido, mudando o foco de correlações estatísticas no espaço de parâmetros (como no trabalho anterior de Maiti et al.) para a geometria diferencial local do mapa aprendido.
Projeção de Geradores de Simetria: Eles desenvolvem um método para projetar geradores de simetria infinitesimais no espaço tangente de parâmetros, gerando atribuições por parâmetro e um diagnóstico de equivariância.
Validação Empírica: O artigo compara empiricamente estas quantidades em dois cenários: um classificador rotacionalmente invariante e Redes Neurais Hamiltonianas (HNNs) treinadas em um potencial rotacionalmente simétrico.

Resultos Experimentais
Os autores avaliam se as direções de parâmetros locais computadas induzem as mudanças finitas previstas no espaço de funções.

Classificador de Anel: Um MLP treinado para distinguir um disco interno de um anel externo foi testado. O estudo comparou trajetórias "Resolvidas" (recomputando o Jacobiano e a direção a cada passo) com trajetas "Fixas" (usando a direção computada na inicialização).
- Trajetórias Resolvidas: O fluxo direcionado pela simetria ( $c^\star$ ) conseguiu mover a função ao longo da órbita de simetria rotacional enquanto preservava a distância do subespaço equivariante. O fluxo direcionado pela equivariância ( $b^\star$ ) conseguiu reduzir o componente não invariante (defeito de equivariância).
- Trajetórias Fixas: Direções mantidas fixas desviaram-se substancialmente das órbitas previstas após o treinamento, destacando a necessidade de recomputar as direções para trajetórias finitas.
Redes Neurais Hamiltonianas: Utilizando Redes Neurais Recorrentes Simpléticas Adaptáveis (ASRNNs) treinadas em um potencial de chapéu mexicano, os autores observaram resultados semelhantes. A recomputação das direções permitiu que a rede rotacionasse efetivamente o potencial (fluxo de simetria) ou tornasse o potencial aprendido "mais" equivariante (fluxo de equivariância). Direções fixas apresentaram sucesso inicial, mas acumularam deriva (drift) ao longo do tempo.
Independência de Arquitetura: Notavelmente, estes resultados mantiveram-se mesmo para redes Hamiltonianas onde a arquitetura não impunha explicitamente a simetria, demonstrando que o método pode identificar a codificação de simetria em arquiteturas padrão.

Significância e Alegações
O artigo afirma que a sensibilidade funcional fornece uma ferramenta rigorosa para identificar os parâmetros específicos que codificam simetrias em um mapa aprendido. Ao formular o problema como uma tarefa de levantamento (lifting), os autores estabelecem uma condição necessária e suficiente para o levantamento de primeira ordem pontual. A significância reside na capacidade de:

Diagnosticar o "defeito de equivariância" de uma rede treinada.
Identificar direções ortogonais no espaço de parâmetros que correspondem ao movimento ao longo de uma órbita de simetria versus o movimento em direção ao subespaço de equivariância.
Demonstrar que, embora o levantamento local seja confiável, o levantamento global requer a recomputação contínua destas direções, visto que direções fixas falham em rastrear a órbita sobre trajetórias finitas.

O trabalho não pretende impor simetrias durante o treinamento, mas sim fornece um método de diagnóstico e atribuição post-hoc para compreender como as simetrias são representadas no espaço de parâmetros de redes treinadas.

Resumo Técnico: Atribuição de Simetria em Nível de Parâmetro em Redes Treinadas

Mais como este