🤖 machine learning

Learning reshapes power-law anisotropy in internal representations

Este artigo elucida o mecanismo por trás da emergência da anisotropia de lei de potência em representações neurais ao demonstrar que, ao contrário do regime onde o expoente espectral permanece estático, o aprendizado de características em redes lineares e não lineares impulsiona uma evolução não monotônica deste expoente através da interação dinâmica entre as estatísticas de entrada e a estrutura da tarefa.

Autores originais: Asahi Nakamuta, Jun-nosuke Teramae

Publicado 2026-08-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Asahi Nakamuta, Jun-nosuke Teramae

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

As redes neurais, os motores por trás da inteligência artificial moderna, são frequentemente descritas como caixas pretas que transformam dados brutos em decisões complexas. Para entender como elas funcionam, os cientistas olham para o interior em busca das "representações internas" — os padrões de alta dimensão que a rede cria enquanto processa informações. Uma forma fundamental de medir a forma desses padrões é observando como a importância de diferentes direções de informação é distribuída. Em muitos sistemas, desde os cérebos de camundongos até os modelos de linguagem mais avançados, essa distribuição segue uma regra específica: algumas direções detêm uma quantidade massiva de informação, enquanto o restante detém quantidades progressivamente menores, caindo em uma curva matemática previsível conhecida como lei de potência. Essa desigualdade, ou anisotropia, é considerada crucial para a eficiência com que uma rede aprende e generaliza. Por muito tempo, os pesquisadores assumiram que esse padrão era simplesmente um reflexo estático dos dados que a rede recebeu, como uma impressão digital deixada pela entrada. No entanto, um novo estudo desafia essa visão, sugerindo que o padrão não é apenas herdado, mas ativamente remodelado pelo próprio processo de aprendizado.

Uma equipe de pesquisadores da Universidade de Quioto propôs-se a descobrir exatamente como essa remodelagem acontece. Eles focaram em um modelo simplificado de uma rede neural — um sistema de duas camadas com uma camada oculta larga — colocado em um cenário de "professor-aluno". Nesta configuração, a rede aluno tenta aprender uma tarefa definida por um professor, usando dados que já possuem uma estrutura de lei de potência. Os pesquisadores queriam saber: o aluno simplesmente copia o padrão do professor, ou o ato de aprender altera a geometria da representação interna? Ao resolver matematicamente as equações que governam como a rede muda ao longo do tempo, eles descobriram que a resposta depende inteiramente de como a rede é treinada. Eles descobriram que a rede não se estabiliza em um único padrão fixo. Em vez disso, a forma de sua informação interna evolui dinamicamente, passando por fases distintas conforme aprende.

O estudo revela que a evolução desses padrões não é uma linha reta, mas uma jornada através de diferentes regimes. Quando a rede é treinada em um modo de "aprendizado de características", onde ela reorganiza ativamente sua estrutura interna para resolver a tarefa, o padrão de informação passa por uma transformação dramática. Inicialmente, o estado interno da rede espelha os dados de entrada. Mas, conforme o aprendimento começa, o padrão muda. Os pesquisadores identificaram que a rede passa por até quatro estágios diferentes de organização. Na fase mais precoce do aprendizado, o padrão torna-se ainda mais inclinado, com a informação concentrando-se ainda mais agudamente em algumas direções. À medida que o aprendizado continua, essa inclinação relaxa e o padrão se estabiliza em uma nova forma estável, que é determinada pela tarefa específica que o professor está pedindo à rede para realizar. Esta nova forma é uma mistura da estrutura original dos dados e das exigências da tarefa, resultando em um padrão final que é diferente tanto dos dados brutos quanto do estado inicial.

Crucialmente, os pesquisadores mostraram que essa remodelagem dinâmica só acontece quando a rede tem permissão para aprender características profundamente. Se a rede for treinada em um regime onde ela mal altera sua estrutura interna e depende principalmente de sua configuração inicial aleatória, o padrão permanece congelado. Neste estado, a representação interna permanece quase exatamente como estava no início, meramente refletindo os dados de entrada sem qualquer reorganização significativa. Essa distinção é vital porque prova que os padrões de lei de potência observados em redes neurais reais não são consequências inevitáveis dos dados isoladamente. Em vez disso, eles são o resultado de uma interação específica e ativa entre as estatísticas da entrada e os objetivos específicos da tarefa de aprendizado.

Para garantir que essas descobertas não fossem apenas uma peculiaridade de seu modelo matemático simplificado, a equipe testou sua teoria em redes não lineares mais complexas, que se comportam de forma mais semelhante à inteligência artificial do mundo real. Os resultados mantiveram-se verdadeiros: mesmo nesses sistemas mais realistas, as representações internas alteraram sua forma durante o treinamento no regime de aprendizado de características, enquanto permaneceram estáticas no regime onde a rede depende principalmente de sua configuração inicial aleatória. O estudo sugere que a anisotropia de lei de potência observada em cérebros biológicos e artificiais é uma propriedade fluida, constantemente sendo reescrita pelo processo de aprendizado. Não é um traço fixo dos dados, mas uma assinatura dinâmica de como um sistema se adapta ao seu ambiente. Este trabalho fornece uma explicação analítica clara de como a geometria microscópica do estado interno de uma rede é forjada, oferecendo uma nova maneira de entender a relação entre os dados que um sistema vê e a inteligência que ele desenvolve.

Resumo Técnico: O Aprendizado Remolda a Anisotropia de Lei de Potência nas Representações Internas

Problema
A anisotropia de lei de potência nos espectros próprios das representações internas é uma propriedade geométrica ubíqua observada em diversos sistemas neurais, que variam desde o córtex cerebral de camundongos até grandes modelos de linguagem. Esta anisotropia, onde os autovalores decaem como uma lei de potência com o posto, está ligada à eficiência de codificação, robustez e generalização. No entanto, os quadros teóricos existentes tratam amplamente o expoente da lei de potência como uma quantidade fixa herdada das estatísticas de entrada ou assumem que ele permanece estático durante o treinamento. Consequentemente, o mecanismo pelo qual o aprendizado orientado por tarefas remolda esses espectros, e como o expoente evolui dinamicamente em resposta à estrutura de entrada e aos sinais do professor (teacher signals), permanece incerto. Especificamente, não se sabe se as representações internas meramente herdam as leis de potência da entrada ou se sofrem uma deformação não trivial, e como tais mudanças dependem do regime de aprendizado (aprendizado de características vs. linearizado).

Metodologia
Para abordar essas questões, os autores analisam uma rede neural linear de duas camadas ampla em um cenário de professor-aluno (teacher-student). O modelo é definido com dimensão de entrada $D$ , largura oculta $N$ e dimensão de saída $P$ , onde $P=D \ll N$ e $N \to \infty$ .

Estrutura de Entrada e do Professor: Tanto a matriz de covariância de entrada quanto a matriz de Gram do professor são assumidas como diagonais em uma mesma base ortonormal, com autovalores decaindo como leis de potência com expoentes $\alpha$ (entrada) e $\beta$ (professor).
Dinâmica: A rede é treinada via fluxo de gradiente de população sobre o erro quadrático médio. Embora o mapeamento entrada-saída seja linear, o treinamento conjunto dos pesos induz dinâmicas não lineares na representação interna.
Abordagem Analítica: Os autores derivam a evolução temporal exata dos autovalores do núcleo da representação interna (matriz de Gram dos pesos da primeira camada) nos limites de dados infinitos e largura infinita. Eles decompõem o espectro em um componente de inicialização (herdado da entrada) e um componente derivado do professor (formado através do aprendizado).
Análise de Regimes: O estudo distingue entre o regime de aprendizado de características (feature-learning regime, onde os pesos mudam significativamente) e o regime linearizado (onde os pesos permanecem próximos da inicialização), controlado pelo parâmetro $\gamma_0$ .
Validação: As previsões teóricas são validadas contra simulações numéricas de redes lineares de largura finita e redes não lineares com funções de ativação não lineares.

Principais Contribuições e Resultados
O artigo fornece uma caracterização analítica exata de como o expoente local da lei de potência das representações internas evolui durante o treinamento.

Decomposição Espectral: Mostra-se que o espectro da representação interna $\rho_k(t)$ consiste em dois componentes aditivos: um derivado da covariância de entrada (presente na inicialização) e outro induzido pelo sinal do professor através do aprendizado. A dominância relativa desses componentes determina a forma espectral.
Quatro Regimes Assintóticos de Expoente: No regime de aprendizado de características, o expoente efetivo local da lei de potência $\alpha_{\text{eff}}(k, t)$ não é estático. À medida que o treinamento progride, o espectro exibe até quatro regimes assintóticos distintos dependendo do índice do modo $k$ e do tempo de treinamento $t$ :
- Região I (Dominada pela Inicialização): $\alpha_{\text{eff}} \approx \alpha$ . Ocorre quando a mudança induzida pelo aprendizado é negligenciável em comparação com a inicialização.
- Região II (Aprendizado Inicial, Primeira Camada Dominante): $\alpha_{\text{eff}} \approx 3\alpha + \beta$ . Ocorre quando o aprendizado começou, mas o modo ainda não foi totalmente aprendido, e a primeira camada domina a atualização.
- Região IIIa (Aprendido, Primeira Camada Dominante): $\alpha_{\text{eff}} \approx \alpha + \beta$ . Ocorre quando o modo é aprendido e a primeira camada carrega o principal sinal de aprendizado.
- Região IIIb (Aprendido, Ambas as Camadas): $\alpha_{\text{eff}} \approx \alpha + \beta/2$ . Ocorre quando o modo é aprendido e o aprendizado é distribuído por ambas as camadas.
  A transição entre esses regimes é não monotônica; para um modo fixo, o expoente pode primeiro tornar-se mais íngreme (transitoriamente) e depois diminuir conforme o sinal do professor é incorporado.
Estabilidade do Regime Linearizado: No regime linearizado, o componente induzido pelo aprendizado nunca excede o componente de inicialização. Consequentemente, o expoente local permanece essencialmente inalterado ( $\alpha_{\text{eff}} \approx \alpha$ ) durante todo o treinamento, indicando que a representação interna não remolda significativamente a anisotropia da entrada.
Generalização para Redes Não Lineares: Experimentos numéricos com redes não lineares demonstram que as transições espectrais previstas e a distinção entre os regimes de aprendizado de características e linearizado persistem além do modelo linear. Em configurações de aprendizado de características não lineares, o espectro também transita de $\alpha$ para $\alpha + \beta$ sobre intervalos de modos finitos.

Significância
O artigo afirma fornecer um mecanismo geral explicando a formação de representações internas de lei de potência. Os resultados sugerem que essas representações não são meramente reflexos estáticos das estatísticas de entrada, mas são remodeladas dinamicamente pela interação entre a anisotropia da entrada, a anisotropia do sinal do professor e as escalas de tempo de aprendizado dependentes do modo.

Ao demonstrar que o expoente da lei de potência pode assumir múltiplos valores assintóticos e evoluir de forma não monotônica, o trabalho desafia a suposição de um expoente fixo em análises teóricas. Estabelece que as propriedades geométricas das representações internas são uma consequência da interação específica entre a estrutura dos dados e a dinâmica de aprendizado orientada por tarefas. Este quadro analítico oferece um ponto de partida para compreender como a geometria espectral microscópica se relaciona com o desempenho macroscópico e as leis de escala em redes neurais.

Mais como este