🔬 condensed matter

Criticality in Neural Network Function Space through Wilsonian Fixed Points and Finite-Width Corrections

Este artigo propõe uma estrutura wilsoniana que interpreta redes neurais de largura finita como teorias de campo quânticas interagentes emergindo de um ponto fixo gaussiano, onde a criticidade surge de correções de largura finita que introduzem interações não gaussianas, vinculando, assim, a arquitetura da rede e a dinâmica de treinamento à emergência de complexidade, expressividade e comportamentos do tipo fase no espaço de funções.

Autores originais: Eric Howard, Iftekher S. Chowdhury, Hardique Dasore, Hom Nath Dhungana

Publicado 2026-08-24

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Eric Howard, Iftekher S. Chowdhury, Hardique Dasore, Hom Nath Dhungana

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O aprendizado profundo transformou a maneira como as máquinas veem, falam e raciocinam, contudo, a maquinaria matemática por trás desses sistemas permanece uma caixa preta para a maioria. No cerne deste mistério reside uma questão fundamental: o que realmente acontece dentro de uma rede neural quando ela aprende? Tradicionalmente, os cientistas viam esses sistemas como vastas coleções de números ajustáveis, ou parâmetros, onde o objetivo é sintonizar esses números para minimizar o erro. No entanto, uma perspectiva mais abstrata surgiu, sugerindo que uma rede neural é melhor compreendida não por suas configurações internas, mas pela distribuição de probabilidade das funções que ela pode produzir. Nesta visão, a rede é um gerador de possibilidades, e seu comportamento é definido pela forma das funções que ela cria, em vez dos botões específicos que ela gira. Essa mudança de perspectiva permite que pesquisadores apliquem ferramentas da física estatística e da teoria quântica de campos para entender como esses sistemas se organizam, particularmente quando são extremamente largos ou quando são levados ao limite da estabilidade.

Uma equipe de pesquisadores da Macquarie University e da Charles Sturt University adotou essa visão abstrata e desenvolveu um novo arcabouço para explicar por que as redes neurais se comportam da maneira que se comportam. Eles propõem que o comportamento dessas redes pode ser compreendido através da lente da "criticalidade", um estado encontrado em sistemas físicos onde a matéria está posicionada entre a ordem e o caos. Em sua análise, eles tratam a rede neural idealizada, infinitamente larga, como uma base simples e previsível, semelhante a uma paisagem calma e plana. Eles então examinam o que acontece quando a rede tem um tamanho finito, o que introduz pequenas interações complexas que perturbam essa simplicidade. Os pesquisadores argumentam que esses efeitos de tamanho finito não são meramente erros técnicos a serem ignorados, mas são, na verdade, a fonte da capacidade da rede de aprender padrões complexos e expressar comportamentos ricos.

O núcleo de seu trabalho envolve a reinterpretação da relação entre o tamanho de uma rede e sua complexidade. Durante anos, a intuição predominante no campo foi a de que adicionar mais parâmetros torna um sistema mais complexo e difícil de controlar. Os autores desafiam isso ao mostrar que, na linguagem do espaço das funções, tornar uma rede mais larga na verdade simplifica seu comportamento. À medida que a rede se torna infinitamente larga, sua saída torna-se perfeitamente previsível e segue uma regra estatística simples conhecida como processo Gaussiano, onde todas as interações complexas desaparecem. Neste limite infinito, a rede é essencialmente "livre" e carece das conexões intrincadas necessárias para modelar problemas difíceis do mundo real. Os pesquisadores sugerem que o verdadeiro poder de uma rede neural vem do tamanho finito de suas camadas, o que reintroduz essas interações necessárias.

Para dar sentido a isso, os autores utilizam um método emprestado da física chamado abordagem Wilsoniana, que estuda como os sistemas mudam conforme você os observa de diferentes escalas. Eles identificam o limite de largura infinita como um ponto fixo, um estado estável para o qual o sistema tende. A largura finita das redes do mundo real atua como uma perturbação, um pequeno empurrão para longe dessa estabilidade perfeita. Os pesquisadores classificam esses empurrões em três categorias: alguns desaparecem à medida que a rede se torna mais larga, outros crescem para dominar o sistema e outros situam-se em uma fronteira delicada onde podem ser sintonizados para criar um comportamento crítico. Eles descobrem que as propriedades mais interessantes e úteis das redes neurais — como sua capacidade de generalizar a partir de dados limitados e sua capacidade de aprender estruturas complexas — emergem quando a rede opera próximo a essa fronteira crítica.

O artigo fornece várias maneiras concretas de medir esse comportamento. Os pesquisadores mostram que, à medida que uma rede se torna mais larga, a diferença entre sua saída real e a previsão idealizada de largura infinita diminui de forma previsível, seguindo um decaimento matemático específico. Eles demonamstram que as partes "conectadas" da rede, que representam interações não lineares complexas entre diferentes entradas, tornam-se mais fracas à medida que a largura aumenta. Isso confirma que a superparametrização, frequentemente pensada como adição de complexidade, é na verdade um processo de supressão dessas interações e de movimento do sistema em direção a um estado Gaussiano mais simples. Por outro lado, uma rede com largura finita retém essas interações, permitindo-lhe romper as regras estatísticas simples e capturar as nuances dos dados reais.

Uma descoberta fundamental do estudo é a redefinição da "borda do caos", um conceito que descreve a fronteira entre uma rede que é muito rígida para aprender e uma que é muito caótica para controlar. Os autores mapeiam essa fronteira em seu arcabouço, mostrando que ela corresponde a uma superfície crítica onde as correlações entre entradas e saídas persistem por muitas camadas sem colapsar ou explodir. Neste regime de quase-criticidade, a rede é sensível o suficiente para aprender novos padrões, mas estável o suficiente para reter o que aprendeu. Eles argumentam que treinar uma rede neural é, efetivamente, um processo de deformação de sua estrutura estatística subjacente, movendo-a de um ponto de partida aleatório em direção a uma região onde essas interações críticas estão equilibradas.

Os pesquisadores também abordam o mistério da generalização, ou por que redes grandes frequentemente apresentam melhor desempenho em dados não vistos, apesar de possuírem mais parâmetros do que exemplos de treinamento. Seu arcabouço sugere que a generalização ocorre quando o treinamento suprime as interações específicas e ruidosas que se ajustam excessivamente aos dados de treinamento, enquanto preserva as estruturas mais amplas e estáveis que se aplicam ao mundo real. O sobreajuste (overfitting), em contraste, acontece quando a rede amplifica essas interações específicas e instáveis. Ao visualizar a rede através da lente da teoria de campo efetiva, os autores fornecem uma maneira de distinguir entre complexidade útil e ruído prejudicial, sugerindo que as redes de melhor desempenho são aquelas que se situam em um regime crítico controlado, onde os efeitos de largura finita são fortes o suficiente para serem expressivos, mas não tão fortes a ponto de causar instabilidade.

Em última análise, este trabalho oferece um novo vocabulário para compreender as redes neurais, deslocando o foco do número de parâmetros para a estrutura das funções que elas produzem. Sugere que a magia do aprendizado profundo não vem de ter mais botões para girar, mas de encontrar o equilíbrio certo onde o sistema é complexo o suficiente para aprender, mas simples o suficiente para generalizar. Os autores propõem que pesquisas futuras devem focar em medir essas propriedades críticas diretamente, observando como as correlações e interações evoluem durante o treinamento, em vez de apenas rastrear a função de perda. Ao tratar as redes neurais como sistemas físicos interagentes, esta abordagem abre as portas para uma compreensão mais sistemática de como a inteligência artificial aprende, oferecendo um caminho para projetar melhores arquiteturas e métodos de treinamento baseados nos princípios fundamentais da criticidade e da escala.

Resumo Técnico: Criticidade no Espaço de Funções de Redes Neurais através de Pontos Fixos Wilsonianos e Correções de Largura Finita

Problema
A teoria atual de aprendizado profundo analisa predominantemente redes neurais através da lente do espaço de parâmetros, focando em vetores de pesos, paisagens de perda e dinâmica de otimização. Embora o limite de largura infinita das redes neurais seja bem compreendido como convergindo para Processos Gaussianos (GPs), essa perspectiva trata redes de largura finita meramente como aproximações imperfeitas desse limite. Consequentemente, os efeitos não gaussianos, as correlações de ordem superior e as interações complexas inerentes às redes de largura finita e do mundo real são frequentemente descartados como erros de aproximação, em vez de serem reconhecidos como características estruturais fundamentais. O artigo aborda a necessidade de um arcabouço teórico que trate redes neurais de largura finita não como GPs falhas, mas como teorias de campo efetivas interagentes onde a "criticidade" emerge da interação entre o ponto fixo gaussiano e as perturbações de largura finita.

Metodologia
Os autores empregam um arcabouço de grupo de renormalização (RG) Wilsoniano aplicado à correspondência rede neural–teoria de campo quântico (QFT). As mudanças metodológicas centrais incluem:

Formulação no Espaço de Funções: A rede é definida não por seus parâmetros $\theta$ , mas como uma distribuição de probabilidade sobre funções $P_N[f]$ . Essa distribuição é formalizada via uma ação efetiva $S_N[f]$ , onde $P_N[f] \propto e^{-S_N[f]}$ .
Identificação do Ponto Fixo: O limite de largura infinita ( $N \to \infty$ ) é identificado como um ponto fixo de campo livre ( $S_\infty[f]$ ), caracterizado por uma ação efetiva quadrática e uma distribuição gaussiana totalmente determinada por um núcleo de covariância de dois pontos (o propagador).
Largura Finita como Perturbação: Os efeitos de largura finita são tratados como termos de interação ( $\Delta S_N[f]$ ) adicionados à ação livre. Esses termos introduzem operadores não gaussianos (ex: $\lambda_k^{(N)} f(x_1)\dots f(x_k)$ para $k \geq 3$ ) que geram funções de correlação de ordem superior conectadas.
Classificação Wilsoniana: Os autores classificam os operadores de largura finita com base em seu comportamento de escala sob o fluxo de RG:
- Relevantes: Crescem sob o refinamento (coarse-graining), dominando o comportamento em grande escala.
- Irrelevantes: Decaem sob o refinamento, tornando-se negligenciáveis conforme a largura aumenta.
- Marginais: Permanecem na fronteira, potencialmente controlando o comportamento crítico.
Diagnósticos: O arcabouço utiliza diagnósticos matemáticos específicos para medir o desvio do limite gaussiano, incluindo cumulantes conectados de ordem superior, expoentes de escala de funções de correlação e o fluxo de acoplamentos efetivos.

Principais Contribuições

Reenquadramento da Sobreparametrização: O artigo argumenta que a sobreparametrização (aumento da largura $N$ ) não aumenta necessariamente a complexidade funcional. Em vez disso, no espaço de funções, o aumento da largura suprime os termos de interação de largura finita, conduzindo o sistema ao ponto fixo gaussiano simples. Assim, uma rede altamente sobreparametrizada pode exibir "simplicidade funcional" (gaussianidade), enquanto uma rede mais estreita ou treinada pode exibir "complexidade funcional" (interações fortes).
Definição de Criticidade: A criticidade é redefinida não apenas como "borda do caos" em um sentido dinâmico, mas como um regime no espaço de funções onde os operadores de largura finita tornam-se relevantes ou marginais. Nesse regime, a distribuição de função induzida torna-se sensível à estrutura dependente de escala, e as funções de correlação conectadas de ordem superior são não-negligíveis, porém controladas.
Teoria de Campo Efetiva do Treinamento: O treinamento é conceituado como uma deformação da ação efetiva ( $S_{init} \to S_{trained}$ ). A generalização está ligada à supressão de interações não universais (irrelevantes), enquanto o overfitting corresponde à amplificação de acoplamentos específicos dos dados que não definem um comportamento estável no espaço de funções.
Universalidade Arquitetural: O arcabouço propõe que diferentes arquiteturas (CNNs, Transformers, RNNs) podem ser classificadas por seus pontos fixos gaussianos e pelo conjunto específico de perturbações de largura finita relevantes/marginais que admitem, em vez de serem classificadas unicamente pelo número de parâmetros ou desempenho empírico.

Resultados
O artigo apresenta uma série de diagnósticos teóricos e análises esquemáticas:

Convergência de Núcleo (Kernel): Núcleos empíricos convergem para o núcleo analítico de largura infinita com um erro de escala de $O(N^{-1/2})$ , confirmando a aproximação ao propagador de campo livre.
Escalonamento de Cumulantes: Cumulantes conectados de ordem superior (ex: o quarto cumulante e a curtose excessiva) escalam como $O(N^{-1})$ . Isso confirma que as correções de largura finita atuam como termos de interação perturbativos que desaparecem conforme $N \to \infty$ , mas são não-zero e estruturalmente significativos em largura finita.
Propagação de Correlação: A análise do parâmetro de sensibilidade $\chi$ (relacionado à variância dos pesos e derivadas de ativação) mostra que, próximo ao limite crítico ( $\chi = 1$ ), a escala de profundidade de correlação diverge. Isso apoia a visão de que redes próximas da criticidade preservam estruturas de correlação por muitas camadas, equilibrando-se entre regimes ordenados (colapso) e caóticos (explosão).
Estrutura de Fase: Diagramas de fase esquemáticos ilustram como o aumento da largura suprime acoplamentos efetivos, movendo o sistema de um regime de interação para o ponto fixo gaussiano. O comportamento crítico é identificado como um regime intermediário onde as interações são fortes o suficiente para gerar expressividade, mas controladas o suficiente para evitar instabilidade.

Significância e Alegações
O artigo afirma fornecer uma base teórica para estudar treinabilidade, generalização e universalidade arquitetural através da lente de pontos fixos wilsonianos e superfícies críticas. Sua principal significância reside na mudança do foco analítico do espaço de parâmetros para o espaço de funções, oferecendo uma linguagem matemática rigorosa (ações efetivas, funções beta, expoentes de escala) para descrever o comportamento de redes neurais.

Os autores explicitamente afirmam que este arcabouço:

Unifica conceitos: Conecta limites de largura infinita, correções de largura finita, sobreparametrização e a "borda do caos" em uma única teoria de campo efetiva.
Esclarece a complexidade: Resolve o paradoxo de por que modelos grandes generalizam bem, distinguindo entre complexidade no espaço de parâmetros (alta) e complexidade no espaço de funções (potencialmente baixa/gaussiana).
Reinterpreta efeitos de largura finita: Eleva as correções de largura finita de "erros" para o próprio mecanismo que permite a expressividade e o comportamento crítico em redes neurais reais.

O trabalho mantém-se modesto quanto ao seu escopo atual, reconhecendo que é um arcabouço conceitual. Nota-se que definir as transformações de refinamento específicas para diversos tipos de dados (imagens, texto, grafos) e derivar funções beta exatas para arquiteturas modernas (com mecanismos de atenção, conexões residuais, etc.) são problemas abertos para pesquisas futuras. O trabalho não propõe novos protocolos experimentais, mas estabelece um vocabulário teórico para futuros diagnósticos empíricos e matemáticos de criticidade em redes neurais.

Mais como este