Neural Network Field Theory at Finite Width

Resumo Técnico: Teoria de Campo de Redes Neurais em Largura Finita

Enunciado do Problema
O artigo investiga as limitações de representar a Mecânica Quântica (MQ) e as Teorias de Campo Quântico (QFT) usando redes neurais (NN) com um número finito de parâmetros ($N < \infty$). Embora trabalhos anteriores tenham estabelecido que qualquer MQ ou QFT com uma medida não negativa admite uma representação exata via uma rede neural com um número enumerável infinito de parâmetros aleatórios, as propriedades de tais representações quando truncadas para largura finita permanecem obscuras. A questão central é: quais propriedades fundamentais das QFTs euclidianas convencionais (como positividade de reflexão, decomposição de agrupamento e a natureza específica das configurações de campo) podem ser preservadas exatamente em $N$ finito, e quais devem ser violadas?

Uma sutileza fundamental abordada é que, via o teorema de isomorfismo de Borel, um único parâmetro aleatório pode formalmente codificar uma quantidade infinita de informação. Portanto, os autores distinguem entre "finito" no sentido de contagem de parâmetros versus "finito" em um sentido computacional ou arquitetural. A análise foca em arquiteturas naturais de largura finita, como redes de camada única com características fixas ou pesos de entrada aleatórios, que não podem esconder computações infinitas dentro de um conjunto finito de parâmetros.

Metodologia
Os autores empregam uma combinação de análise funcional, teoria espectral e técnicas de QFT construtiva para analisar conjuntos de redes neurais de largura finita. A metodologia procede em duas etapas principais:

1. Mecânica Quântica (1D): Os autores analisam processos estocásticos $x(t)$ que representam trajetórias quânticas. Eles utilizam a expansão Kosambi-Karhunen-Loève (KKL), que fornece uma decomposição ortogonal ótima de um processo estocástico baseada nos autofunções de seu operador de covariância. Eles comparam a natureza de posto infinito do núcleo de covariância na MQ padrão (derivada dos axiomas de Osterwalder-Schrader) contra a natureza de posto finito de qualquer rede de largura finita.
2. Teoria de Campo Quântico (d $\ge$ 2): A análise muda para campos aleatórios generalizados (distribuições de Schwartz). Eles examinam três obstruções específicas:
   • Limites de Pontos Coincidentes: Eles analisam o comportamento das funções de dois pontos conforme os pontos coincidem ($x \to y$), que tipicamente divergem em QFT devido a singularidades ultravioletas (UV).
   • Análise no Espaço de Momento: Eles investigam o suporte da transformada de Fourier das configurações de campo, utilizando a propriedade de decomposição de agrupamento (mixing) para determinar o conteúdo de momento de amostras típicas de campo.
   • Neurônios Distribucionais: Eles testam se permitir que os próprios neurônios sejam distribuições de Schwartz (em vez de funções comuns) pode resolver o descompasso entre redes de largura finita e configurações de campo de QFT.

Contribuições Principais e Resultados

1. Obstrução em Mecânica Quântica (N Finito)
O artigo prova que uma rede neural de largura finita não pode reproduzir exatamente as funções de correlação de um sistema mecânico quântico convencional que satisfaça os axiomas de Osterwalder-Schrader (OS).

• Argumento de Contagem de Dimensão: Integrais de caminho da MQ padrão são suportadas em caminhos contínuos e não diferenciáveis (ex: movimento browniano). Uma soma finita de funções diferenciáveis por partes (neurônios padrão) gera caminhos que são diferenciáveis quase em toda parte, falhando em capturar a natureza não diferenciável do processo real.
• Argumento de Otimalidade KKL: O núcleo de covariância de um sistema de MQ não trivial possui infinitos autovalores estritamente positivos (posto infinito). Uma rede de largura finita corresponde a uma projeção sobre um subespaço de dimensão finita. Pela otimalidade da expansão KKL, qualquer truncamento finito incorre em um erro quadrático médio não nulo. Especificamente, os autores mostram que para qualquer espaço de características finito, existe uma direção no espaço de funções onde a rede tem variância zero, enquanto o processo de MQ real possui variância estritamente positiva em toda direção não nula (Lema 2).

2. Obstruções em Teoria de Campo Quântico (N Finito)
Para $d \ge 2$, os autores identificam que redes neurais de largura finita genericamente violam pelo menos um axioma de OS.

• Divergências de Pontos Coincidentes: QFTs convencionais com representações de Källén-Lehmann não triviais exibem funções de dois pontos divergentes em pontos coincidentes (logarítmicas em $d=2$, lei de potência em $d>2$).
  • Resultado: Qualquer arquitetura de largura finita onde as saídas dos neurônios possuem variância pontual limitada (uma condição satisfeita por ativações padrão como ReLU ou funções limitadas com parâmetros de momento finito) produz uma variância média (smeared) finita. Consequentemente, tais redes não podem reproduzir as divergências UV necessárias de uma QFT não trivial.
  • Exceção: Os autores mostram que se relaxarmos a condição de variância finita (ex: usando distribuições de cauda pesada ou amplitudes singulares), uma rede de largura finita (mesmo de largura 1) pode reproduzir a função de dois pontos correta e a positividade de reflexão. No entanto, isso requer estatísticas de parâmetros "não físicas" para amostragem de Monte Carlo prática.
• Obstrução no Espaço de Momento (Decomposição de Agrupamento):
  • Resultado: Sob a suposição de decomposição de agrupamento (mixing), uma amostra típica de campo em uma QFT deve ter suporte de Fourier sobre todo o espaço de momento $\mathbb{R}^d$.
  • Obstrução: Uma rede de camada única de largura finita $\phi_\theta(x) = \sum_{i=1}^N w_i \sigma_i(a_i \cdot x + b_i)$ tem sua transformada de Fourier suportada apenas na união de $N$ linhas (proporcional aos pesos de entrada $a_i$). Como uma união finita de linhas é um subconjeto de medida zero de $\mathbb{R}^d$ para $d \ge 2$, a rede não pode reproduzir o suporte de momento total exigido por uma QFT agrupada. Isso leva a uma violação da decomposição de agrupamento ou da positividade de reflexão em funções de ordem superior.
• Neurônios Distribucionais: Mesmo se os neurônios forem generalizados para distribuições de Schwartz (permitindo que a saída da rede seja uma distribuição em vez de uma função), a obstrução de posto finito persiste. Uma soma finita de distribuições ainda deixa um núcleo de dimensão infinita onde o campo é determinístico, contradizendo a covariância não trivial de Källén-Lehmann, que exige flutuações em todas as direções.

Significância e Alegações
O artigo conclui que representações de redes neurais de largura finita são fundamentalmente incompatíveis com o conjunto completo dos axiomas de Osterwalder-Schrader.

• Realização Exata: Para realizar exatamente uma QFT convencional via rede neural, deve-se ou tomar o limite de largura infinita ($N \to \infty$) ou empregar arquiteturas/densidades de parâmetros que explicitamente violem suposições físicas padrão (ex: usar parâmetros de variância infinita ou sacrificar a decomposição de agrupamento).
• Natureza das Teorias de N Finito: Teorias definidas por redes neurais de $N$ finito não são meramente "aproximações" de QFTs padrão; elas são teorias "exóticas" distintas que necessariamente carecem de propriedades como covariância euclidiana, positividade de reflexão ou decomposição de agrupamento.
• Implicações Práticas: Embora redes de largura finita não possam reproduzir exatamente uma QFT padrão, os autores observam que aproximações truncadas ainda são usadas em estudos numéricos (ex: teoria de Liouville, teoria de Maxwell). No entanto, as propriedades estatísticas dessas aproximações não são garantidas de corresponder à teoria alvo, e os erros não são meramente numéricos, mas estruturais.

O trabalho não propõe novas aplicações experimentais, mas serve como uma caracterização teórica rigorosa das limitações das redes neurais de largura finita como representações de sistemas quânticos contínuos. Sugere que pesquisas futuras devem focar em quantificar o grau de violação dos axiomas de OS como uma função de $N$ e classificar quais combinações de axiomas podem ser preservadas em largura finita.