💻 computer science

Revisiting Neural Processes via Fourier Transform and Volterra Series

Este artigo propõe uma nova classe de Processos Neurais equivariantes à translação que utilizam séries de Volterra para transparência analítica e introduzem Convoluções de Fourier de Conjunto para modelar eficientemente dados amostrados irregularmente com campos receptivos globais e escalonamento linear.

Autores originais: Peiman Mohseni, Nick Duffield, Raymond K. W. Wong

Publicado 2026-06-02

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Peiman Mohseni, Nick Duffield, Raymond K. W. Wong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Panorama Geral: Prevendo o Invisível

Imagine que você é um previsitor do tempo. Você tem algumas estações meteorológicas espalhadas (algumas em cidades, outras no meio do nada) relatando temperatura e vento. Seu objetivo é prever o clima para cada outro ponto no mapa, mesmo onde não há sensores.

No mundo do aprendizado de máquina, isso é chamado de Processos Neurais (NPs). Estes são modelos inteligentes que aprendem com alguns pontos de dados esparsos e desordenados para adivinhar a forma de toda a curva invisível (a "função latente") que os gerou.

No entanto, os modelos existentes têm dois grandes problemas:

O Problema da "Grade": Alguns modelos tentam forçar todos os dados em uma grade perfeita e organizada (como um papel milimetrado). Se seus dados estiverem espalhados ou o mapa for enorme, essa grade se torna grande demais para lidar ou você perde detalhes.
O Problema do "Todos-com-Todos": Outros modelos (como os Transformers) olham para cada ponto de dado e o comparam com todos os outros pontos para encontrar padrões. Isso é incrivelmente preciso, mas torna-se lento e caro muito rapidamente à medida que você adiciona mais dados (como tentar apresentar cada pessoa em uma festa a todas as outras pessoas).

Este artigo propõe uma nova maneira de resolver ambos os problemas de uma só vez.

As Duas Ideias Principais

Os autores introduzem duas ferramentas matemáticas para corrigir esses problemas: Séries de Volterra e Transformadas de Fourier.

1. A Série de Volterra: A "Receita" para a Complexidade

O Problema: Os modelos atuais são como caixas pretas. Eles empilham camada após camada de matemática, e não sabemos realmente por que funcionam ou que tipo de padrões estão de fato aprendendo. É difícil de interpretar.

A Solução: Os autores utilizam algo chamado Série de Volterra.

A Analogia: Imagine que você está fazendo um bolo. Um modelo simples pode apenas dizer: "Misture farinha e açúcar". Um modelo complexo pode dizer: "Misture farha, açúcar, ovos, manteiga, baunilha e asse a 175 graus por 30 minutos, mas se estiver chovendo, adicione um ovo extra".
A Série de Volterra é como um livro de receitas mestre que decompõe qualquer processo de "mistura" complexo em uma soma de etapas mais simples:
- Passo 1: Apenas os ingredientes (Linear).
- Passo 2: Como os ingredientes interagem entre si (Quadrática).
- Passo 3: Como três ingredientes interagem (Cúbica), e assim por diante.

Ao usar isso, os autores podem descrever o comportamento do seu modelo de forma clara (é "analiticamente transparente") em vez de apenas adivinhar. Eles podem provar exatamente como o modelo combina os pontos de dados.

2. Convoluções de Fourier de Conjunto (SFConvs): O "Sintonizador de Rádio"

O Problema:

Modelos de grade (como ConvCNPs) são rápidos, mas precisam que os dados estejam em uma grade perfeita. Se você tiver dados de uma costa recortada ou de uma nuvem 3D, terá que forçá-los em uma caixa, o que desperdiça memória e perde detalhes.
Modelos de atenção (como Transformers) funcionam com dados desordenados, mas são lentos porque comparam cada ponto com todos os outros pontos.

A Solução: Os autores utilizam Transformadas de Fourier (SFConvs).

A Analogia: Imagine que você está ouvindo um rádio.
- Domínio Espacial (A maneira antiga): Você observa a onda sonora conforme ela se move através do tempo. Para entender a música inteira, você tem que analisar cada oscilação na onda. Isso é difícil se a onda for desordenada.
- Domínio da Frequência (A nova maneira): Você sintoniza o rádio em frequências específicas (notas). Em vez de olhar para toda a onda bagunçada, você apenas olha para os botões de "Grave Baixo", "Médio-Agudo" e "Tom Alto".
Por que funciona: A maioria dos sinais naturais (como o clima, imagens ou o fluxo de fluidos) possui a maior parte de suas informações importantes nas "notas baixas" (baixas frequências).
A Magia: Ao trabalhar diretamente com essas "notas" (frequências) em vez da "onda" desordenada (pontos espaciais), o modelo:
1. Pula a Grade: Ele não precisa forçar os dados em uma grade. Pode lidar com pontos espalhados diretamente.
2. Vê Tudo de Uma Vez: No mundo das frequências, uma "nota" conecta-se a todo o sinal. Isso dá ao modelo uma "visão global" (ele pode ver como uma tempestade em Londres afeta o clima em Paris) sem ter que comparar cada ponto individualmente.
3. Mantém-se Rápido: Ele escala linearmente (adicionar mais dados adiciona apenas um pouco de trabalho), ao contrário da escala quadrática lenta dos modelos de atenção.

Os Novos Modelos: SFConvCNPs e SFVConvCNPs

Os autores construíram dois novos modelos baseados nessas ideias:

SFConvCNPs: Estes modelos utilizam a abordagem do "Sintonizador de Rádio" (Fourier). Eles empilham camadas dessas operações baseadas em frequência. São rápidos, lidam com dados desordenados e veem o "quadro geral".
SFVConvCNPs: Estes modelos combinam o "Sintonizador de Rádio" com o "Livro de Receitas" (Volterra). Eles usam o método de Fourier para lidar com os dados de forma eficiente, mas estruturam a matemática usando a série de Volterra para garantir que o modelo seja interpretável e capture interações não lineares complexas.

O Que Eles Descobriram? (Os Resultados)

Os autores testaram estes novos modelos contra os melhores modelos existentes (como Processos Neurais padrão, Transformers e Processos Neurais Convolucionais) em vários desafios:

Tarefas Matemáticas Sintéticas: Eles tentaram prever ondas serrilhadas (ondas dente de serra) e curvas suaves. Os novos modelos foram melhores em prever as partes nítidas e serrilhadas onde outros modelos falharam.
Dinâmica Predador-Presa: Eles simularam raposas e coelhos. Os novos modelos previram os ciclos populacionais com precisão, mesmo ao passar de dados simulados para dados históricos reais (registros de lebre-e-lince da Baía de Hudson).
Preenchimento de Imagens: Eles tentaram "preencher as lacunas" de partes ausentes de imagens (como o CIFAR-10). Os novos modelos fizeram um ótimo trabalho reconstruindo os pixels ausentes.
Dinâmica de Fluidos e Clima: Eles modelaram fluxos de fluidos complexos (fluxo de Kolmogorov) e dados climáticos reais (temperatura ERA5).
- Vitória Chave: Quando testaram os modelos em uma região da Europa que não tinham visto durante o treinamento (um mapa "deslocado"), os novos modelos (que respeitam a simetria de translação) performaram perfeitamente. Os modelos antigos, que dependiam de posições absolutas, falharam completamente quando o mapa se moveu.

Resumo

Pense neste artigo como uma atualização no motor de um carro.

Carros antigos tinham uma ótima suspensão (boas para estradas lisas/grades) mas não consegiam lidar com terrenos off-road, ou tinham ótimos pneus off-road (atenção) mas eram pesados e lentos.
Este artigo introduz um novo sistema de suspensão (Volterra) que explica exatamente como o carro lida com os solavancos, e novos pneus (Fourier) que podem dirigir em qualquer terreno (dados espalhados) sem ficar preso, mantendo-se rápidos e eficientes no consumo de combustível.

O resultado é um modelo que é rápido, preciso, interpretável (sabemos como ele funciona) e robusto (funciona mesmo quando os dados se movem para um novo local).

Resumo Técnico: Revisitando Processos Neurais via Transformada de Fourier e Séries de Volterra

Declaração do Problema

Modelar funções latentes desconhecidas a partir de medições finitas e amostradas irregularmente é um desafio persistente em domínios científicos e de engenharia, como a modelagem de turbulência e a ciência climática. Embora os Processos Neurais (NPs) ofereçam uma estrutura probabilística para aprender distribuições sobre funções, as variantes de equivalência por translação existentes enfrentam duas limitações primárias:

Falta de Interpretabilidade: As arquiteturas atuais tipicamente empilham componentes genéricos com não-linearidades. Embora empiricamente eficazes, isso obscurece a classe de função induzida, limitando a análise e a interpretabilidade fundamentadas.
Compromissos de Escalabilidade: Os NPs com equivalência por translação existentes sofrem de gargalos de escalabilidade complementares. Os CNPs Convolucionais (ConvCNPs) dependem de grades uniformes densas para alavancar redes convolucionais, o que se torna computacionalmente proibitivo em domínios espaciais de alta dimensão ou grandes, e restringe os campos receptivos a vizinhanças locais. Por outro lado, métodos baseados em atenção (ex: TE-TNPs) operam diretamente em entradas não estruturadas e modelam interações globais, mas escalam quadraticamente com o número de observações, tornando-os impraticáveis para conjuntos de contexto grandes.

Metodologia

Os autores propõem um framework que reconcilia transparência analítica com eficiência prática através de duas inovações técnicas centrais: a representação de série de Volterra e as Convoluções de Fourier de Conjunto (SFConvs).

1. Representação de Volterra de Operadores Equivariantes

O artigo estende o framework de deep set convolucional caracterizando operadores contínuos de equivalência por translação usando a teoria das séries de Volterra.

Caracterização Analítica: Análogo a uma expansão de Taylor, uma série de Volterra expressa qualquer operador contínuo de equivalência por translação como uma soma infinita de operadores de convolução multilineares de ordem crescente. Isso fornece uma caracterização explícita e construtiva do operador $\rho_d$ , oferecendo uma transparência analítica ausente em construções padrão de aprendizado profundo.
Aproximação Eficiente: A avaliação direta de convoluções de ordem alta é computacionalmente inviável. Os autores aproveitam a multilinearidade dos operadores de Volterra e o teorema de Fubini para reorganizar termos de ordem superior em uma forma aninhada (cascata). Isso reduz a avaliação de uma expansão de Volterra truncada para o cálculo apenas de convoluções de primeira e segunda ordem.
Decomposição de Baixo Rank: Para abordar o gargalo computacional das convoluções de segunda ordem (que envolvem produtos tensoriais quadráticos), os autores impõem uma estrutura de baixo rank ao kernel quadrático via decomposição espectral de Hilbert–Schmidt. Isso aproxima o termo de segunda ordem como uma soma de produtos de convoluções de primeira ordem, parametrizada e aprendida diretamente sem impor restrições estritas de ortonormalidade.

2. Convoluções de Fourier de Conjunto (SFConvs)

Para superar as limitações de discretização e localidade dos métodos baseados em grade, os autores introduzem as SFConvs, uma parametrização de deep sets convolucionais no domínio da frequência.

Parametrização Direta na Frequência: Em vez de discretizar as entradas em uma grade espacial, as SFConvs operam diretamente no embedding funcional do conjunto de contexto no domínio de Fourier. Pelo teorema da convolução, a convolução no domínio espacial corresponde à multiplicação ponto a ponto no domínio da frequência.
Lidando com Entradas Irregulares: O embedding funcional $\rho_e[D_c]$ admite uma transformada de Fourier de forma fechada quando utilizando kernels gaussianos. Isso permite o cálculo de coeficientes espectrais em frequências arbitrárias sem discretização espacial, evitando problemas de "descompasso de grade" onde a mudança na resolução da grade altera as frequências físicas associadas aos pesos aprendidos.
Campos Receptivos Globais e Escala Linear: A multiplicação no domínio da frequência induz campos receptivos aproximadamente globais, permitindo capturar dependências de longo alcance. Crucialmente, como o método opera em uma grade de frequência fixa e compacta $\Xi$ (onde $|\Xi| \ll |G|$ , o tamanho de uma grade espacial densa), a complexidade computacional escala linearmente com o número de observações, $O(|\Xi|(|D_c| + |D_q|))$ .

3. Modelos Propostos

Construindo sobre esses componentes, os autores propõem duas classes de Processos Neurais Condicionais (CNPs):

SFConvCNPs: Construídos pelo empilhamento de blocos SFConv intercalados com não-linearidades ponto a ponto.
SFVConvCNPs: Construídos dentro do framework de Volterra, integrando a formulação de Volterra com SFConvs para aproximar explicitamente interações de ordem superior.

Principais Contribuições

Caracterização Fundamentada: O artigo fornece uma caracterização fundamentada de operadores contínuos de equivalência por translação como somas de convoluções de ordem superior via série de Volterra, oferecendo uma alternativa analiticamente transparente às pilhas de aprendizado profundo opacas.
Convoluções de Fourier de Conjunto: A introdução das SFConvs alivia as limitações de escalabilidade dos métodos baseados em grade ao operar diretamente no domínio de Fourier em entradas irregulares, induzindo campos receptivos globais enquanto mantém a complexidade linear.
Novas Arquiteturas de Modelos: A proposta de SFConvCNPs e SFVConvCNPs, que demonstram forte desempenho empírico em benchmarks sintéticos e do mundo real, superando ou igualando os baselines de estado da arte.

Resultados Experimentais

Os autores avaliaram seus métodos em cinco benchmarks de regressão com dimensionalidades de entrada $d_X \in \{1, 2, 3\}$ :

Regressão Sintética 1D: Em tarefas envolvendo processos RBF, Matérn, periódicos, dente-de-serra e onda quadrada, os modelos SFConvCNPs e SFVConvCNPs superaram consistentemente ou igualaram métodos concorrentes (incluindo CNPs, AttnCNPs, TNP, TE-TNP e ConvCNPs). Notavelmente, modelos baseados em atenção colapsaram na tarefa de dente-de-serra (um desafio de alta frequência), enquanto os modelos de convolução propostos tiveram sucesso.
Regressão Predador–Presa: Em trajetórias simuladas de Lotka–Volterra e dados reais de lebre–lince da Baía de Hudson, os modelos baseados em SFConv alcançaram log-verossimilhanças preditivas e scores CRPS competitivos ou superiores em relação aos baselines.
Preenchimento de Imagem 2D: Nos datasets CIFAR-10 e SVHN, o SFConvCNP alcançou as melhores log-verossimilhanças preditivas, superando levemente os baselines espectrais baseados em grade (SConvCNPs) e modelos baseados em transformer.
Regressão Espaçotemporal 3D:
- Fluxo de Kolmogorov: O SFConvCNP alcançou a maior log-verossimilhança (1.89) e o menor CRPS (0.03) em tarefas complexas de dinâmica de fluidos, superando os ConvCNPs baseados em grade e baselines não-convolucionais.
- ERA5 Climate: Em uma tarefa de transferência sim-to-real prevendo temperatura do ar sobre a Europa, o SFConvCNP demonstrou generalização superior para regiões geográficas distintas (Oeste e Norte) comparado a baselines não-equivariantes, que sofreram degradação significativa de performance. Os modelos equivariantes mantiveram a performance, confirmando sua dependência de deslocamentos relativos em vez de posições absolutas.

Significância e Alegações

O artigo afirma apresentar um framework fundamentado e escalável para processos neurais condicionais de equivalência por translação. Sua significância reside em:

Unindo Teoria e Prática: Ao usar séries de Volterra, os autores tornam a estrutura de representação dos deep sets convolucionais analiticamente transparente, indo além de heurísticas empíricas para um design sistemático de operadores.
Resolvendo Compromissos de Escalabilidade: A abordagem SFConv resolve o conflito entre a necessidade de interações globais e a necessidade de escalabilidade linear. Ela evita o custo exponencial da discretização espacial em altas dimensões enquanto evita o custo quadrático dos mecanismos de atenção.
Generalização Robusta: Os modelos demonstram generalização robusta para regiões espaciais não vistas e padrões de amostragem irregulares, um requisito crítico para aplicações científicas como modelagem climática e dinâmica de fluidos.

Os autores enfatizam que seu trabalho introduz processos neurais no domínio da frequência capazes de inferência probabilística eficiente em dados espaço-temporais amostrados irregularmente, combinando escalabilidade linear com interação global e operadores interpretáveis.