Implicit Neural Representations: A Signal Processing Perspective

1. Problema e Motivação

Tradicionalmente, sinais (imagens, áudio, vídeo, dados volumétricos) são representados através de amostras discretas, coeficientes de transformada ou descrições baseadas em grades (pixels, voxels). Embora essa visão discreta tenha sido fundamental para o armazenamento e compressão modernos, ela apresenta limitações inerentes para tarefas que são, por natureza, contínuas, como:

• Interpolação e super-resolução.
• Deformação geométrica e reconstrução inversa.
• Modelagem de campos físicos e geometria contínua.

Nas abordagens convencionais, a continuidade é introduzida apenas após a discretização (via kernels de interpolação ou regularização), tornando a representação fundamentalmente atrelada a uma grade fixa. O artigo propõe uma mudança de paradigma: tratar o sinal não como um conjunto de valores discretos, mas como uma função contínua parametrizada por uma rede neural.

2. Metodologia e Fundamentos

O artigo define as Representações Neurais Implícitas (INRs) como funções contínuas $f_\theta: \Omega \subset \mathbb{R}^d \to \mathbb{R}^c$, onde:

• $\Omega$ é o domínio do sinal (ex: coordenadas espaciais, tempo, direção).
• $c$ é o número de canais (ex: RGB, amplitude).
• $\theta$ são os pesos da rede neural que codificam implicitamente o sinal.

A metodologia é analisada através de três lentes principais do processamento de sinais:

A. Da Amostragem Discreta à Função Contínua

Ao contrário de modelos clássicos que estimam coeficientes para uma base fixa (ex: Fourier, Wavelets), as INRs aprendem um espaço de aproximação não linear. As amostras observadas são tratadas como medições de um sinal subjacente contínuo, e a rede aprende o mapa de reconstrução diretamente. Isso permite consultas em qualquer coordenada, independentemente da grade de treinamento, viabilizando super-resolução e amostragem não uniforme.

B. Viés Espectral (Spectral Bias) e Design de Ativações

Um dos principais desafios das INRs é o viés espectral: redes neurais padrão (com ativações ReLU, Sigmoid) tendem a aprender estruturas de baixa frequência primeiro, negligenciando detalhes de alta frequência. O artigo revisa a evolução das soluções para mitigar isso:

1. Codificação Posicional (PE): Mapeia coordenadas de entrada para um espaço de características de alta dimensão usando senos e cossenos (features de Fourier aleatórios ou estruturados) para expor frequências mais altas à rede.
2. Ativações Periódicas (SIREN): Substitui ativações padrão por funções seno ($\sin(\omega x)$), que possuem derivadas naturais e permitem a representação precisa de detalhes finos e campos vetoriais.
3. Oscilações Localizadas (WIRE): Utiliza wavelets (Gabor complexos) para combinar expressividade de frequência com localização espacial, evitando que erros se espalhem globalmente.
4. Modelagem Adaptativa de Frequência: Técnicas como FINER e MIRE ajustam dinamicamente a frequência ou escolhem ativações diferentes por camada para corresponder melhor ao espectro do sinal específico.
5. Reparametrização e Bases Aprendidas: Abordagens como Fourier Reparameterized Training e SL2A-INR aprendem as bases ou os coeficientes espectrais diretamente, alinhando o espaço de otimização com a estrutura do sinal.

C. Estruturas Hierárquicas e Escalonáveis

Para lidar com sinais complexos e grandes volumes de dados, o artigo discute arquiteturas que organizam a representação:

• MINER: Usa pirâmides de Laplaciano para modelar resíduos de alta frequência em redes locais, separando estrutura global de detalhes locais.
• Instant-NGP: Utiliza tabelas de hash multirresolução para codificação de entrada, permitindo treinamento rápido e inferência eficiente.
• Meta-learning e Hypernetworks: Abordagens como MetaSDF e HyperINR aprendem um prior sobre a família de funções, permitindo adaptação rápida a novos sinais sem otimização por instância.

3. Contribuições Principais

O artigo não é apenas uma revisão arquitetural, mas uma reinterpretação teórica das INRs sob a ótica do processamento de sinais:

1. Unificação de Modalidades: Demonstra que a mesma estrutura funcional pode representar imagens, áudio, vídeo, geometria (SDFs, campos de ocupação) e dados espectrais, adaptando-se apenas pelo domínio de entrada e saída.
2. Conexão com Teoria de Amostragem: Estabelece ligações formais entre INRs e a Teoria de Amostragem de Shannon, analisando quais funções de ativação formam bases de Riesz estáveis para reconstrução (ex: mostrando que a ativação sinc é teoricamente ótima para reconstrução estável).
3. Operadores Diferenciais: Destaca que, por serem diferenciáveis, as INRs permitem o cálculo analítico de gradientes, Laplacianos e integrais via diferenciação automática, facilitando a incorporação de restrições físicas (PDEs) diretamente no treinamento.
4. Taxonomia de Design: Classifica as INRs não apenas por arquitetura, mas por como elas moldam o espaço de aproximação (espectral, local, adaptativo).

4. Resultados e Aplicações

O artigo detalha o desempenho e a aplicabilidade das INRs em diversos domínios:

• Imagens Médicas e Radar: As INRs superam métodos baseados em grades em problemas de reconstrução inversa esparsa (ex: MRI, SAR), pois modelam a geometria contínua e a física de aquisição, reduzindo artefatos de "escada" e ambiguidades de altura.
• Compressão: Abordagens como COIN e SINR tratam os pesos da rede como o sinal comprimido. Ao invés de transmitir pixels, transmite-se os parâmetros $\theta$ (ou códigos latentes), permitindo decodificação em resolução arbitrária e exploração de esparsidade no espaço de parâmetros.
• NeRF (Neural Radiance Fields): Apresentado como o caso de uso mais influente, onde a INR modela um campo volumétrico contínuo de densidade e cor, permitindo síntese de novas vistas com alta fidelidade geométrica e fotométrica.
• Classificação e Avaliação de Qualidade (IQA): Propõe-se o uso dos parâmetros da INR ou de características extraídas da função contínua para classificação e avaliação de qualidade, oferecendo robustez a variações de resolução e capturando estruturas semânticas que métricas de pixel (MSE/PSNR) ignoram.

5. Significado e Conclusão

O artigo conclui que as INRs representam uma extensão contínua e aprendida do processamento de sinais clássico.

• Mudança de Paradigma: Elas deslocam o foco da representação de "amostras" para a representação de "funções".
• Flexibilidade: A separação entre a representação e a grade de amostragem permite operações que são intrinsecamente difíceis em métodos discretos, como interpolação perfeita e integração com leis físicas.
• Desafios Futuros: O trabalho aponta para a necessidade de melhor compreensão teórica do espaço de pesos, escalabilidade para grandes conjuntos de dados e a integração com modelos generativos e restrições de incerteza.

Em suma, o artigo posiciona as INRs não apenas como uma ferramenta de aprendizado profundo, mas como um framework unificado para modelagem de sinais contínuos, onde escolhas arquiteturais (ativações, codificação, estrutura) são equivalentes a escolhas de bases e transformadas no processamento de sinais tradicional.