Resumo Técnico: FiRe (Reparametrização de Frequência)

1. Declaração do Problema

Representações Neurais Implícitas (INRs) periódicas, como SIREN e FINER, são projetadas para codificar sinais contínuos substituindo as funções de ativação ReLU padrão por funções sinusoidais. No entanto, essas arquiteturas sofrem de viés espectral (spectral bias), um fenômeno onde o gradiente descendente naturalmente ajusta os componentes de baixa frequência de um sinal primeiro, enquanto detalhes de alta frequência (texturas finas, bordas nítidas) são recuperados lentamente.

A limitação central das INRs periódicas existentes é que elas atribuem um multiplicador de frequência global único ($\omega_0$) a cada neurônio. Essa abordagem aloca o orçamento representacional de forma ineficiente porque diferentes partes de um sinal (por exemplo, uma borda nítida vs. um fundo suave) requerem frequências locais diferentes. Embora métodos como o FINER tentem tornar a frequência dependente da entrada, alimentando o envelope de frequência com as magnitudes pré-ativação, eles ainda dependem de parâmetros globais fixos ou estruturas de ativação específicas. O desafio é tornar a frequência por neurônio treinável e dependente da entrada sem simplesmente aumentar o multiplicador de frequência global (o que altera a classe da função) ou adicionar parâmetros excessivos.

2. Metodologia: FiRe (Reparametrização de Frequência)

O FiRe introduz um mecanismo para reparametrizar a frequência de INRs periódicas, atribuindo uma escala de frequência limitada e dependente da entrada a cada neurônio.

Mecanismo Central

Em vez de dobrar a frequência na matriz de pesos principal, o FiRe insere um caminho de portão (gating) de baixo posto que multiplica a pré-ativação antes da função de ativação.
Para uma ativação SIREN padrão $h = \sin(\omega_0(Wx + b))$, o FiRe modifica para:
$$h = \sin(\omega_0 \cdot s(x) \odot (Wx + b))$$
Onde $s(x) \in (0, 2)$ é um portão aprendido implementado como um gargalo de baixo posto:
$$s(x) = 2 \sigma(U_{\uparrow} U_{\downarrow} x + b_{\uparrow})$$
Aqui, $U_{\uparrow}$ e $U_{\downarrow}$ são matrizes de baixo posto, e $\sigma$ é a sigmoide logística. Esta estrutura garante que a frequência permaneça limitada e estável.

Inicialização e Controles

• Inicialização: O portão é inicializado de tal forma que $U_{\uparrow} = 0$ e $b_{\uparrow} = 1$, resultando em um valor de portão constante $s_i \approx 1.46$ no início. Isso garante que o FiRe comece como uma rede periódica padrão com uma frequência escalonada.
• Equalização de Frequência ($w_{scale}$): Para garantir que os ganhos de desempenho não sejam meramente devido a uma frequência global mais alta, os autores utilizam um controle de reescalonamento de pesos. Os pesos da rede de referência são escalonados por $1/1.46$ para que a frequência realizada por neurônio da base coincida exatamente com a do FiRe no início.
• Correspondência de Parâmetros: As bases são alargadas para corresponder à contagem de parâmetros do FiRe (adicionando um excesso de 1,4%–7,7% dependendo do posto), garantindo que os ganhos não sejam devidos ao aumento da capacidade.

Mecanismo Teórico: Decomposição NTK

O artigo fornece uma explicação teórica baseada no Kernel de Tangente Neural (NTK).

• Decomposição Aditiva: Como os parâmetros do caminho do portão ($\theta_g$) e os parâmetros do caminho portador/sinal ($\theta_c$) são disjuntos, o NTK empírico ($K$) se decompõe exatamente em uma soma aditiva:
  $$K = K_c + K_g$$
• Pré-condicionamento Implícito: O caminho do portão contribui com um bloco semidefinido positivo ($K_g$) para o kernel. Mesmo que o portão seja funcionalmente constante na inicialização, seu gradiente em relação aos seus próprios parâmetros é não-zero. Isso adiciona novas direções tangentes ao cenário de otimização sem alterar o mapa direto (forward map).
• Efeitos Espectrais: Pela desigualdade de Weyl, adicionar $K_g$ eleva os autovalores do kernel total. Isso aumenta o posto efetivo do espaço tangente (em 23–44% em experimentos) e melhora o condicionamento do problema de otimização na inicialização.
• Implicação de Convergência: No regime NTK "preguiçoso" (lazy regime), um kernel com autovalores e posto efetivo mais altos permite que o erro residual decaia mais rapidamente ao longo de mais autodireções. Isso explica por que o FiRe acelera a convergência precoce do treinamento, especificamente para componentes de alta frequência, que correspondem aos modos próprios de decaimento mais lento.

3. Resultados Principais

Os autores avaliaram o FiRe em tarefas de ajuste de imagens 2D usando os conjuntos de dados DIV2K e Kodak em várias resoluções (256², 512², 1024²) e postos.

• Aceleração de Convergência: O FiRe supera significativamente as bases com correspondência de parâmetros nos estágios iniciais do treinamento (orçamentos curtos típicos de ajuste de INR).
  • Na resolução 256², o FiRe-SIREN e o FiRe-FINER alcançaram ganhos de +0,5 a +0,7 dB de PSNR sobre as bases em 2000 épocas.
  • A vantagem é mais pronunciada em baixos postos (1–4) e diminui conforme o posto aumenta (ex: posto 8), sugerindo que o benefício vem de um modo de pré-condicionamento coerente, e não de capacidade bruta.
• Dependência de Resolução: O ganho de desempenho diminui à medida que a resolução da imagem aumenta. Isso é atribuído ao fato de que resoluções mais altas estão mais longe da convergência em um orçamento fixo; a "vantagem inicial" fornecida pelo FiRe torna-se uma fração menor do total de otimização necessário.
• Localização Espectral: Os ganhos concentram-se na banda de alta frequência. A análise espectral mostra que o FiRe acompanha a potência de alta frequência do ground truth mais de perto do que a base, enquanto as frequências baixas/médias são ajustadas igualmente bem por ambos.
• Sem Vantagem Assintótica: Crucialmente, conforme o treinamento progride para a convergência total (ex: 8000 épocas), a base com correspondência de parâmetros eventualmente ultrapassa o FiRe. Isso confirma que o FiRe não altera a classe da função ou a solução final, mas atua como um pré-condicionador para a trajetória de otimização.
• Estabilidade: A frequência realizada do FiRe permanece compatível com a da base durante todo o treinamento, confirmando que os ganhos se devem à reparametrização, e não a um deslocamento de frequência oculto.

4. Significância e Alegações

O artigo posiciona o FiRe como um método para acelerar a otimização, em vez de expandir a capacidade representacional da rede.

• Isolamento do Mecanismo: Os autores enfatizam que ganhos aparentes anteriores na literatura de INR podem ter sido confundidos por aumentos não controlados na frequência global ou na contagem de parâmetros. Ao controlar rigorosamente esses fatores, eles isolam o efeito da geometria de otimização do portão.
• Pré-condicionamento Implícito: O FiRe é identificado como um pré-condicionador implícito que melhora o condicionamento do NTK na inicialização. Isso fornece uma ponte teórica entre a reparametrização e a convergência mais rápida no regime de alta frequência.
• Utilidade Prática: O método é mais valioso em cenários onde as INRs são treinadas para um orçamento fixo e curto (comum na prática), em vez de até a convergência total. Nesses cenários, o FiRe produz reconstruções de maior qualidade de detalhes finos e texturas.
• Modéstia: Os autores afirmam explicitamente que o FiRe não oferece vantagem na convergência total e que a explicação baseada em NTK depende da aproximação do "regime preguiçoso", que enfraquece conforme o treinamento progride. O método é atualmente limitado ao ajuste de imagens 2D, e sua extensão para 3D (SDFs, NeRF) permanece uma questão aberta.

Em resumo, o FiRe demonstra que reparametrizar a frequência de neurônios periódicos através de um portão de baixo posto pode melhorar significamente o condicionamento do cenário de otimização, levando a uma convergência mais rápida e melhor reconstrução de alta frequência, desde que a comparação seja feita contra bases estritamente compatíveis em frequência e parâmetros.