Resumo Técnico: Otimizando o Rank para Representações Neurais Implícitas de Alta Fidelidade

1. Declaração do Problema

As Representações Neurais Implícitas (INRs) tornaram-se um framework versátil para modelar diversas modalidades de sinais, incluindo formas, imagens, cenas e dados médicos. No entanto, os MLPs (Perceptrons Multicamadas) vanilla com ativações ReLU padrão são amplamente considerados como sofrendo de "viés espectral", uma limitação arquitetônica intrínseca que os impede de representar conteúdo de alta frequência de forma eficaz.

Consequentemente, o campo tem se concentrado amplamente em intervenções arquitetônicas para superar esse viés, tais como embeddings de coordenadas (ex: Fourier Features) e funções de ativação especializadas (ex: SIREN, WIRE). Embora esses métodos melhorem a expressividade, eles introduzem novos desafios: arquiteturas altamente expressivas frequentemente carecem de regularização implícita, levando a padrões oscilatórios em problemas inversos mal postos, enquanto arquiteturas com viés de baixa frequência podem falhar em ajustar detalhes finos.

Este artigo desafia a noção predominante de que o viés de baixa frequência é uma falha arquitetônica inerente. Em vez disso, os autores argumentam que é um sintoma da degradação do rank estável durante o treinamento. Eles postulam que a incapacidade dos MLPs vanilla de ajustar sinais de alta frequência decorre do colapso da dimensionalidade efetiva das atualizações de peso, e não da própria arquitetura da rede.

2. Metodologia: Uma Perspectiva de Rank Estável

Os autores deslocam o foco do design arquitetônico para a dinâmica de otimização, utilizando o conceito de rank estável como uma métrica unificadora.

2.1 Estrutura Teórica

O artigo estabelece uma ligação álgebra-linear entre ativações e atualizações de peso. Para uma camada $l$, o gradiente em relação aos pesos é definido como o produto externo do gradiente ascendente e as ativações de entrada: $\nabla W_l \mathcal{L} = G_{l+1} H_l^\top$.

• Restrição de Rank: O espaço linha da atualização de peso está contido no span das ativações do lote ($rowspace(\nabla W_l \mathcal{L}) \subseteq colspace(H_l)$).
• Degradação: Em redes baseadas em coordenadas, as ativações de entrada frequentemente residem em subespaços de baixa dimensão. À medida que os sinais propagam pelas camadas, as não linearidades podem aumentar localmente o rank, mas sem intervenções específicas, a rede tende a operar em subespaços progressivamente de menor dimensão, levando ao "colapso de rank".
• Rank Estável: Os autores utilizam o rank estável, $s(A) = \frac{\|A\|_F^2}{\|A\|_2^2}$, para quantificar a dimensionalidade efetiva dessas atualizações. Um baixo rank estável indica que a atualização está concentrada em poucas direções singulares, limitando a capacidade da rede de aprender detalhes de alta frequência.

2.2 Reinterpretando Intervenções Existentes

Os autores reinterpretam modificações arquitetônicas comuns através desta lente:

• Nível de Entrada (ex: Fourier Features): Estas expandem a matriz de entrada do lote $H_0$, aumentando o limite superior do rank estável da atualização da primeira camada.
• Nível de Ativação (ex: SIREN, BatchNorm): Visam manter o span das ativações $H_l$ ao longo da rede, evitando que o rank diminua com a profundidade.

2.3 Solução Proposta: O Otimizador Muon

O artigo propõe que o remédio mais direto é intervir no nível do otimizador. Eles introduzem o Muon, um otimizador ortogonalizante projetado para impor explicitamente a isotropia nas atualizações de gradiente.

• Mecanismo: Para uma matriz de atualização de peso $U$, o Muon a mapeia para a matriz semi-ortogonal mais próxima $Ortho(U)$ (via iteração de Newton-Schulz, aproximando o SVD). Isso força a atualização a ser distribuída uniformemente em todas as direções singulares, maximizando o rank estável da atualização para $\min(d_l, d_{l+1})$.
• Implementação: O Muon é aplicado às matrizes de peso das camadas ocultas, enquanto o Adam padrão é mantido para vieses e parâmetros de entrada/saída para manter a estabilidade e eficiência. Esta abordagem é agnóstica ao modelo e opera nos gradientes reais por passo.

3. Principais Contribuições

1. Rank Estável como uma Métrica Unificadora: O artigo propõe o rank estável como uma medida chave de expressividade em INRs, argumentando que a degradação do rank durante o treinamento, e não as limitações arquitetônicas, é a causa primária do viés de baixa frequência em MLPs vanilla.
2. Framework Unificador: Fornece um framework que explica a eficácia de diversas modificações arquitetônicas (embeddings de coordenadas, ativações alternativas) como métodos para aumentar ou preservar o rank estável.
3. Otimizador Muon: Os autores propõem o Muon, um otimizador ortogonalizante que previne explicitamente o colapso de rank, servindo como um remédio natural para o aprendizado de sinais de alta fidelidade sem exigir mudanças arquitetônicas.
4. Validação Empírica: Experimentos extensos demonstram que o Muon melhora significativamente o desempenho em todas as arquiteturas testadas (ReLU MLPs, SIREN, FINER, etc.) e modalidades (imagens, áudio, formas 3D, CT médica, NeRFs).

4. Resultados Experimentais

Os autores avaliaram o Muon contra o Adam (e Lion) em quatro domínios:

• Overfitting de Imagem (Dataset Kodak):

  • O Muon melhorou o PSNR de redes ReLU MLPs vanilla em ~7–8 dB (de ~22.8 para ~30.0 dB), trazendo-as para paridade com as Redes de Fourier Features (FFNs) treinadas com Adam.
  • Ganhos significativos (2–4 dB) também foram observados para Gaussian MLPs, SIREN e FINER.
  • A análise de rank estável mostrou que o Muon mantém um alto rank nas camadas ocultas, enquanto o Adam e o Lion exibem um colapso de rank significativo.

• Overfitting de Áudio:

  • O Muon alcançou uma Relação Sinal-Ruído (SNR) substancialmente maior em todas as arquiteturas. Para um ReLU FFN, o SNR melhorou em +12.5 dB.
  • ReLU MLPs vanilla falharam em reconstruir clipes de áudio longos com Adam, mas tiveram sucesso com Muon (em segmentos curtos), sugerindo que a falha foi devida à instabilidade de otimização, e não a limites de capacidade.

• Campos de Distância Assinados (SDF):

  • Nos datasets Armadillo e Thai Statue, o Muon reduziu a Distância de Chamfer e melhorou o IoU, particularmente para arquiteturas pequenas (8x32).

• Problemas Inversos:

  • Reconstrução de CT: O Muon melhorou o PSNR em até +7 dB para ReLU MLPs em reconstrução de CT de visão esparsa, reduzindo artefatos em estruturas heterogêneas.
  • Super-resolução de Imagem Única (SISR): O Muon tornou as FFNs de ReLU particularmente eficazes, superando arquiteturas com fortes vieses de alta frequência (como FINER) em algumas métricas, provavelmente devido ao viés de baixa frequência benéfico do ReLU combinado com atualizações ortogonais.
  • Campos de Radiância Neural (NeRF): O Muon reduziu artefatos de reconstrução e melhorou o PSNR em até +9 dB em cenas sintéticas (ex: Chair, Hotdog), produzindo reconstruções de cena mais fiéis.

5. Significância e Alegações

O artigo afirma que a otimização é um terceiro eixo, subexplorado, do design de INR, complementar às intervenções de nível de entrada e de ativação.

• Desafiando o Determinismo Arquitetônico: Os resultados desafiam a percepção de que mudanças arquitetônicas são o principal motor do desempenho de INR. Os autores demonstram que a otimização sozinha pode impactar significativamente a fidelidade do modelo, permitendo que simples MLPs de ReLU representem sinais de alta frequência com alta fidelidade.
• Efeitos Aditivos: O artigo argumenta que as intervenções de nível de entrada, de ativação e de otimização atuam em eixos distintos e complementares. Combiná-las (ex: usando Muon com Fourier Features) produz as reconstruções mais fiéis.
• Impacto Prático: Ao usar o Muon, profissionais podem alcançar resultados de alta fidelidade com arquiteturas mais simples e robustas (como ReLU MLPs) que são menos propensas aos padrões oscilatórios frequentemente vistos em redes especializadas e altamente expressivas.

6. Limitações

Os autores reconhecem diversas limitações:

• Rank Alvo: O framework de rank estável serve como um diagnóstico, mas não prevê um rank alvo ideal. Em alguns problemas inversos mal postos, um rank estável induzido menor pode atuar como um regularizador implícito benéfico.
• Aproximação: O Muon utiliza a aproximação de Newton-Schulz para ortogonalização. O artigo não estuda profundamente as implicações desta aproximação, vendo o Muon como um ponto em um espaço de design mais amplo, em vez de uma solução final ótima.
• Complexidade de Ajuste: O Muon introduz complexidade adicional de ajuste em relação aos cronogramas de taxa de aprendizado (taxas separadas para parâmetros Muon e auxiliares Adam).
• Lacuna de Expressividade: Embora o Muon reduza a lacuna, um MLP de ReLU treinado com Muon permanece menos expressivo do que arquiteturas especializadas como SIREN ou FINER em todos os cenários.