Resumo Técnico: O que os INRs de Coorte Codificam e Onde Congelá-los

Declaração do Problema

Representações Neurais Implícitas (INRs) são perceptrons multicamadas (MLPs) baseados em coordenadas que aprendem aproximações funcionais contínuas de sinais. Uma limitação primária das INRs padrão é que cada rede ajusta um único sinal do zero, com características finamente sintonizadas à morfologia específica daquele sinal. Isso resulta em altos custos de otimização por sinal. Trabalhos recentes, especificamente o STRAINER, tentam mitigar isso treinando uma "coorte" de INRs que compartilham camadas iniciais de codificador enquanto mantêm decodificadores por sinal. O codificador compartilhado é então usado como inicialização para novos sinais.

No entanto, duas questões críticas permanecem sem resposta sobre este paradigma de aprendizado por transferência:

1. Quais camadas do codificador compartilhado realmente carregam representações transferíveis?
2. O que essas camadas específicas codificam?

Os protocolos atuais do STRAINER atualizam todas as camadas durante o ajuste no momento do teste, impedindo o isolamento da transferibilidade por camada. Além disso, embora o aprendizado por transferência em visão e linguagem frequentemente localize características transferíveis em camadas intermediárias, não está claro se isso se mantém para INRs, particularmente dado que backbones dominantes como SIREN e MLPs com recursos de Fourier (FFMLP) codificam posições de coordenadas através de mecanismos fundamentalmente diferentes.

Metodologia

Os autores propõem uma abordagem diagnóstica de duas frentes para analisar INRs treinados em coorte em três conjuntos de dados (CelebA-HQ, OASIS-MRI, Kodak) usando dois backbones (SIREN e FFMLP).

1. Localização de Representações Transferíveis via Rique Estável de Pesos

Para identificar quais camadas transferem melhor, os autores introduzem um protocolo de varredura de congelamento no momento do teste. Em vez de atualizar todas as camadas, eles congelam o codificador até uma profundidade específica $\tau$ e reinicializam as camadas restantes e a cabeça do decodificador. Eles avaliam o desempenho (PSNR) de novos sinais em todas as profundidades de congelamento possíveis.

Para prever a profundidade de congelamento ótima a priori, eles utilizam o rique estável de pesos ($sr(W_\ell)$) das camadas do codificador treinado. Diferente do rank de ativação, que depende da distribuição específica de entrada, o rique estável de pesos é uma propriedade intrínseca dos pesos aprendidos, medindo a dimensionalidade efetiva do subespaço abrangido pela matriz de pesos. A hipótese é que a camada com o rique estável de pesos mais alto representa a camada de "incorporação de coordenadas", que aprende a informação estrutural mais reutilizável através da coorte.

2. Caracterização de Representações Codificadas via Autoencoders Esparsos (SAEs)

Para determinar o que as camadas transferíveis codificam, os autores aplicam Autoencoders Esparsos (SAEs) às ativações ocultas dos codificadores treinados. SAEs decompõem ativações densas em um dicionário sobrecompleto de "átomos" esparsos.

• Arquitetura: Um SAE TopK com $n=4096$ átomos e esparsidade $k=32$ é ajustado às ativações de cada camada oculta.
• Diagnósticos:
  • Mapas de Átomos: Visualização dos padrões espaciais de disparo de átomos através do domínio de coordenadas.
  • Ablações de Átomo Único: Remoção sistemática de átomos individuais (zerando sua contribuição) para medir o impacto causal na reconstrução final do sinal (queda de PSNR).

Resultados Chave

1. Profundidade de Congelamento Ótima Coincide com o Pico do Rique Estável de Pesos

Os experimentos revelam que a profundidade de congelamento ótima $\tau^\star$ alinha-se consistentemente com a camada que exibe o pico do rique estável de pesos no codificador treinado em coorte.

• SIREN: A profundidade de congelamento ótima é $\tau^\star = 1$. A primeira camada treinável ($W_1$) atua como uma incorporação posicional emergente, alcançando o maior rique de pesos.
• FFMLP: A profundidade de congelamento ótima é $\tau^\star = 0$. Como o FFMLP usa uma projeção de Fourier fixa antes da primeira camada treinável, a incorporação ocorre externamente, e a primeira camada treinável ($W_0$) opera sobre esta entrada de alto rique.
• Desempenho: Congelar nesta profundidade específica iguala ou melhora significativamente a receita padrão do STRAINER (que atualiza todas as camadas). Notavelmente, no conjunto de dados de alta resolução Kodak, o protocolo de congelamento produz ganhos de +3,1 dB para SIREN e +1,3 dB para FFMLP em média, pois impede que o modelo desperdice o orçamento limitado de otimização no momento do teste reaprendendo a incorporação de coordenadas.

2. Dicionários Qualitativamente Diferentes: Localização vs. Memorização

Apesar de alcançarem qualidade de ajuste em coorte comparável, SIREN e FFMLP aprendem representações internas fundamentalmente diferentes:

• SIREN (Localizado): Os átomos do SAE são espacialmente localizados, ladrilhando o plano de coordenadas. Cada átomo dispara em uma região confinada independente do conteúdo específico da coorte. Isso sugere que o SIREN aprende um código posicional independente de conteúdo.
• FFMLP (Abrangendo Imagem/Memorizado): Os átomos são abrangendo a imagem e difusos. Eles traçam os contornos de sinais de coorte memorizados (por exemplo, características faciais no CelebA, anatomia cerebral no OASIS). O dicionário concentra-se em poucos átomos de alta magnitude que cobrem grandes porções da imagem.

3. Validação Causal via Ablação

Ablações de átomo único confirmam o papel causal desses dicionários:

• SIREN: A ablação de um único átomo causa quedas de PSNR (2–3 dB) confinadas estritamente à região espacial onde aquele átomo dispara. Outros átomos compensam o restante da imagem.
• FFMLP: A ablação de um único átomo causa degradação global, com quedas de PSNR de até 10,6 dB em toda a imagem. Isso indica que o FFMLP depende de alguns "super-átomos" para reconstruir a estrutura global do sinal, efetivamente memorizando o conteúdo da coorte.

Significado e Alegações

O artigo alega fornecer a primeira conta mecânica do que é transferido em INRs treinados em coorte.

• Ferramenta Diagnóstica: A métrica de rique estável de pesos oferece um método computável, livre de dados-alvo, para identificar a profundidade da camada transferível ótima, eliminando a necessidade de varreduras de hiperparâmetros.
• Interpretabilidade: Ao decompor ativações de INR em átomos esparsos, os autores transformam ativações de "caixa preta" em átomos de dicionário inspecionáveis, revelando que o SIREN codifica estrutura posicional reutilizável enquanto o FFMLP codifica conteúdo memorizado.
• Insight Arquitetural: As descobertas sugerem que a escolha arquitetônica (SIREN vs. FFMLP) dita se a rede aprende priores estruturais generalizáveis ou se superajusta a sinais de coorte memorizados.
• Direção Futura: Essas ferramentas abrem um caminho para caracterizar codificações de INR e projetar arquiteturas especificamente para generalização em vez de memorização.

Os autores notam limitações, incluindo que a análise está atualmente restrita aos backbones SIREN e FFMLP e ainda não caracteriza o significado semântico de átomos individuais (por exemplo, bordas, cores) ou explora o direcionamento de reconstruções além de ablações de átomo único.