Is Class Signal Clustered or Routed in Task-Induced Implicit Neural Representation Weight Spaces?

Resumo Técnico: O Sinal de Classe em Espaços de Pesos de Representação Neural Implícita Induzida por Tarefa é Agrupado ou Roteado?

Declaração do Problema
Representações Neurais Implícitas (INRs) codificam imagens como os parâmetros (pesos) de redes neurais, transformando a classificação de imagens em um problema de classificabilidade no espaço de pesos. Uma hipótese geométrica predominante sugere que o feedback do classificador deve organizar pesos específicos de imagem em clusters distintos e alinhados à classe dentro de um espaço de coordenadas compartilhado (especificamente, uma coordenada residual relativa a uma inicialização compartilhada). Se verdadeiro, as propriedades geométricas brutas desses pesos (por exemplo, consistência do vizinho mais próximo, estrutura espectral) deveriam correlacionar-se diretamente com a precisão da classificação. Este artigo investiga se os pesos de INR induzidos por tarefa são inerentemente "agrupados" por classe em sua geometria nativa ou se a classificabilidade é, em vez disso, "roteada" através do mecanismo de leitura a jusante.

Metodologia
Os autores utilizam o framework Meta Weight Transformer (MWT), que meta-aprende uma inicialização compartilhada de SIREN (Sinusoidal Representation Network) e um cronograma de atualização de loop interno. Neste regime, SIRENs específicas de imagem são ajustadas via algumas etapas de gradiente a partir de uma âncora compartilhada $\theta$, produzindo uma coordenada residual $\Delta_x = \phi_x - \theta$. Um leitor treinado classifica então esses pesos.

O estudo contrasta duas hipóteses concorrentes:

1. Hipótese Agrupada: A informação de classe é escrita diretamente na coordenada ancorada. Portanto, diagnósticos geométricos expostos (consistência do vizinho mais próximo, resumos de componentes, estatísticas espectrais) deveriam rastrear monotonicamente a precisão do leitor treinado. Pressão de agrupamento supervisionada (por exemplo, Perda Central) deveria melhorar tanto a geometria local quanto o desempenho do leitor.
2. Hipótese Roteada: A informação de classe existe nos pesos, mas não está disposta como clusters métricos simples na coordenada bruta. Em vez disso, o leitor constrói uma geometria alinhada à classe através de interações de tokens. A classificabilidade depende de canais específicos e roteados dentro dos tokens de pesos aumentados, e não da estrutura geométrica global.

Os autores empregam uma série de diagnósticos e intervenções:

• Lacuna entre Geometria e Precisão: Eles medem a geometria da coordenada exposta (por exemplo, consistência de classe do 5-NN) contra a precisão Top-1 do leitor treinado sob diferentes pressões de treinamento (agrupada vs. não agrupada).
• Diagnósticos de Fluxo de Token: Eles traçam vizinhanças consistentes com a classe desde a entrada do leitor através de blocos transformadores sucessivos para identificar onde a estrutura de classe se torna legível.
• Intervenções Causais: Eles visam coordenadas específicas dentro do token aumentado, especificamente a entrada de viés da SIREN ($b$), para testar se ela serve como uma rota de leitura causal.
• Controles de Resposta à Função: Eles comparam o leitor de pesos com um "leitor de resposta à função" que classifica com base em saídas esparsas da SIREN sem acessar pesos, para descartar a possibilidade de o leitor explorar meramente a função realizada em vez da geometria dos pesos.

Principais Resultados

1. A Lacuna Geometria–Classificabilidade: A geometria da coordenada bruta exposta não prevê de forma confiável a precisão do leitor treinado. Crucialmente, aplicar "pressão de agrupamento" (perdas de compacidade supervisionada) melhora a consistência da vizinhança local (por exemplo, a precisão do 5-NN aumenta), mas diminui a precisão Top-1 do leitor treinado. Este desacoplamento refuta a ideia de que o agrupamento geométrico bruto é o principal motor da classificabilidade.
2. Construção de Geometria pelo Leitor: Vizinhanças alinhadas à classe não estão presentes na entrada do leitor. Diagnósticos de fluxo de token mostram que a consistência de classe do vizinho mais próximo aumenta significativamente apenas em estados tardios do leitor (por exemplo, bloco $h^{(9)}$), indicando que o leitor constrói ativamente representações alinhadas à classe em vez de herdá-las da coordenada de entrada.
3. A Rota da Coluna de Viés: Os autores identificam a coordenada de viés da SIREN ($b$) dentro do token aumentado como uma rota de leitura causal e compacta. Intervenções que neutralizam ou embaralham a coordenada $b$ causam quedas significativas na precisão (13,5–20,3 pontos percentuais), enquanto intervenções correspondentes em coordenadas de pesos ($W$) têm efeitos negligenciáveis. A rota de viés é dependente da amostra e distinta de deslocamentos posicionais aprendidos.
4. Intervenções Não Aditivas: Intervenções que visam o mecanismo de roteamento (por exemplo, leitores de rota de viés explícita, roteamento de ajuste estocástico) frequentemente superam a linha de base, mas seus ganhos não se compõem aditivamente. Isso sugere que os ganhos dependem do estado específico do leitor e da interação das rotas, em vez de serem melhorias modulares independentes.
5. Limitações da Resposta à Função: Um leitor que usa apenas respostas de função esparsas (sem acesso a pesos) falha em reproduzir o ranking do emissor alcançado pelo leitor de pesos, confirmando que o leitor de pesos depende de estruturas específicas de tokens de pesos (como a rota de viés) e não apenas da saída da função.

Principais Contribuições

1. Formulação Agrupada-vs-Roteada: O artigo estabelece uma distinção formal entre a classificabilidade como uma propriedade geométrica herdada dos pesos versus uma propriedade construída do processamento de tokens do leitor.
2. Lacuna Geometria–Classificabilidade: Demonstra que a estrutura de coordenada exposta (mesmo quando forçada a ser compacta) não explica o comportamento do leitor treinado, desafiando a suposição de que a aprendizagem no espaço de pesos depende da geometria métrica bruta.
3. Explicação de Roteamento do Leitor: Localiza um mecanismo específico e visível ao leitor (a coluna de viés da SIREN) que atua como uma rota causal de baixa dimensão para sinais de classe, validada através de intervenções e controles direcionados.

Significado e Alegações
O artigo conclui que, em espaços de pesos globais de SIREN induzidos por tarefa, os sinais de classe são roteados e não agrupados. Os autores argumentam que a estrutura de classe utilizável não é uma propriedade intrínseca de vizinhanças métricas brutas ou sondas rasas na coordenada nativa. Em vez disso, o leitor treinado constrói uma geometria alinhada à classe através de interações de tokens em estágios tardios, utilizando canais específicos como a entrada de viés da SIREN como rotas de leitura causal.

O significado reside em deslocar o foco da aprendizagem no espaço de pesos da busca por clusters geométricos brutos para a compreensão dos mecanismos de leitura. As descobertas sugerem que intervenções devem visar as vias de roteamento e os estados do leitor que tornam a informação de classe utilizável, em vez de tentar forçar a compacidade geométrica bruta nas coordenadas de pesos. Os autores permanecem modestos, observando que suas alegações são específicas ao regime MWT e aos espaços globais de SIREN induzidos por tarefa, e não necessariamente se generalizam para todas as arquiteturas de INR ou geometrias de espaço quociente.