Weight Space Representation Learning on Diverse NeRF Architectures

Este artigo apresenta o primeiro framework capaz de aprender representações agnósticas à arquitetura para NeRFs diversos (incluindo MLPs, tri-planos e tabelas de hash) através de uma Meta-Rede Gráfica não supervisionada, permitindo inferência robusta em arquiteturas não vistas durante o treinamento e superando métodos existentes limitados a arquiteturas únicas.

O essencial

Imagine que você tem uma coleção de receitas de bolo (os NeRFs). Cada receita descreve perfeitamente como fazer um bolo: a textura, o sabor, a cor, tudo. O problema é que cada chef (arquitetura de rede neural) escreve sua receita de um jeito totalmente diferente:

• O Chef A usa uma lista de ingredientes em ordem alfabética.
• O Chef B usa um diagrama de fluxo com setas e cores.
• O Chef C usa um código secreto com tabelas de referência.

Até agora, se você quisesse ensinar um computador a reconhecer que "Bolo de Chocolate" é o mesmo, não importa quem escreveu a receita, você tinha que escolher apenas um tipo de chef para estudar. Se o computador aprendeu a ler a lista do Chef A, ele ficava perdido quando via o diagrama do Chef B. Era como tentar ler um livro em inglês usando apenas um dicionário de português.

A Grande Descoberta: O "Tradutor Universal"

Os autores deste paper criaram o primeiro "Tradutor Universal" capaz de ler qualquer tipo de receita, não importa quem a escreveu. Eles chamam isso de Weight Space Representation Learning (Aprendizado de Representação no Espaço de Pesos).

Aqui está como funciona, passo a passo:

1. Transformando Receitas em Mapas (Gráficos)

Em vez de tentar ler a receita linha por linha, o novo sistema pega a estrutura da receita e a transforma em um mapa de conexões (um gráfico).

• Imagine que cada ingrediente é um ponto no mapa e cada instrução de mistura é uma linha conectando os pontos.
• O sistema consegue transformar a lista do Chef A, o diagrama do Chef B e o código do Chef C em mapas que, embora pareçam diferentes à primeira vista, têm a mesma "forma" lógica.

2. O Mestre Tradutor (Graph Meta-Network)

Eles treinaram um "Mestre Tradutor" (uma Rede Neural baseada em Gráficos) para olhar para esses mapas.

• O desafio: Se você apenas pedir para o Mestre Tradutor "reconstruir o bolo" (renderizar a imagem), ele vai agrupar todas as receitas do Chef A juntas, todas do Chef B juntas e todas do Chef C juntas, mesmo que todas sejam de "Bolo de Chocolate". Ele fica obcecado pelo formato da receita, não pelo bolo.
• A solução criativa: Eles ensinaram o Mestre Tradutor usando um truque chamado Aprendizado Contrastivo. É como se você pegasse duas receitas de "Bolo de Chocolate" (uma do Chef A e outra do Chef B) e dissesse: "Ei, vocês são o mesmo bolo! Fiquem perto no meu mapa mental!". E então pegava uma receita de "Bolo de Cenoura" e dizia: "Vocês são diferentes! Fiquem longe!".

3. O Resultado: Um Espaço de Ideias Comum

Graças a esse treino, o sistema criou um Espaço de Ideias Comum.

• Neste espaço, não importa se a receita foi escrita por um robô, um humano ou um alienígena. Se o bolo é um "Carro Amarelo", todas as receitas de "Carro Amarelo" ficam agrupadas juntas.
• Se você mostrar uma receita nova, feita por um chef que o sistema nunca viu antes (uma arquitetura inédita), ele consegue olhar para o mapa, entender a forma e dizer: "Ah, isso é um Carro Amarelo!", mesmo nunca tendo visto esse tipo de mapa antes.

Por que isso é incrível?

O papel mostra que esse sistema funciona muito bem em três situações:

1. Classificação: O computador consegue dizer se a receita é de um avião ou de um carro, mesmo misturando receitas de diferentes chefs.
2. Busca (Retrieval): Se você mostrar uma foto de um "Carro Amarelo" (uma receita do Chef A) e pedir para o sistema encontrar a receita mais parecida em uma biblioteca cheia de receitas do Chef B e Chef C, ele acha o carro amarelo certo, ignorando as diferenças de escrita.
3. Conversação (Linguagem): O sistema consegue até conversar sobre os objetos. Você pode perguntar: "O que tem de especial neste carro?" e ele responde corretamente, entendendo o objeto por trás da receita complexa.

A Analogia Final

Pense em um bibliotecário mágico.

• Antes: O bibliotecário só sabia organizar livros que vinham em capas vermelhas. Se você trouxesse um livro em capa azul, ele não sabia onde colocar.
• Agora: Com essa nova técnica, o bibliotecário aprendeu a ignorar a cor da capa (a arquitetura) e focar no conteúdo da história (o objeto 3D). Ele consegue pegar um livro em capa vermelha, um em capa azul e um em capa verde, todos contando a história de "Um Gato", e colocá-los todos na mesma prateleira, lado a lado.

Resumo: Eles criaram a primeira ferramenta que entende "o que é um objeto 3D" independentemente de "como o computador decidiu desenhá-lo". Isso abre as portas para que, no futuro, possamos usar qualquer tipo de tecnologia de criação de mundos 3D sem ter que reescrever todo o software de inteligência artificial para cada novo método.

Resumo técnico

Título: Aprendizado de Representação no Espaço de Pesos em Arquiteturas Diversas de NeRF

1. O Problema

Os Neural Radiance Fields (NeRFs) tornaram-se um paradigma fundamental para representar objetos e cenas 3D, codificando informações de forma e aparência nos pesos de uma rede neural. Com o surgimento de NeRFs como um novo formato de dados, surgiu a necessidade de realizar tarefas de aprendizado profundo tradicionais (como classificação, recuperação e compreensão de linguagem) diretamente sobre os NeRFs, sem a necessidade de renderizar imagens.

No entanto, as abordagens existentes (como nf2vec e o método de Cardace et al.) possuem uma limitação crítica: elas são projetadas para processar apenas um tipo específico de arquitetura de NeRF (por exemplo, apenas MLPs ou apenas Tri-Planos). À medida que novas arquiteturas surgem (como tabelas de hash multi-resolução), esses métodos tornam-se obsoletos ou inaplicáveis, pois não conseguem generalizar para arquiteturas não vistas durante o treinamento. O desafio é criar um framework que possa aprender representações latentes a partir dos pesos de NeRFs com arquiteturas diversas e heterogêneas, mantendo a invariância à estrutura da rede neural enquanto preserva o conteúdo semântico do objeto 3D.

2. Metodologia

Os autores propõem um framework de aprendizado de representação não supervisionado que utiliza uma Graph Meta-Network (GMN) para processar os pesos de NeRFs de diferentes arquiteturas.

• Conversão para Grafos (Parameter Graphs):
  Para que uma GMN possa processar um NeRF, a rede neural deve ser convertida em um grafo.

  • Para MLPs e Tri-Planos, utilizam-se as representações de grafos de parâmetros existentes da literatura (Lim et al., 2024).
  • Para Tabelas de Hash Multi-Resolução (uma contribuição nova do artigo), os autores propõem uma conversão eficiente: em vez de modelar explicitamente a grade de voxels (o que seria custoso em memória), criam um subgrafo onde cada entrada da tabela é um nó conectado a nós de dimensões de vetores de características. Isso preserva a eficiência de memória inerente às tabelas de hash.

• Arquitetura do Modelo:

  • Encoder: Uma Graph Meta-Network (GMN) baseada em GNNs (Redes Neurais em Grafos) que processa o grafo de parâmetros do NeRF e gera um vetor de embedding latente.
  • Decoder: Utiliza o decodificador do nf2vec, que recebe o embedding latente e a codificação de frequência de um ponto 3D $(x, y, z)$ para reconstruir o valor de radiância (cor e densidade) naquele ponto.

• Objetivo de Treinamento (Loss Function):
  O modelo é treinado end-to-end com uma combinação de duas funções de perda:

  1. Perda de Renderização ($L_R$): Garante que o embedding, quando passado pelo decoder, consiga reconstruir a cena 3D original com precisão (semelhança visual).
  2. Perda Contrasteva ($L_C$ - SigLIP): Introduzida para resolver o problema de invariância arquitetural. Esta perda força pares de NeRFs que representam o mesmo objeto, mas com arquiteturas diferentes (ex: um MLP vs. uma Tabela de Hash), a estarem próximos no espaço latente. Simultaneamente, empurra pares de objetos diferentes para longe.

  A perda total é $L_{R+C} = L_R + \lambda L_C$.

3. Principais Contribuições

1. Primeiro Framework Agnóstico à Arquitetura: Apresentam o primeiro sistema capaz de processar pesos de NeRFs de arquiteturas diversas (MLPs, Tri-Planos e Tabelas de Hash) simultaneamente.
2. Inovação em Tabelas de Hash: São os primeiros a realizar tarefas downstream em NeRFs parametrizados por tabelas de hash processando seus pesos diretamente.
3. Objetivo Contrasteivo para Invariância: Demonstram que o uso de uma perda contrastiva (SigLIP) é essencial para criar um espaço latente onde a similaridade é baseada no conteúdo do objeto e não na parametrização da rede.
4. Generalização para Arquiteturas Inéditas: O framework consegue generalizar para variações de arquiteturas não vistas durante o treinamento (ex: treinar em MLPs padrão e testar em MLPs com diferentes dimensões ocultas).

4. Resultados Experimentais

Os experimentos foram conduzidos em 13 arquiteturas diferentes pertencentes a três famílias (MLP, Tri-Plano, Hash), utilizando o dataset ShapenetRender e generalizando para Objaverse.

• Classificação:

  • No cenário de multi-arquitetura (treinado em todas as famílias), o método alcança alta precisão (>90%) em arquiteturas vistas e não vistas.
  • A combinação $L_R + L_C$ supera a abordagem apenas com $L_R$ quando há mistura de arquiteturas no teste, provando que a perda contrastiva alinha corretamente os embeddings de objetos iguais com arquiteturas diferentes.
  • No cenário de arquitetura única, o método supera ou iguala os métodos anteriores (nf2vec, Cardace et al.), demonstrando versatilidade.

• Recuperação (Retrieval):

  • O modelo consegue recuperar NeRFs do mesmo objeto mesmo quando o query e a galeria usam arquiteturas diferentes (ex: query em MLP, galeria em Hash).
  • A métrica Recall@k para o método com perda contrastiva ($L_R + L_C$) é significativamente superior à linha de base e ao método apenas com perda de renderização, especialmente em cenários cruzados de arquitetura.

• Tarefas de Linguagem (Captioning e Q&A):

  • Ao integrar o encoder proposto em um pipeline de LLM (baseado em LLaNA), o sistema demonstrou robustez na geração de legendas e respostas a perguntas sobre objetos 3D, mantendo desempenho comparável ao estado da arte mesmo quando testado em arquiteturas não vistas.

• Análise do Espaço Latente (t-SNE):

  • Visualizações mostram que apenas $L_R$ agrupa NeRFs por arquitetura (formando clusters separados para MLP, Tri e Hash do mesmo objeto).
  • A adição de $L_C$ funde esses clusters, agrupando objetos semanticamente similares independentemente da arquitetura, embora mantenha uma separação razoável entre classes de objetos.

5. Significância e Conclusão

Este trabalho representa um avanço crucial para a comunidade de visão computacional 3D e aprendizado de máquina. Ao demonstrar que é possível aprender representações robustas e agnósticas à arquitetura a partir dos pesos de redes neurais, os autores abrem caminho para:

• Modelos Fundamentais para NeRFs: A possibilidade de treinar um único "encoder" que entenda qualquer NeRF, independentemente de como ele foi construído.
• Eficiência Computacional: Eliminar a necessidade de renderização de imagens para tarefas de alto nível, operando diretamente no espaço de parâmetros.
• Futuro da Pesquisa: A metodologia sugere que a generalização para grandes datasets (como o Objaverse) e a escalabilidade para um modelo fundamental de processamento de espaço de pesos são os próximos passos naturais.

Em resumo, o paper resolve o problema da fragmentação de arquiteturas de NeRFs, propondo uma solução unificada que trata os pesos da rede como dados estruturados em grafos, permitindo a transferência de conhecimento entre diferentes paradigmas de representação 3D.