Weight Space Representation Learning on Diverse NeRF Architectures

Cet article présente le premier cadre capable d'apprendre des représentations agnostiques de l'architecture pour des NeRFs diversifiés, y compris ceux non vus lors de l'entraînement, en utilisant un réseau méta-graphe et un objectif contrastif pour surpasser les méthodes existantes limitées à des architectures uniques.

L'essentiel

🎨 Le Grand Traducteur de Formes 3D : Une Histoire de "Cerveaux" Numériques

Imaginez que vous avez une collection de sculptures 3D numériques. Pour les créer, les ingénieurs utilisent différents "moteurs" ou "recettes" (qu'on appelle des architectures NeRF).

• Le moteur A utilise des couches de gâteaux empilées (des MLP).
• Le moteur B utilise des tranches de fromage (des Tri-planes).
• Le moteur C utilise une bibliothèque de petits tiroirs étiquetés (des Hash Tables).

Le problème ? Jusqu'à présent, si vous vouliez apprendre à un ordinateur à reconnaître ces sculptures (par exemple, dire "c'est une voiture" ou "c'est un avion"), vous deviez utiliser un traducteur spécial pour chaque moteur.

• Un traducteur pour le moteur A.
• Un autre pour le moteur B.
• Et un troisième pour le moteur C.

Si un nouveau moteur arrivait demain (le moteur D), tous vos traducteurs devenaient inutiles. C'était comme avoir un dictionnaire anglais-français, mais pas de dictionnaire anglais-allemand.

🚀 La Solution : Le "Super-Détective" Universel

Les auteurs de ce papier (Francesco et son équipe) ont créé le premier traducteur universel. Peu importe la "recette" utilisée pour créer la sculpture 3D, leur système peut la comprendre et la classer.

Voici comment ils ont fait, avec trois analogies simples :

1. Transformer la recette en carte routière (Graphes)

Au lieu de regarder les ingrédients bruts (les poids mathématiques complexes), ils transforment chaque "moteur" en une carte routière (un graphe).

• Imaginez que chaque pièce du moteur est une ville, et les connexions entre elles sont des routes.
• Même si le moteur A est un gratte-ciel et le moteur B est un chalet, une fois transformés en cartes routières, ils ressemblent tous deux à des réseaux de villes et de routes.
• Leur système utilise un détective intelligent (un "Graph Meta-Network") qui sait lire n'importe quelle carte routière, quelle que soit la forme du bâtiment qu'elle représente.

2. Apprendre à ignorer le style, pour voir l'essentiel (Apprentissage Contrastif)

C'est le secret de leur succès.

• L'ancienne méthode (comme un peintre qui copie le style) : Si on lui montre une voiture peinte en style "impressionniste" et une autre en style "réaliste", il pensait que c'étaient deux objets différents à cause du style.
• La nouvelle méthode (le détective) : Ils ont appris au système à dire : "Peu importe si c'est un moteur A ou un moteur B, si ça ressemble à une voiture jaune, c'est une voiture jaune !"
• Ils utilisent une technique appelée SigLIP (une sorte de jeu de "trouvez la différence" inversé) : ils forcent le système à rapprocher toutes les versions d'une même voiture (peu importe le moteur) et à éloigner les avions.

3. Le résultat : Une boîte à outils magique

Une fois entraîné, ce système produit une "carte d'identité numérique" (un vecteur latent) pour chaque objet 3D.

• Cette carte d'identité ne contient pas les détails techniques du moteur, juste l'essence de l'objet.
• Grâce à cette carte, on peut faire plein de choses :
  • Classer : "C'est un avion !" (même si le moteur est nouveau).
  • Chercher : "Montrez-moi toutes les voitures, peu importe comment elles ont été créées."
  • Parler : Demander à une intelligence artificielle : "Décris-moi cette chaise" et elle répondra avec des mots, même si la chaise a été faite avec une architecture jamais vue auparavant.

🌟 Pourquoi c'est révolutionnaire ?

Imaginez que vous êtes dans une bibliothèque où les livres sont écrits dans des langues totalement différentes (le français, le chinois, le code binaire).

• Avant, il fallait un traducteur différent pour chaque langue.
• Aujourd'hui, ils ont créé un traducteur qui comprend le "sens" du livre, peu importe la langue dans laquelle il est écrit.

Ils ont testé leur système sur 13 types de moteurs différents (y compris des types très nouveaux comme les "Hash Tables" qu'ils ont découverts pour la première fois). Résultat ?

• Leur système fonctionne aussi bien, voire mieux, que les anciens systèmes spécialisés.
• Surtout, il fonctionne sur des moteurs qu'il n'a jamais vus pendant son entraînement. C'est comme si vous appreniez à conduire sur une voiture, et que vous pouviez ensuite conduire parfaitement un camion, un bus ou une moto sans jamais avoir appris à les conduire !

En résumé

Ce papier nous donne les clés pour parler le langage des objets 3D, peu importe la façon dont ils ont été construits. C'est un pas géant vers une intelligence artificielle capable de comprendre le monde 3D de manière flexible, robuste et universelle.

Résumé technique

1. Problématique

Les Champs de Rayonnement Neuronaux (NeRF) sont devenus un paradigme standard pour représenter des objets et des scènes 3D en encodant la géométrie et l'apparence dans les poids d'un réseau de neurones. Bien que des travaux récents aient démontré la possibilité d'utiliser ces poids directement comme entrée pour des tâches d'apprentissage profond (évitant ainsi le rendu coûteux), les méthodes existantes souffrent d'une limitation majeure : elles sont conçues pour une architecture spécifique.

• nf2vec (Zama Ramirez et al., 2024) ne traite que des MLP (Perceptrons Multicouches) standards.
• Cardace et al. (2024) ne traitent que des NeRFs basés sur des plans tri-orthogonaux (tri-planes).

Dans un domaine où de nouvelles architectures (comme les tables de hachage multi-résolutions) émergent constamment, l'incapacité à généraliser à des architectures non vues lors de l'entraînement limite considérablement l'applicabilité de ces outils. Le défi consiste à apprendre un espace latent qui reflète le contenu sémantique de la scène (forme, couleur) plutôt que la paramétrisation neuronale spécifique utilisée pour l'encoder.

2. Méthodologie

Les auteurs proposent un cadre d'apprentissage de représentation agnostique à l'architecture, capable de traiter des NeRFs de familles variées (MLP, Tri-planes, Tables de hachage).

A. Conversion NeRF vers Graphes (Parameter Graph)

Pour ingérer les poids d'un NeRF dans un réseau de neurones, celui-ci doit être converti en graphe.

• L'article adopte la représentation par graphe de paramètres (proposée par Lim et al., 2024) où chaque poids est une arête, évitant ainsi la complexité des graphes de calcul classiques.
• Contribution clé : Les auteurs étendent cette conversion aux tables de hachage multi-résolutions (utilisées dans Instant-NGP). Au lieu de modéliser explicitement la grille de voxels (ce qui serait coûteux en mémoire), ils construisent un sous-graphe avec un nœud par entrée de table et un nœud par dimension de vecteur de caractéristiques, connectés par des arêtes stockant les valeurs de hachage. Cela préserve l'efficacité mémoire inhérente aux tables de hachage.

B. Architecture du Modèle : Graph Meta-Network (GMN)

• Encodeur : Un Graph Meta-Network (GMN), qui est un Réseau de Neurones à Graphes (GNN) standard avec mécanisme de passage de messages. Il prend le graphe de paramètres du NeRF en entrée et produit un vecteur d'embedding latent.
• Décodeur : Un décodeur inspiré de nf2vec qui prend l'embedding latent et les coordonnées 3D (encodées en fréquence) pour reconstruire la valeur de rayonnement (couleur et densité) en un point donné. Cela permet un apprentissage end-to-end via une perte de rendu.

C. Objectif d'Apprentissage (Loss Function)

L'entraînement combine deux objectifs pour structurer l'espace latent :

1. Perte de Rendu ($L_R$) : Minimise l'erreur entre le rendu du NeRF original et le rendu produit par le décodeur conditionné par l'embedding. Cela force l'embedding à contenir l'information géométrique et visuelle nécessaire.
2. Perte Contrastive ($L_C$ - SigLIP) : Utilise une perte sigmoïde par paires (inspirée de SigLIP) pour rapprocher les embeddings de NeRFs représentant le même objet mais avec des architectures différentes, tout en éloignant ceux d'objets différents.
   • La perte totale est : $L_{R+C} = L_R + \lambda L_C$.

3. Contributions Clés

1. Premier cadre agnostique : C'est la première méthode capable de traiter les poids de NeRFs issus d'architectures diverses (MLP, Tri-planes, et pour la première fois, Tables de hachage) au sein d'un même pipeline.
2. Apprentissage contrastif pour l'invariance : Démonstration qu'une perte contrastive est essentielle pour créer un espace latent où la similarité sémantique prime sur la similarité architecturale.
3. Généralisation aux architectures invisibles : Le modèle est capable de traiter des NeRFs avec des hyperparamètres ou des architectures non vus lors de l'entraînement (ex: changer le nombre de couches cachées ou la taille de la table de hachage).
4. Performance supérieure : Le cadre surpasse ou égale les méthodes précédentes (limitées à une seule architecture) sur des tâches de classification, de recherche et de langage.

4. Résultats Expérimentaux

Les expériences ont été menées sur 13 architectures différentes appartenant à trois familles, entraînées sur le dataset ShapenetRender (et généralisation sur Objaverse).

• Classification :

  • Dans un scénario multi-architecture (entraînement sur un mélange de MLP, Tri-planes, Hash), l'approche combinée ($L_R + L_C$) atteint des précisions élevées (>90%) même sur des architectures non vues.
  • La perte de rendu seule ($L_R$) échoue à aligner les architectures différentes (les clusters se séparent par type d'architecture plutôt que par classe d'objet).
  • La perte contrastive seule ($L_C$) aligne bien les architectures mais sépare moins bien les classes d'objets.
  • La combinaison ($L_R + L_C$) offre le meilleur équilibre.

• Recherche (Retrieval) :

  • Mesurée par Recall@k. L'approche $L_R + L_C$ permet de retrouver le même objet représenté par une architecture différente (ex: requête MLP, galerie Hash) avec une performance nettement supérieure aux méthodes de base et à $L_R$ seule.
  • La généralisation sur Objaverse (données non vues) confirme la robustesse de l'approche.

• Tâches de Langage (Captioning & Q&A) :

  • En remplaçant l'encodeur nf2vec par leur GMN dans le pipeline LLaNA (Large Language and NeRF Assistant), les auteurs obtiennent des résultats comparables ou supérieurs sur des tâches de génération de légendes et de questions-réponses, prouvant que les embeddings capturent une compréhension 3D holistique indépendante de l'architecture.

5. Signification et Impact

Ce travail marque une étape importante vers la création de modèles fondationnels pour l'espace des poids des NeRFs.

• Il brise la dépendance aux architectures spécifiques, permettant aux chercheurs et aux systèmes de traiter n'importe quel NeRF, quelle que soit sa conception interne.
• Il valide l'utilisation des Graph Meta-Networks pour l'analyse de champs neuronaux complexes.
• Il ouvre la voie à des applications plus robustes en vision 3D, où la diversité des modèles de représentation est la norme, facilitant ainsi l'interopérabilité entre différents systèmes de reconstruction 3D.

En résumé, cette paper propose une solution élégante et efficace pour unifier la représentation des NeRFs, transformant les poids bruts en un langage commun compréhensible par l'IA, indépendamment de la "grammaire" architecturale utilisée pour les générer.