💻 computer science

Weight Space Representation Learning on Diverse NeRF Architectures

Deze paper introduceert het eerste framework dat NeRF's met diverse architecturen kan verwerken door een onbewaakte Graph Meta-Network te trainen, waardoor robuuste inferentie mogelijk is op ongeziene architecturen voor taken zoals classificatie en zoekopdrachten.

Oorspronkelijke auteurs: Francesco Ballerini, Pierluigi Zama Ramirez, Luigi Di Stefano, Samuele Salti

Gepubliceerd 2026-03-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Francesco Ballerini, Pierluigi Zama Ramirez, Luigi Di Stefano, Samuele Salti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "NeRF-Vertaler": Hoe je 3D-herinneringen in één taal kunt begrijpen, ongeacht de taal waarin ze zijn geschreven

Stel je voor dat je een enorme bibliotheek hebt vol met 3D-herinneringen van de wereld. In deze bibliotheek zijn objecten (zoals een auto, een stoel of een planeet) niet opgeslagen als foto's of 3D-modellen, maar als neural radiance fields (NeRFs). Een NeRF is eigenlijk een heel slim computerprogramma dat weet hoe een object eruitziet van elke kant, zonder dat je het echt hoeft te zien.

Maar hier zit het probleem: elke NeRF is geschreven in een andere "taal" of "dialect".

Sommige zijn geschreven in de taal van MLP's (een simpele, lineaire taal).
Andere gebruiken Tri-Planes (als een kaart met drie lagen).
En weer anderen gebruiken Hash-Tabellen (een soort super-snel zoekregister).

Tot nu toe konden computerprogramma's maar één taal begrijpen. Als je een NeRF in de "Hash-taal" wilde analyseren, faalde het programma dat was getraind op de "MLP-taal". Het was alsof je een Frans woordenboek probeerde te gebruiken om een boek in het Japans te lezen; het werkt gewoon niet.

De Oplossing: De Universele Vertaler

De auteurs van dit paper hebben een nieuwe uitvinding bedacht: een universele vertaler. Ze noemen hun systeem een "Graph Meta-Network".

Hier is hoe het werkt, met een paar simpele analogieën:

1. Het Vertalen naar een Gemeenschappelijke Vorm (De Graph)

Stel je voor dat je een auto hebt. Je kunt hem beschrijven als een lijst met onderdelen (wielen, motor), als een tekening, of als een 3D-model. Het is allemaal dezelfde auto, maar de vorm is anders.

Deze nieuwe "vertaler" kijkt niet naar de specifieke taal (de architectuur) van de NeRF. In plaats daarvan kijkt hij naar de structuur van het programma. Hij zet elke NeRF om in een grafiek (een netwerk van knopen en lijnen).

Het maakt niet uit of de NeRF een Hash-tabel of een MLP is; de vertaler ziet de onderliggende "skeletstructuur" van het programma.
Dit is alsof je alle boeken in de bibliotheek eerst omzet in een standaard blauwdruk, ongeacht of ze in het Frans, Japans of Chinees waren geschreven.

2. De Leermeester: Contrastief Leren (De "Tweeling" Methode)

Hoe leert de computer dat een auto in de "MLP-taal" hetzelfde is als een auto in de "Hash-taal"?

Ze gebruiken een slimme leertechniek die contrastief leren heet.

Stel je voor: Je hebt twee foto's van dezelfde auto. Eén is een tekening, de andere is een foto.
De computer krijgt de opdracht: "Zie je dat deze twee foto's van hetzelfde object zijn? Zet ze dicht bij elkaar in je geheugen. Maar als het een ander object is (bijvoorbeeld een vliegtuig), zet ze dan ver uit elkaar."
Door duizenden van deze paren te oefenen, leert de computer een geheugenruimte (een latent space) waar objecten die op elkaar lijken, dicht bij elkaar staan, ongeacht hoe ze zijn getekend.

3. Wat kan deze vertaler nu doen?

Zodra de computer deze "geheugenruimte" heeft aangelegd, kan hij allerlei dingen doen met NeRFs die hij nog nooit eerder heeft gezien:

Zoeken (Retrieval): Je kunt een NeRF van een gele pick-up truck (in Hash-taal) invoeren, en de computer vindt direct een NeRF van een vergelijkbare truck (in MLP-taal) in zijn database.
Classificeren: De computer kan zeggen: "Dit is een stoel!" zonder te weten of de stoel is opgeslagen als een tekening of als een 3D-kaart.
Beschrijven (Captioning): De computer kan zelfs een tekst schrijven over het object, zoals "Een oude houten stoel in een zonnige kamer", zelfs als hij de NeRF in een volledig nieuwe architectuur ziet.

Waarom is dit belangrijk?

Vroeger moest je voor elke nieuwe manier waarop NeRFs werden gemaakt, een nieuw computerprogramma bouwen. Dat was inefficiënt en duur.

Met deze nieuwe methode heb je één krachtig programma dat alles kan begrijpen. Het is alsof je eindelijk een vertaler hebt die niet alleen Frans en Engels spreekt, maar ook Chinees, Arabisch en een taal die nog niet bestaat. Je kunt nu NeRFs van verschillende soorten mengen, zoeken en analyseren alsof het allemaal één grote, samenhangende wereld is.

Kortom: Ze hebben een brug gebouwd tussen de verschillende "eilanden" van 3D-technologie, zodat we eindelijk alle 3D-objecten in één taal kunnen begrijpen en gebruiken.

Probleemstelling

Neural Radiance Fields (NeRFs) zijn een doorbraak in de representatie van 3D-objecten en -scènes door vorm- en uiterlijke informatie te coderen in de gewichten van een neurale netwerk. Bestaande methoden om diep-leringstaken (zoals classificatie of zoekopdrachten) uit te voeren op NeRFs, zoals nf2vec en de methode van Cardace et al., hebben een fundamentele beperking: ze zijn ontworpen voor één specifieke NeRF-architectuur (bijvoorbeeld alleen MLP's of alleen tri-planes).

In een onderzoekslandschap waar voortdurend nieuwe NeRF-ontwerpen worden ontwikkeld (zoals hash-tabellen), zijn deze methoden niet toepasbaar. Er is geen bestaand raamwerk dat NeRFs met diverse architecturen kan verwerken, noch een systeem dat kan generaliseren naar architecturen die tijdens het trainen niet zijn gezien. De uitdaging ligt erin een latente ruimte te creëren waarin de afstand tussen NeRFs de inhoudelijke gelijkenis (het object) weerspiegelt, en niet de specifieke neurale parameterisatie (de architectuur).

Methodologie

De auteurs introduceren een nieuw raamwerk voor representatieleren dat NeRF-gewichten direct verwerkt, zonder renderen. De kerncomponenten zijn:

Graph Meta-Network (GMN) Encoder:
- Om NeRFs te verwerken, worden hun gewichten eerst omgezet in een parameter graph.
- Voor MLP's en tri-planes wordt gebruikgemaakt van bestaande conversies (Lim et al., 2024).
- Voor multi-resolution hash tables (een veelgebruikte maar complexe architectuur) hebben de auteurs een nieuwe conversie ontwikkeld. In plaats van een volumineus voxel-rooster te modelleren (wat inefficiënt zou zijn), modelleren ze elke tabelvermelding en feature-dimensie als knopen, verbonden via randen die de feature-waarden bevatten. Dit behoudt de geheugen-efficiëntie van hash-tabellen.
- De GMN-encoder (een Graph Neural Network) verwerkt deze grafen en genereert een latente vector (embedding). Omdat GNN's per definitie invariant zijn voor permutaties van knopen, kan deze encoder elke architectuur verwerken zolang deze als graaf kan worden voorgesteld.
Decoder:
- Het systeem gebruikt een decoder (gebaseerd op nf2vec) die de latente embedding en een 3D-coördinaat (met frequentie-encoding) neemt om de kleur en dichtheid van het punt te voorspellen. Dit zorgt ervoor dat de embedding de inhoud van de NeRF behoudt.
Trainingsdoelstellingen (Loss Functions):
De encoder en decoder worden end-to-end getraind met een combinatie van twee loss-termen:
- Rendering Loss ( $L_R$ ): Minimaliseert het verschil tussen de gerenderde beelden van de originele NeRF en de beelden gereconstrueerd door de decoder. Dit zorgt ervoor dat de embedding de visuele inhoud behoudt. Echter, alleen deze loss leidt tot clusters die gescheiden zijn op basis van architectuur, niet op basis van object.
- Contrastive Loss ( $L_C$ ): Geïnspireerd op SigLIP. Deze loss duwt embeddings van NeRFs die hetzelfde object voorstellen (maar met verschillende architecturen) dichter bij elkaar, en houdt embeddings van verschillende objecten uit elkaar.
- Gecombineerde Loss ( $L_{R+C}$ ): De auteurs tonen aan dat een combinatie van beide loss-termen de beste resultaten geeft. $L_R$ zorgt voor scheiding tussen klassen (objecten), terwijl $L_C$ zorgt voor architectuur-invariantie.

Kernbijdragen

Eerste architectuur-agnostisch raamwerk: Het is het eerste systeem dat NeRFs met verschillende architecturen (MLP, tri-planes, en hash-tabellen) kan verwerken en inferentie kan uitvoeren op architecturen die niet tijdens het trainen zijn gezien.
Contrastief leren voor NeRFs: De toepassing van een contrastief doel (SigLIP) om een latente ruimte te creëren waarin NeRFs met dezelfde inhoud dicht bij elkaar liggen, ongeacht hun onderliggende neurale structuur.
Hash-table verwerking: Voor het eerst worden NeRFs geparametriseerd met hash-tabellen succesvol verwerkt via hun gewichten voor downstream taken.
Generalisatie: Het systeem kan effectief omgaan met variaties in hyperparameters (zoals het aantal lagen of de grootte van de hash-tabel) binnen bekende architectuurfamilies.

Resultaten

De auteurs hebben hun methode getest op 13 verschillende NeRF-architecturen, verdeeld over drie families: MLP's, tri-planes en hash-tabellen. De datasets bestonden voornamelijk uit synthetische objecten van ShapenetRender, met generalisatietests op Objaverse.

Classificatie:
- In een multi-architectuur setting (getraind op alle architecturen) bereikt het model hoge nauwkeurigheid (>90%) voor bekende architecturen.
- Cruciaal is dat het model ook werkt op ongezien architecturen (bijv. een MLP met een ander aantal lagen of een hash-tabel met een andere grootte). Het contrastieve doel ( $L_{R+C}$ ) is hier essentieel voor; zonder dit doel presteert het model slecht bij architectuurwisselingen.
- Het presteert beter dan of gelijk aan bestaande methoden (nf2vec, Cardace et al.) in single-architectuur settings.
Retrieval (Zoekopdrachten):
- Bij het zoeken naar NeRFs van hetzelfde object maar met een andere architectuur (bijv. query: MLP, gallery: Hash), behaalt de methode met contrastieve loss aanzienlijk betere resultaten (Recall@k) dan methoden die alleen op rendering loss zijn getraind.
- De methode generaliseert ook naar een andere dataset (Objaverse), hoewel de prestaties iets dalen, wat aantoont dat de geleerde representaties robuust zijn.
Taak: Captioning en Vragen (Q&A):
- De embeddings werden gebruikt om een Large Language Model (LLaNA) te conditioneren voor het genereren van beschrijvingen en het beantwoorden van vragen over 3D-objecten.
- Het systeem presteerde vergelijkbaar met de originele LLaNA (die alleen MLP's verwerkt) in single-architectuur settings, en toonde robuustheid in multi-architectuur settings waar de originele methode niet toe in staat was.

Betekenis en Impact

Dit paper markeert een belangrijke stap in de evolutie van NeRFs van een puur renderingsformaat naar een universeel dataformaat voor AI.

Schaalbaarheid: Door architectuur-agnostisch te zijn, maakt dit raamwerk het mogelijk om NeRF-datasets te creëren die bestaan uit een mix van de meest geavanceerde architecturen, zonder dat er voor elke nieuwe architectuur een nieuw model getraind moet worden.
Fundamenteel Model Potentieel: De auteurs suggereren dat hun aanpak de basis kan vormen voor het eerste "foundation model" voor NeRF-weight processing, vergelijkbaar met hoe CLIP of BERT werken voor beelden en tekst.
Toekomstige Toepassingen: Het opent de deur voor complexe 3D-taken zoals semantische zoekopdrachten in grote 3D-databases, cross-modale zoekopdrachten (tekst-naar-3D) en het analyseren van 3D-scènes zonder de computatietijd van het renderen te hoeven betalen.

Samenvattend biedt dit werk een oplossing voor het fragmentatieprobleem in NeRF-architecturen en levert het een robuust, schaalbaar raamwerk dat de weg vrijmaakt voor geavanceerde deep learning op 3D-neurale velden.