NERFIFY: A Multi-Agent Framework for Turning NeRF Papers into Code

NERFIFY is een multi-agent framework dat NeRF-onderzoekspapers betrouwbaar omzet in trainbare Nerfstudio-plugins door domeinspecifieke innovaties zoals contextvrije grammatica's en visuele feedback te gebruiken, waardoor implementatietijd van weken tot minuten wordt gereduceerd en de kwaliteit gelijkstaat aan die van menselijke experts.

De kern

NERFIFY: De "Kookboek-Vertaler" voor 3D-Beeldkunst

Stel je voor dat je een heel ingewikkeld recept hebt voor een perfecte taart. Het recept staat in een heel technisch tijdschrift, vol met wiskundige formules en vreemde termen. Het probleem? Er is geen foto van de taart, en er is ook niemand die het recept al eens heeft uitgetest.

In de wereld van kunstmatige intelligentie (AI) gebeurt dit precies zo. Wetenschappers schrijven papers (onderzoeksartikelen) over een technologie genaamd NeRF (Neural Radiance Fields). Dit is een manier om met AI prachtige, 3D-achtige foto's te maken van scènes. Maar vaak staat er alleen het recept in het artikel, en geen daadwerkelijke code (de instructies voor de computer).

Tot nu toe moesten andere onderzoekers urenlang, soms wekenlang, zelf proberen dit recept te vertalen naar werkende computercode. Het was als proberen een taart te bakken zonder dat je wist welke oven je moest gebruiken of hoe heet de temperatuur precies moest zijn. Vaak mislukte het, of duurde het te lang.

Wat is NERFIFY?

De onderzoekers van deze paper hebben NERFIFY bedacht. Je kunt NERFIFY zien als een super-slimme, digitale kok met een team van specialisten. In plaats van dat één persoon urenlang probeert het recept te vertalen, werkt NERFIFY met een team van zes "agenten" (virtuele helpers) die samenwerken om het recept in één keer om te zetten in een perfect werkend computerprogramma.

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. De Strikte Kookboek-Regels (De Grammatica)

Stel je voor dat je een taart moet bakken, maar je mag alleen ingrediënten gebruiken die in een officieel kookboek staan. NERFIFY gebruikt een soort "officieel kookboek" (het Nerfstudio-framework). De AI mag niet zomaar willekeurige dingen verzinnen; het moet zich houden aan de regels van dit boek. Dit zorgt ervoor dat het eindresultaat altijd in de oven past en niet in de war raakt.

2. Het Team van Specialisten (Multi-Agenten)

In plaats van één persoon die alles doet, heeft NERFIFY een team:

• De Ontdekker: Deze agent kijkt in het recept en zegt: "Oh, dit recept gebruikt een speciale siroop uit een ander, ouder recept!" (Dit noemen ze Compositional Citation Recovery). De AI gaat die oude recepten opzoeken en haalt de juiste ingrediënten eruit.
• De Planner: Deze agent tekent een plattegrond van de taart. Hij zegt: "Eerst doen we de bodem, dan de vulling, dan de glazuur." Hij zorgt dat alles in de juiste volgorde gebeurt, zodat de taart niet instort.
• De Bouwer: Deze agent schrijft de daadwerkelijke code, stap voor stap, op basis van de plattegrond.

3. De Proefnemer met een Microscoop (Visuele Feedback)

Dit is misschien wel het coolste deel. Zodra de AI de taart heeft gebakken (de code heeft geschreven), laat hij de computer de taart "proeven".

• De AI kijkt naar de foto's die de taart maakt.
• Ziet hij vlekken? Of is de taart een beetje scheef? (Dit noemen ze artifacts).
• Dan zegt de AI: "Hé, hier is iets mis. Laten we de temperatuur iets aanpassen" of "We hebben een ingrediënt vergeten."
• De AI past de code direct aan en probeert het opnieuw, totdat de taart er perfect uitziet. Dit proces noemen ze Visual-Driven Feedback.

Waarom is dit zo belangrijk?

Vroeger duurde het weken om zo'n recept te vertalen naar werkende code, en vaak lukte het helemaal niet. Met NERFIFY gebeurt dit in minuten.

• Snelheid: Wat eerst weken kostte, duurt nu even lang als het opwarmen van de oven.
• Betrouwbaarheid: De code werkt bijna altijd. De onderzoekers hebben getest met 30 verschillende recepten (papers). Waar andere systemen faalden (95% van de tijd), lukte het NERFIFY om werkende code te maken.
• Kwaliteit: De taarten die NERFIFY bakt, zien er net zo goed uit als die van de beste professionele koks (de menselijke experts).

Conclusie

NERFIFY is als een tolk die niet alleen woorden vertaalt, maar ook begrijpt hoe de taal werkt. Het zorgt ervoor dat de meest complexe en nieuwe ideeën uit wetenschappelijke artikelen niet meer in de prullenbak belanden, maar direct omgezet worden in iets dat iedereen kan gebruiken. Hierdoor kunnen onderzoekers sneller nieuwe dingen uitvinden, omdat ze niet meer hoeven te worstelen met de basis, maar direct kunnen bouwen op het werk van anderen.

Kortom: NERFIFY maakt het baken van de toekomst van 3D-beeldkunst voor iedereen toegankelijk, snel en foutloos.

Technische samenvatting

Probleemstelling

Sinds de introductie van Neural Radiance Fields (NeRF) in 2020 zijn er meer dan 1.000 opvolgende onderzoeksartikelen gepubliceerd. Een groot probleem is dat de meeste van deze papers geen openbare code of gestandaardiseerde implementaties hebben. Dit betekent dat onderzoekers vaak weken moeten besteden aan het handmatig herimplementeren van bestaande methoden voordat ze erop kunnen voortbouwen.

Bestaande generieke "paper-to-code" systemen (zoals Paper2Code of AutoP2C) en geavanceerde LLM's (zoals GPT-5) falen vaak bij NeRF-taken omdat:

1. Ze geen diepgaand domeinspecifiek inzicht hebben in volumetrisch rendering, computer vision en neurale optimalisatie.
2. Ze vaak code genereren die syntactisch correct is maar niet trainbaar of uitvoerbaar is (bijvoorbeeld door het missen van complexe afhankelijkheden tussen papers).
3. Ze moeite hebben met het oplossen van lange ketens van afhankelijkheden (bijv. een paper die verwijst naar een loss-functie uit een andere paper, die op zijn beurt weer afhankelijk is van een derde).

Methodologie: NERFIFY

NERFIFY is een multi-agent framework dat NeRF-onderzoekspapers omzet in volledig trainbare plugins voor het Nerfstudio-framework. Het systeem werkt in vier fasen en maakt gebruik van zes kerninnovaties om domeinspecifieke uitvoerbaarheid te garanderen.

De Vier Stages van het Framework:

1. CFG Formalisatie en In-Context Learning:

   • De architectuur van Nerfstudio wordt geformaliseerd als een Context-Free Grammar (CFG). Dit fungeert als een strikte constraint voor de LLM, zodat gegenereerde code per definitie voldoet aan de architecturale invarianten van het framework.
   • Een kennisbank wordt opgebouwd met paper-code paren als "in-context" voorbeelden.

2. Compositional Dependency Resolution (Samenstellende Afhankelijkheidsoplossing):

   • NeRF-papers zijn vaak compositieel (gebouwd op bestaande componenten). Een agent bouwt een citaat-graf op om impliciete afhankelijkheden te vinden.
   • Het systeem doorloopt de graf recursief om componenten uit referentiepapers op te halen (bijv. een proposal network uit Mip-NeRF 360 of hash-encoders uit Instant-NGP) en integreert deze in de nieuwe code.

3. Grammar-Guided Repository Generation (Graph-of-Thought):

   • In plaats van één grote code-blok te genereren, gebruikt het framework een Graph-of-Thought (GoT) aanpak.
   • Een "Master Agent" coördineert gespecialiseerde agents die bestanden genereren in een topologische volgorde (vanaf de basis-dependencies naar de pipeline).
   • Op elk stapje worden contracten (types, tensor-vormen) gevalideerd voordat de volgende stap wordt gezet, wat cyclische afhankelijkheden en import-fouten voorkomt.

4. Visual-Driven Feedback (Visuele Feedback):

   • Na het genereren van code wordt een korte "smoke training" uitgevoerd.
   • Een Critique Agent analyseert de gegenereerde beelden op drie gebieden:
     • Metrisch: Analyse van PSNR-minima en foutkaarten.
     • Geometrisch: Detectie van inconsistenties tussen verschillende viewpoints (bijv. "ghosting" of zwevende objecten).
     • Semantisch: Een Vision-Language Model (VLM) diagnoseert artefacten en stelt specifieke patches voor.
   • Dit proces is iteratief en stopt wanneer de kwaliteit overeenkomt met expert-implementaties.

Kernbijdragen

1. Domein-specifieke Grammatica: Het formaliseren van Nerfstudio als een CFG zorgt ervoor dat gegenereerde code architecturaal correct is "by construction".
2. Compositional Citation Recovery: Het automatisch doorlopen van citaat-grafen om ontbrekende bouwstenen uit andere papers te recupereren, wat essentieel is voor complexe NeRF-methoden.
3. Graph-of-Thought Synthese: Een multi-agent aanpak die bestanden in de juiste volgorde genereert en valideert, in plaats van monolithische code-generatie.
4. Visuele Correctie: Een gesloten lus waarbij visuele artefacten worden gebruikt om de code automatisch te verbeteren, niet alleen om syntactische fouten te vinden.
5. NERFIFY-BENCH: De introductie van het eerste benchmark voor paper-to-code synthese specifiek voor NeRF, bestaande uit 30 diverse papers (inclusief papers zonder enige bestaande code).

Resultaten

Het framework is geëvalueerd op NERFIFY-BENCH tegenover state-of-the-art baselines (Paper2Code, AutoP2C, GPT-5, R1) en menselijke experts.

• Uitvoerbaarheid: NERFIFY bereikt 100% trainbaarheid voor de geteste papers. De bestaande baselines falen in 95% van de gevallen om trainbare code te produceren (ze genereren vaak alleen data-loading scripts of code met NaN-gradiënten).
• Kwaliteit: Voor papers zonder openbare code (Set 1) bereikt NERFIFY visuele kwaliteit die bijna identiek is aan die van menselijke experts:
  • Verschil in PSNR: ±0.5 dB.
  • Verschil in SSIM: ±0.2.
• Snelheid: Implementatietijd wordt gereduceerd van weken naar minuten.
• Novelty Coverage: NERFIFY slaagt erin om specifieke innovaties uit papers (zoals nieuwe loss-functies of architecturale blokken) correct te implementeren (Score ~1.0), terwijl baselines vaak componenten missen of onjuist implementeren.

Betekenis en Impact

NERFIFY demonstreert dat voor complexe wetenschappelijke domeinen zoals computer vision, domeinspecifieke specialisatie (via grammatica's en gespecialiseerde agents) belangrijker is dan alleen het vergroten van de schaal van een LLM.

• Versnelling van Onderzoek: Het democratiseert toegang tot geavanceerde NeRF-technieken door papers direct om te zetten in werkende code, waardoor onderzoekers niet langer vastzitten aan de implementatiefase.
• Reproduceerbaarheid: Het lost het probleem op dat veel NeRF-methoden theoretisch blijven omdat ze te moeilijk zijn om handmatig te implementeren.
• Toekomstperspectief: De aanpak suggereert een template voor andere wetenschappelijke gemeenschappen om paper-to-code conversie te automatiseren door gebruik te maken van domein-specifieke grammatica's en multi-agent redenering.

De code, data en gegenereerde implementaties worden openbaar gemaakt om de gemeenschap te ondersteunen.