Low-Cost Neural Radiance Fields

Technische Samenvatting: Lage-Kosten Neural Radiance Fields

Probleemstelling
Neural Radiance Fields (NeRF) hebben een hoge standaard gevestigd voor synthesen van nieuwe weergaven, maar lijden onder prohibitieve trainingstijden en een zware afhankelijkheid van dichte invoerweergaven. Deze beperkingen beperken de toegankelijkheid van NeRF voor gebruikers met beperkte rekenkracht of gegevensbeschikbaarheid. De primaire uitdaging die in dit werk wordt aangepakt, is hoe NeRF-training kan worden versneld en de gegevensvereisten kunnen worden verlaagd zonder de reconstructiekwaliteit significant te laten verslechteren.

Methodologie
De auteurs hebben een vergelijkende studie uitgevoerd van drie versnelde NeRF-varianten—DS-NeRF, TensoRF en HashNeRF—onder beperkte rekenkracht en gegevensregimes. De studie omvatte het implementeren van deze baselines en het voorstellen van specifieke architecturale en trainingsaanpassingen:

1. TensoRF met dieptetoezicht (TensoRF-DS):

   • Aanpak: De auteurs hebben een dieptetoezicht-verliesterm geïntegreerd in het TensoRF-raamwerk. Ground truth-dieptewaarden werden afgeleid van COLMAP-sleutelpunten (3D-locaties en 2D-pixelcoördinaten).
   • Verliesfunctie: Een Mean Squared Error (MSE) diepteverlies ($L_{\hat{D}}$) werd berekend tussen de door het model geschatte diepte en de uit COLMAP afgeleide ground truth. Dit werd gecombineerd met het standaard NeRF-kleurenverlies ($L_{\hat{C}}$) met behulp van een wegingshyperparameter $\lambda_i$.
   • Dataset: Experimenten werden uitgevoerd op de LLFF-dataset, waarbij een "lage-gegevens" regime werd gebruikt met slechts 9 afbeeldingen (4 training, 4 testen, 1 validatie) in vergelijking met de volledige dataset.

2. TensoRF Ablatie en Ondersampling:

   • Ondersampling: Om binnen geheugentarieven te blijven en de runtime te verminderen, hebben de auteurs invoerafbeeldingen met een factor 4 ondersampled.
   • Architecturale Ablatie: De feature-decoding Multi-Layer Perceptron (MLP) van TensoRF werd gewijzigd door het toevoegen of verwijderen van lineaire lagen om de impact op de Peak Signal-to-Noise Ratio (PSNR) en runtime te bepalen.

3. HashNeRF Architecturale Varianties:

   • Aanpak: De auteurs stelden vier architecturale aanpassingen voor aan de kleur- en dichtheidsnetwerken na de multi-resolutie hash-encoding.
   • Variaties:
     • Het vervangen van lineaire lagen door 1D-convolutielagen om parameters te verminderen.
     • Het toevoegen van residuele verbindingen van de initiële invoer naar daaropvolgende lagen in de sigma- en kleur-MLP's.
     • Het toevoegen van residuele verbindingen van alternatieve lagen (twee lagen eerder) om ruimtelijke informatie te behouden.
     • Het verdiepen van het netwerk om kleurvariaties fijn te tunen.
   • Evaluatie: Modellen werden geëvalueerd op de synthetische Lego-scène en vergeleken met de baseline met behulp van PSNR en trainingstijd bij vaste iteratiebudgetten (500 en 1000 iteraties).

Belangrijkste Resultaten

• TensoRF-DS: De toevoeging van dieptetoezicht aan TensoRF onder lage-gegevenscondities leverde een verwaarloosbare verbetering op. Terwijl de lage-gegevensbaseline een significante prestatiedaling leed (Test PSNR van 15,23 versus 26,32 voor volledige gegevens), verbeterde het dieptetoezicht-variant de Test PSNR slechts met 0,01 (15,24). Visualisaties gaven aan dat hoewel de kleuruitvoer vergelijkbaar was, de onderliggende dieptestructuur onvolledig bleef, en de diepteverliesgradiënten slechts een klein deel van de voxelruimte beïnvloedden vanwege de schaarste aan COLMAP-sleutelpunten ten opzichte van pixelvergelijkingen.
• TensoRF Ondersampling: Het ondersampling van invoer met een factor 4 stelde het model in staat om in slechts 2.500 iteraties een Test PSNR van 31,297 te bereiken (getraind in minder dan 10 minuten), vergelijkbaar met de prestaties van de originele NeRF, maar met aanzienlijk lagere rekenkosten. Ablatiestudies aan de feature-decoding MLP toonden geen significante prestatiewinsten door het aantal lagen te wijzigen, wat suggereert dat de standaardarchitectuur al efficiënt is.
• HashNeRF Varianties: Van de vier voorgestelde architecturale varianten behaalde het diepste netwerk (Variatie 4) de hoogste PSNR van 27,119 bij 1.000 iteraties. Dit bleef echter onder de 28,2 PSNR die door de oorspronkelijke HashNeRF-auteurs werd gerapporteerd onder hun standaardconfiguratie. Wanneer het trainen tot convergentie werd toegestaan, overtrof het voorgestelde netwerk de baseline, maar bij iso-tijd (vaste iteratie) evaluatie presteerde het niet overtuigend beter dan de gepubliceerde baseline.

Betekenis en Beweringen
Het artikel concludeert dat bij iso-tijd evaluatie geen van de voorgestelde uitbreidingen overtuigend beter presteerde dan de gepubliceerde baselines. Het werk dient echter om te karakteriseren welke uitbreidingen haalbaar zijn voor beperkte settings en om ontwerpvragen aan het licht te brengen voor toekomstig onderzoek.

• Praktijktoepasbaarheid van Ondersampling: De studie valideert ondersampling als een effectieve techniek om de rekenefficiëntie te verbeteren zonder de kwaliteit significant te compromitteren, waardoor TensoRF toegankelijker wordt voor onderzoekers met beperkte hardware.
• Beperkingen van Dieptetoezicht: De resultaten benadrukken dat het simpelweg toevoegen van dieptetoezicht aan TensoRF met schaarse gegevens onvoldoende is; de schaarste aan ground truth-dieptepunten beperkt de gradiëntvoortplanting die nodig is om de volumetrische reconstructie te verbeteren.
• Toekomstige Richtingen: De auteurs suggereren dat toekomstig werk zou kunnen bestaan uit het berekenen van 3D ground truth-meshes op meer punten om dieptetoezicht beter te benutten, het uitbreiden van het iteratiebudget om te verifiëren of prestatiekloven sluiten met meer training, en het uitvoeren van grondigere ablatiestudies aan TensoRF-componenten.

Uiteindelijk positioneert het artikel zichzelf als een vergelijkende studie die de grenzen van huidige lage-kosten NeRF-aanpassingen identificeert, met de vaststelling dat hoewel specifieke verbeteringen niet werden bereikt onder strikte tijdsbeperkingen, de experimenten een fundament bieden voor het begrijpen hoe deze modellen zich gedragen in omgevingen met beperkte middelen.