Towards 3D Scene Understanding of Gas Plumes in LWIR Hyperspectral Images Using Neural Radiance Fields

Dit onderzoek toont aan dat Neural Radiance Fields (NeRFs) effectief kunnen worden ingezet om 3D-scènes van gaspluimen in LWIR-hyperspectrale beelden te reconstrueren en gasdetectie te verbeteren, zelfs met een beperkt aantal trainingsbeelden.

De kern

Het Probleem: De "Gazige" Foto

Stel je voor dat je een foto maakt van een fabriek waar een onzichtbare, giftige gaswolk (zoals een wolk van zwaveldioxide) uit de schoorsteen komt. In het daglicht zie je dit gas niet. Maar met een speciale camera die infrarood licht ziet (zoals nachtzicht), kun je de gaswolk wel zien als een gekleurde, dichte mist.

Het probleem is vaak dat je maar één of twee foto's hebt.

• Als je alleen naar één foto kijkt, is het moeilijk om te weten hoe groot de wolk echt is, hoe diep hij is, of waar hij precies vandaan komt. Het is alsof je naar een schaduw op de muur kijkt en probeert te raden wat het voorwerp is dat die schaduw veroorzaakt.
• Bovendien is het lastig om te weten of de "wolk" echt gas is of gewoon een rare reflectie van de zon op een raam.

De Oplossing: Een "Magische" 3D-Modelleerder (NeRF)

De onderzoekers gebruiken een slimme technologie genaamd NeRF (Neural Radiance Fields). Je kunt dit zien als een virtuele klei of een 3D-puzzel die door een computer wordt geleerd.

In plaats van dat je de computer vertelt: "Hier is een muur, hier is een weg", geef je de computer een paar foto's van verschillende hoeken. De computer leert dan zelf een onzichtbaar, digitaal 3D-landschap na te bouwen.

• De Magie: Zodra de computer dit 3D-landschap heeft geleerd, kan hij nieuwe foto's maken vanuit hoeken waar je nooit hebt gefotografeerd. Het is alsof je een video game hebt waarin je overal naartoe kunt vliegen, zelfs als je maar drie foto's van de locatie hebt gemaakt.

Wat doen ze anders? (De "Superkrachten")

Normaal gesproken heeft zo'n computermodel honderden foto's nodig om het goed te doen. Maar in de echte wereld (bijvoorbeeld bij een ramp of een veiligheidscontrole) heb je vaak maar een paar foto's. De onderzoekers hebben hun model daarom "opgevoerd" met drie speciale technieken:

1. De Kleur-Check (Spectrale Hoek):
   Normaal kijkt een computer alleen of de kleuren van de foto's overeenkomen. Maar bij gas is de vorm van het kleurenspectrum belangrijker dan de helderheid. De onderzoekers hebben een regel toegevoegd die zegt: "Kijk niet alleen of de kleuren hetzelfde zijn, maar ook of ze er hetzelfde uitzien." Dit helpt de computer om het gas beter te onderscheiden van de achtergrond.

2. De "Zwaarste" Fouten (Adaptieve Weegschaal):
   Soms maakt de computer fouten op de plekken waar het gas zit. De onderzoekers hebben een slimme weegschaal bedacht die zegt: "Als de computer het gas niet goed ziet, moet hij daar extra hard voor leren." Het model leert dus automatisch dat de gaswolk belangrijker is dan de weg eronder.

3. De "Rustige" Ruimte (Regels voor de Vorm):
   Omdat ze maar weinig foto's hebben, kan de computer soms gekke dingen verzinnen (bijvoorbeeld dat de weg zweeft in de lucht). Ze hebben een regel toegevoegd die zegt: "De wereld moet er rustig en logisch uitzien." Dit zorgt ervoor dat de gebouwen en wegen er echt uitzien, zelfs als de computer maar een paar foto's heeft gezien.

De Resultaten: Minder Foto's, Beter Resultaat

De onderzoekers hebben dit getest met een gesimuleerde fabriek en een gaswolk.

• De Normale Manier: Om een goed 3D-model te maken, had de standaard-computer 50 foto's nodig.
• De Nieuwe Manier: Hun verbeterde model deed het al goed met slechts 20 tot 30 foto's.

Dat is alsof je een perfecte 3D-reconstructie van een stad kunt maken met slechts een paar selfies, terwijl anderen honderden foto's nodig hebben.

Waarom is dit belangrijk? (Het Doel)

Het uiteindelijke doel is niet alleen om mooie 3D-foto's te maken, maar om gas te detecteren.

• Als je een 3D-model hebt, kun je de gaswolk van alle kanten bekijken. Je kunt zien hoe groot hij is, hoe snel hij beweegt en of hij echt gevaarlijk is.
• De tests toonden aan dat hun model het gas veel beter vond dan de oude methoden, zelfs als ze maar weinig foto's hadden. Het model zag de "gaten" in de wolk die de oude methoden misten.

Samenvatting in één zin

De onderzoekers hebben een slimme computerkunstenaar getraind die met maar een paar foto's een compleet 3D-landschap kan nabouwen, zodat we giftige gaswolken veel beter en sneller kunnen vinden dan voorheen, zelfs als we maar weinig beelden hebben.

Kortom: Ze hebben een manier gevonden om met weinig informatie veel meer inzicht te krijgen in een gevaarlijke situatie, door de computer te leren hoe de wereld er echt uitziet, niet alleen hoe hij er op één foto uitziet.

Technische samenvatting

Probleemstelling

Hyperspectrale beelden (HSI) in het langgolf-infrarood (LWIR) zijn cruciaal voor het detecteren en analyseren van gaspluimen (bijvoorbeeld voor milieubewaking of nationale veiligheid). Een fundamentele uitdaging in dit domein is dat vaak slechts een beperkt aantal beelden van een scène beschikbaar is, die meestal individueel worden geanalyseerd.

• Beperkingen van bestaande methoden: Traditionele fotogrammetrie (zoals Structure from Motion) werkt slecht met HSI-data vanwege de hoge dimensionaliteit en complexe lichtinteracties. Bestaande NeRF-implementaties (Neural Radiance Fields) zijn voornamelijk getest op zichtbaar licht of gereduceerde spectrale data (bijv. PCA), niet op volledige LWIR-spectrale data.
• Doel: Er is behoefte aan een methode die informatie uit meerdere beelden combineert tot één samenhangende 3D-representatie. Dit zou de geometrie van de scène en de spectrale eigenschappen van gaspluimen beter kunnen reconstrueren, zelfs met een zeer beperkt aantal trainingsbeelden (sparse views).

Methodologie

De auteurs hebben een aangepast NeRF-model ontwikkeld dat specifiek is ontworpen voor LWIR-hyperspectrale data en gaspluimdetectie. Het model is gebaseerd op de Mip-NeRF architectuur en integreert technieken uit de literatuur over hyperspectrale NeRF's en sparse-view NeRF's.

1. Data Generatie:

• Er werd een synthetische dataset gegenereerd met DIRSIG (Digital Imaging and Remote Sensing Image Generation), een fysisch gebaseerde ray-tracing software.
• De scène bevat een installatie met een schoorsteen die een pluim van Zwavelhexafluoride (SF6) uitstoot.
• De data bestaat uit 231 LWIR-beelden (128 spectrale kanalen, 7.8–13.4 µm) vanuit een hemisferische opstelling.

2. Architecturale Aanpassingen:

• Multi-Channel Density (MD): In plaats van één dichtheid ($\sigma$) voor alle golflengten, leert het model een aparte dichtheid voor elk van de 128 spectrale kanalen. Dit sluit aan bij de fysische eigenschap dat gassen alleen absorberen op specifieke golflengten.
• Geometrie Regularisatie (RegNeRF): Om het probleem van weinig trainingsbeelden aan te pakken, wordt geometrie regularisatie toegepast. Dit zorgt ervoor dat de gereconstrueerde scène stuksgewijs glad is, zelfs op locaties waar geen trainingsdata aanwezig is. Dit gebeurt door willekeurige "patches" te genereren en de diepteverschillen tussen naburige pixels te minimaliseren.
• Sample Space Annealing: Een techniek om de near- en far-planes van de stralen tijdens de vroege trainingsfase te beperken, wat zorgt voor een stabielere convergentie.

3. Verbeterde Loss Functie:
De auteurs introduceerden een nieuwe, samengestelde loss-functie ($L_{spec}$) die bestaat uit drie delen:

• L2 Loss: Standaard foutmeting voor intensiteit.
• Spectral Angle Mapper (SAM): Een loss-term die de vorm van het spectrum vergelijkt (onafhankelijk van schaal), essentieel voor spectrale consistentie.
• Adaptive Weighted L2 (AWL2): Een innovatieve component waarbij de weging per spectraal kanaal dynamisch wordt aangepast op basis van de residuen van het model. Kanalen met grotere fouten (vaak die geassocieerd met de gaspluim) krijgen een hogere weging. Deze weging wordt elke 5000 iteraties bijgewerkt.

Belangrijkste Bijdragen

1. Integratie van SOTA-methoden: De eerste toepassing van RegNeRF-technieken (geometrie regularisatie) op multi-channel density NeRF's voor volledige LWIR-hyperspectrale data.
2. Adaptive Weighted Loss: De ontwikkeling van een AWL2-loss die de prestaties van gaspluimdetectie in gerenderde beelden significant verbetert door de focus te leggen op kanalen met hoge fouten.
3. Efficiëntie bij Sparse Views: Het bewijzen dat het model met 50% minder trainingsbeelden dezelfde prestaties haalt als de standaard Mip-NeRF.
4. Downstream Analyse: Het demonstreren dat de NeRF-renders direct gebruikt kunnen worden voor gasdetectie (via de Adaptive Coherence Estimator - ACE), wat een brug slaat tussen 3D-reconstructie en operationele analyse.

Resultaten

De prestaties werden getest op datasets met 20 tot 100 trainingsbeelden en vergeleken met de standaard Mip-NeRF.

• Beeldreconstructie (PSNR & SSIM):

  • Met slechts 20 trainingsbeelden bereikte het voorgestelde model een gemiddelde PSNR van 36.7 dB, terwijl de standaard Mip-NeRF 50 beelden nodig had om een vergelijkbare score (36.4 dB) te halen.
  • Bij 30 beelden bereikte het model een PSNR van 39.8 dB.
  • Visueel toonden de renders van het nieuwe model veel minder artefacten en betere geometrie van gebouwen en de pluim, zelfs bij zeer weinig beelden.

• Gaspluim Detectie (ACE):

  • De detectie werd uitgevoerd met de Adaptive Coherence Estimator (ACE) op de gerenderde beelden.
  • Bij 30 trainingsbeelden behaalde het model een gemiddelde AUC van 0.821 (Area Under Curve) en een True Positive Rate (TPR) van 55.7%. De standaard Mip-NeRF haalde hier slechts een AUC van 0.638 en een TPR van 18.5%.
  • De False Positive Rate (FPR) bleef voor beide modellen extreem laag (< 0.6%).
  • Het model slaagde erin de pluim te detecteren vanuit nieuwe hoeken, wat aantoont dat de radiometrische informatie correct is geleerd.

• Ablatie Study:

  • De combinatie van Multi-Channel Density, Geometrie Regularisatie en de aangepaste Loss-functies bleek essentieel voor de beste prestaties, vooral bij zeer weinig beelden (<30). Bij grote datasets (>75 beelden) levert de standaard Mip-NeRF met SAM vergelijkbare resultaten, maar tegen lagere rekentijd.

Betekenis en Toekomstperspectief

Dit onderzoek toont aan dat Neural Radiance Fields een krachtig hulpmiddel kunnen zijn voor de 3D-analyse van LWIR-hyperspectrale scènes, zelfs wanneer data schaars is.

• Praktische Impact: Het vermogen om een samenhangende 3D-representatie te maken met weinig beelden is cruciaal voor toepassingen zoals drone-missies of satellietobservatie waar het verzamelen van veel beelden van één doelwit moeilijk is.
• Verbeterde Analyse: Door de 3D-geometrie en spectrale eigenschappen te combineren, kan de achtergrondschatting worden verbeterd, wat leidt tot nauwkeurigere detectie en kwantificering van gaspluimen.
• Toekomstig Werk: De auteurs suggereren dat toekomstig onderzoek zich moet richten op het verbeteren van prestaties met nog minder beelden (<20), het toepassen op complexere real-world scènes, en het kwantificeren van de temperatuur en concentratie van de pluim in 3D.

Samenvattend biedt deze studie een robuust kader voor het overbruggen van de kloof tussen 2D-hyperspectrale detectie en 3D-scènebegrip, met directe toepassingen voor nationale veiligheid en milieumonitoring.