Technische Samenvatting: Thermal Gaussian Splatting Versnellen met Diepteschatting

Probleemstelling

Efficiënte en robuuste 3D-scènevoorstelling is cruciaal voor toepassingen in autonoom rijden, robotica en surveillance. Hoewel 3D Gaussian Splatting (GS) state-of-the-art prestaties heeft behaald in Novel View Synthesis (NVS) met RGB-gegevens, maakt de afhankelijkheid van zichtbaar licht het kwetsbaar in gereduceerde omgevingen (bijvoorbeeld bij weinig licht, mist of rook). Bestaande multimodale benaderingen proberen thermische gegevens te integreren om de robuustheid te verbeteren, maar deze methoden vertrouwen vaak op het samenvoegen van RGB- en thermische modaliteiten. Deze fusie introduceert aanzienlijke uitdagingen:

1. Complexiteit en Snelheid: Het combineren van multimodale gegevens vertraagt het trainingsproces en maakt de pijplijn complexer.
2. Uitlijningsproblemen: Thermische en RGB-camera's vereisen een nauwkeurige co-registratie, wat moeilijk te bereiken is.
3. Afhankelijkheid: Huidige op thermische gegevens gebaseerde GS-frameworks zijn vaak nog steeds afhankelijk van RGB-afbeeldingen voor supervisie of gezamenlijke optimalisatie, waardoor ze geen echt onafhankelijk thermisch representatiesysteem tot stand brengen.
4. Gegevenskenmerken: Thermische beelden lijden inherent aan laag contrast, schaarse texturen en niet-uniforme helderheid, waardoor pure thermische supervisie instabiel is zonder geometrische beperkingen.

De auteurs identificeren een gat in de literatuur: er bestaat geen framework dat succesvol 3D-reconstructie uitvoert met alleen thermische infraroodgegevens (een enkele modaliteit) terwijl het hoge kwaliteit en efficiëntie behoudt.

Methodologie: Thermal-to-Depth Gaussian Splatting (TDg)

Het artikel stelt TDg voor, een zelfstandig framework dat stralingsvelden afleidt uitsluitend met thermische beelden en diepteschatting, waardoor de afhankelijkheid van zichtbaar licht wordt verwijderd. De kerninnovatie is een unificatie 3D-Gaussian-representatie die wordt geoptimaliseerd via dubbele rasterisatie.

Kernarchitectuur

In plaats van aparte modellen voor verschillende modaliteiten te onderhouden, gebruikt TDg één enkele set 3D-Gaussians $G = \{\mu_i, \Sigma_i, \alpha_i, c_i\}$ om de scène voor te stellen.

• Unificatie Representatie: Elke Gaussian wordt geparametriseerd door positie ($\mu$), covariantie ($\Sigma$), opaciteit ($\alpha$) en een thermisch stralingskenmerk ($c$).
• Dubbele Rendering: Tijdens de optimalisatie wordt het unificatie model gerenderd naar twee outputs:
  1. Thermische Afbeeldingen: Met gebruik van het stralingskenmerk $c_i$.
  2. Dieptekaarten: Met gebruik van de Z-coördinaat van de Gaussian-centers in cameraruimte.

Belangrijkste Componenten

1. Thermal-to-Depth Schatting:

   • Een door thermische gegevens geleide diepteschatter ($f_\theta$), specifiek het Marigold-model, voorspelt dichte dieptekaarten ($D$) direct vanuit de invoer-thermische afbeeldingen ($I_{Th}$).
   • Dit biedt een geometrische prior om de 3D-distributie van het thermische stralingsveld te beperken, waarmee de instabiliteit van pure thermische supervisie in gebieden met weinig textuur wordt aangepakt.

2. Verliesfuncties:

   • Thermisch Verlies ($L_{thermal}$): Combineert pixeltrouw ($L_1$), structurele gelijkenis (SSIM) en een gladheidsterm ($L_{smooth}$). De gladheidsterm straft onnatuurlijke abrupte temperatuurveranderingen af, gebruikmakend van het fysieke gegeven dat de meeste thermische scènes geleidelijke temperatuurgradiënten vertonen.
   • Diepte Verlies ($L_{depth}$): Omdat monocular diepteschatting last heeft van schaal- en verschuivingsambiguïteiten, worden zowel de voorspelde diepte als de gerenderde diepte Min-Max genormaliseerd naar $[0, 1]$. Het verlies is een combinatie van $L_1$-afstand en SSIM tussen de genormaliseerde kaarten.

3. Progressieve Gezamenlijke Optimalisatie:

   • Om de trainingsinstabiliteit veroorzaakt door schaarse thermische texturen aan te pakken, hanteren de auteurs een progressieve strategie.
   • Vroege Training: Het gewicht van het diepteverlies is hoog om structurele nauwkeurigheid af te dwingen op basis van de geschatte diepteprior.
   • Late Training: Het gewicht van het diepteverlies neemt lineair af ($w_{decay}$), waardoor het model zich kan richten op fotometrische trouw en fijnkorrelige thermische details.
   • Het totale verlies wordt geformuleerd als: $L_{total} = L_{thermal} + w_{decay}(t) \cdot \lambda_{depth} \cdot L_{depth}$.

Opmerking over Initialisatie

Hoewel de kernrendering en optimalisatie uitsluitend vertrouwen op thermische gegevens, erkennen de auteurs dat de initiële schaarse puntenwolk momenteel wordt afgeleid van RGB-afbeeldingen met behulp van Structure-from-Motion (SfM/COLMAP). Dit is noodzakelijk omdat thermische beelden de hoogfrequente kenmerken missen die vereist zijn voor standaard SfM-kenmerkextractie. De optimalisatie en afleiding van het stralingsveld blijven echter puur thermisch.

Belangrijkste Bijdragen

1. Thermal-to-Depth Gaussian Splatting (TDg): Een nieuwe, puur op thermische gegevens gebaseerde GS-benadering die diepteschatting direct in de architectuur integreert.
2. Thermisch Geleide Dieptemodule: Een module die in GS is geïntegreerd en geschatte diepte uit thermische afbeeldingen gebruikt om de geometrische distributie te beperken, waardoor de behoefte aan RGB-supervisie tijdens de hoofdoptimalisatiefase wordt geëlimineerd.
3. Uitgebreide Evaluatie: Een rigoureuze benchmarking van TDg tegen de MSMG (Multiple Single-Modal Gaussians) baseline op twee state-of-the-art datasets: RGBT-Scenes en ThermalMix.

Experimentele Resultaten

De auteurs hebben TDg geëvalueerd op 14 scènes uit de RGBT-Scenes en ThermalMix datasets, waarbij ze de prestaties vergeleken met de MSMG baseline.

• Renderkwaliteit:

  • PSNR: TDg behaalde een gemiddelde van 27,42, wat een verbetering is van 0,01% ten opzichte van de baseline (27,18).
  • SSIM: TDg behaalde 0,8899, een verbetering van 0,034% ten opzichte van de baseline.
  • LPIPS: TDg behaalde 0,175, een verbetering van 1,12% (lager is beter) ten opzichte van de baseline.
  • Kwalitatieve resultaten toonden betere resolutie en minder artefacten, met name in omstandigheden met weinig licht ("Dark Scenes").

• TrainingsEfficiëntie:

  • TDg verminderde de trainingstijd significant met 12 minuten en 47 seconden per scène gemiddeld.
  • Dit vertegenwoordigt een 55% verbetering in snelheid ten opzichte van de baseline.
  • De winst in efficiëntie wordt toegeschreven aan de door diepte geleide supervisie, die voorkomt dat "floaters" (overmatige, inefficiënte verdichting in lege ruimte) ontstaan, zoals vaak voorkomt bij de baseline, door expliciete ruimtelijke gradiënten te bieden.

• Mislukte Cases:

  • Willekeurige Initialisatie: Zonder de op COLMAP gebaseerde geometrische prior faalt het model om te generaliseren naar nieuwe viewpoints, wat resulteert in ernstig overfitting (PSNR daalt tot ~9,6).
  • Verborgen Gebieden: De methode heeft moeite met grootschalige structuren (bijvoorbeeld gebouwen) waar 360-graden thermische opname onuitvoerbaar is, wat leidt tot slechte reconstructie van niet-geobserveerde achtergevels.

Betekenis en Claims

Het artikel claimt dat TDg de kloof tussen thermische beeldvorming en efficiënte 3D-reconstructie succesvol overbrugt door de afhankelijkheid van RGB-gegevens voor de afleiding van het kernstralingsveld te verwijderen.

• Robuustheid: De methode maakt 3D-scènevoorstelling mogelijk die onafhankelijk is van zichtbaar licht, waardoor deze geschikt is voor surveillance, zoek- en reddingsoperaties en industriële inspecties waar lichtomstandigheden slecht of variabel zijn.
• Efficiëntie: Door gebruik te maken van een enkele modaliteit en door diepte geleide optimalisatie, versnelt de methode de convergentie en vereenvoudigt het de verwerkingspijplijn in vergelijking met multimodale fusiebenaderingen.
• Toepassingspotentieel: De resulterende thermische stralingsvelden kunnen dienen als digitale tweelingen of bestaande verrijken, waardoor het mogelijk is warmtebronnen (mensen, machines) te identificeren en warmteoverdrachtsgedrag te analyseren vanuit nieuwe viewpoints zonder de noodzaak van multimodale hardware-synchronisatie.

De auteurs concluderen dat hoewel thermische beelden alleen sterke structurele signalen bieden, de integratie van geschatte diepte cruciaal is om het optimalisatieproces te sturen, waardoor geometrische nauwkeurigheid en fotometrische trouw effectief in evenwicht worden gebracht binnen een framework met één modaliteit.