GSTurb: Gaussian Splatting for Atmospheric Turbulence Mitigation

In dit paper wordt GSTurb voorgesteld, een innovatief kader dat optische stroom-geleide kantelcorrectie en Gaussische splatting combineert om atmosferische turbulentie effectief te verminderen en zo de beeldkwaliteit in zowel synthetische als real-world scenario's significant te verbeteren.

De kern

Hoe we de "wazige lucht" weer helder maken: Een uitleg van het GSTurb-papier

Stel je voor dat je door een venster kijkt dat niet vies is, maar waarboven een onzichtbare, trillende hittegolf hangt. Alles wat je ziet, lijkt te dansen, te vervormen en wazig te worden. Dit is wat er gebeurt als je door de atmosfeer kijkt (bijvoorbeeld naar een ver gebouw of een ster). De lucht is niet statisch; hij beweegt en breekt het licht op een chaotische manier. Dit noemen we atmosferische turbulentie.

Deze wetenschappers hebben een nieuwe manier bedacht om die wazigheid weg te halen. Ze noemen hun uitvinding GSTurb. Laten we het uitleggen alsof we een groepje vrienden zijn die een wazige foto proberen te repareren.

1. Het Probleem: De dansende en vage foto

Atmosferische turbulentie doet twee dingen met je foto:

1. Het beeld schuift op (Tilt): Net als als je door een ruit kijkt die trilt, springt het beeld heen en weer.
2. Het beeld wordt wazig (Blur): Alsof je door een verwarmde asfaltweg kijkt; de details vloeien in elkaar.

Oude methoden waren als een slechte fotograaf die probeerde dit op te lossen:

• Ze gaten er één foto uit die "gelukkig" scherp leek (de "lucky frame") en probeerden daarop te bouwen. Maar dat werkt niet altijd.
• Ze probeerden de hele foto met één regel te corrigeren, alsof de hele lucht even warm is. Dat is niet waar; de lucht is lokaal anders.

2. De Oplossing: GSTurb (De slimme bouwer)

De auteurs gebruiken een nieuwe technologie genaamd Gaussian Splatting. Dit klinkt ingewikkeld, maar stel je dit voor:

Stel je voor dat je een 3D-beeld niet bouwt met pixels (kleine vierkantjes), maar met miljoenen kleine, zwevende, gekleurde ballen (de "Gaussians").

• Elke bal heeft een positie, een grootte, een draaiing en een kleur.
• In plaats van een vaste foto te maken, laten deze ballen zweven en bewegen.
• De computer leert hoe deze ballen zich moeten gedragen om de "echte" foto te vormen, ondanks de turbulentie.

Het geheim van GSTurb is dat ze deze zwevende ballen gebruiken om zowel het schuiven als de wazigheid tegelijkertijd te simuleren en te corrigeren.

3. Hoe werkt het? (De drie stappen)

Het proces verloopt in drie creatieve stappen:

Stap A: Het schuiven stoppen (De dansvloer)

Eerst moeten we de foto's stabiliseren. De lucht laat het beeld dansen.

• De analogie: Stel je een dansvloer voor waar iedereen een beetje uit de pas loopt. De computer gebruikt een slimme tool (genaamd RAFT) om te kijken hoe elke pixel beweegt ten opzichte van de andere.
• Het berekent de "gemiddelde dansbeweging" en draait alles terug naar de juiste plek. Nu staat het beeld stil, maar het is nog steeds wazig.

Stap B: De wazigheid begrijpen (De wazige brillen)

Nu we het beeld stil hebben, moeten we de wazigheid weghalen. Maar de wazigheid is niet overal hetzelfde; links is het misschien heel wazig, rechts minder.

• De analogie: Stel je voor dat je een bril opzet die overal anders dik is. De computer (met een netwerk genaamd BKENet) probeert te raden hoe dik die bril precies is op elke plek.
• In plaats van één grote, ingewikkelde bril te maken, splitsen ze het beeld op in kleine stukjes (zoals een mozaïek). Voor elk stukje schatten ze een eigen "wazigheids-bril". Dit maakt het veel makkelijker om de complexe lucht te begrijpen.

Stap C: De grote puzzel oplossen (De zwevende ballen)

Nu komen de Gaussian Splatting-ballen in beeld.

• De computer neemt de gestabiliseerde foto en de geschatte wazigheids-brillen.
• Het begint met het aanpassen van de miljoenen zwevende ballen. Het vraagt zich af: "Als ik deze bal hier een beetje verplaats en iets groter maak, wordt de foto dan scherper?"
• Het doet dit duizenden keren, steeds een beetje beter, totdat de zwevende ballen precies de scherpste, helderste foto vormen die mogelijk is.

4. Waarom is dit zo goed?

• Het werkt met veel beelden: Oude methoden konden maar met een paar foto's omgaan. GSTurb kan duizenden foto's tegelijk gebruiken, waardoor het een veel duidelijker beeld krijgt (net als hoe je een foto scherper maakt door meerdere opnames te combineren).
• Het is slim over de lucht: Het begrijpt dat de lucht niet overal hetzelfde is (niet-isoplanatisch), waardoor het details kan redden die andere methoden verliezen.
• Resultaat: Op testschermen zagen ze dat hun beelden veel scherper waren (hoge PSNR en SSIM scores) dan de beste bestaande methoden. Het verschil is als het verschil tussen een wazige foto door een vieze ruit en een kristalheldere foto.

Conclusie

Kortom: GSTurb is als een super-slimme fotograaf die duizenden wazige, dansende foto's van een ver object pakt. Hij gebruikt een slimme rekenmethode (de zwevende ballen) om eerst de dans te stoppen en dan de wazige brillen van elke hoek van het beeld af te halen. Het resultaat? Een beeld dat eruitziet alsof de lucht er nooit was geweest.

Dit is een enorme stap vooruit voor dingen zoals satellietbeelden, astronomie (sterren kijken) en communicatie via lichtstralen, waar de lucht vaak een hinderpaal is.

Technische samenvatting

Probleemstelling

Atmosferische turbulentie is een significante degradatiefactor in langeafstandsbeeldvormingssystemen, veroorzaakt door willekeurige fluctuaties in de brekingsindex van de atmosfeer. Dit leidt tot twee hoofdproblemen:

1. Pixelverplaatsing (Tilt): Willekeurige geometrische vervormingen die leiden tot een verschuiving van pixels tussen opeenvolgende frames.
2. Vervaging (Blur): Een onscherpte veroorzaakt door de turbulentie. In kleine gezichtsvelden (FOV) kan dit als isoplanatisch (ruimtelijk invariant) worden beschouwd, maar in grote gezichtsvelden is het anisoplanatisch (ruimtelijk variërend), wat de herstelprocessen aanzienlijk complexer maakt.

Bestaande methoden hebben beperkingen:

• Traditionele methoden vertrouwen vaak op een referentieframe dat vrij is van tilt (wat zelden perfect het geval is) en veronderstellen isoplanatische voorwaarden die niet gelden voor grote FOV's.
• Deep Learning-methoden hebben moeite met het verwerken van grote batches beelden en integreren vaak onvoldoende de onderliggende fysieke processen van turbulentie, wat de generalisatie beperkt.

Methodologie: GSTurb

De auteurs stellen GSTurb voor, een nieuw raamwerk dat Gaussian Splatting (GS) combineert met optische flow-geleide tilt-correctie en diepe blur-kernschatting. Het doel is om de degradatieprocessen (tilt en blur) te modelleren als parameters binnen het Gaussian Splatting-optimatieproces.

Het raamwerk bestaat uit drie kernmodules:

1. Optical Flow-geleide Tilt Correctie:

   • In plaats van een enkele referentie te gebruiken, wordt het RAFT-model (Recurrent All-Pairs Field Transforms) gebruikt om optische flow tussen frames te schatten.
   • Gebaseerd op de statistische aanname dat turbulentie-inducere tilt een nul-middelpunt verdeling heeft over de tijd, wordt het gemiddelde van de optische flowvelden berekend.
   • Dit gemiddelde veld wordt gebruikt om de tilt in het referentiekader te corrigeren, wat resulteert in een "tilt-vrij" beeld dat als input dient voor de volgende stap.

2. Blur Kernel Schattingsnetwerk (BKENet):

   • Om de complexe, willekeurig variërende blur-kernen (PSF) in anisoplanatische omstandigheden te modelleren, wordt BKENet (gebaseerd op ResNeXt) ingezet.
   • De blur-kernen worden ontbonden via Principal Component Analysis (PCA) in een set basisfuncties (1 hoofdbasis + 100 subcomponenten).
   • Het netwerk schat de gewichten voor deze basisfuncties. Om de complexiteit te verminderen en stabiliteit te vergroten, wordt het beeld opgedeeld in lokale isoplanatische regio's. Hierdoor hoeft niet voor elk pixel een unieke kern te worden geschat, maar voor regio's (bijv. 32x32 blokken in plaats van 512x512).
   • Het model gebruikt positiviteitsbeperkingen (gewichten moeten niet-negatief zijn) en sparsiteitsregularisatie om overfitting te voorkomen en fysisch betekenisvolle kernen te garanderen.

3. Gaussian Splatting (GS) Optimatie:

   • Dit is de kern van het raamwerk. De auteurs modelleren de turbulentie-degradatie direct binnen de GS-parameters.
   • Tilt wordt gemodelleerd als een verschuiving in de gemiddelde positie ($x$) van de Gaussians.
   • Blur wordt gemodelleerd als een wijziging in de covariantiematrix (rotatie $r$ en schaling $s$) van de Gaussians.
   • Een cyclische consistentieverliesfunctie (cyclic consistency loss) wordt gebruikt. Het proces gaat als volgt: een scherp beeld wordt "vervagen" met de geschatte kernen en vervolgens weer "ontvagen" via de GS-optimatie. Door dit verlies te minimaliseren, worden de GS-parameters (positie, rotatie, schaling, transparantie, kleur) geoptimaliseerd om het oorspronkelijke scherpe beeld te reconstrueren.

Belangrijkste Bijdragen

1. Eerste toepassing van Gaussian Splatting voor turbulentie: Voor het eerst wordt Gaussian Splatting geïntroduceerd voor atmosferische turbulentie-mitigatie. Dit biedt een unificerend raamwerk waar tilt en blur worden vertaald naar optimatiebare GS-parameters.
2. Efficiënte Tilt Correctie: Een innovatieve combinatie van RAFT-optische flow met statistische priors (nul-middelpunt) voor snelle en accurate tilt-correctie zonder afhankelijk te zijn van een perfecte "lucky frame".
3. Geavanceerde Blur Modellering: De introductie van BKENet met PCA-decompositie en isoplanatische regio-afdeling maakt het mogelijk om ruimtelijk variërende blur-kernen efficiënt en fysisch correct te schatten, zelfs in grote gezichtsvelden.
4. Schalbaarheid: Het raamwerk doorbreekt de beperkingen van bestaande deep learning-modellen wat betreft het aantal invoerbeelden, waardoor meer frames kunnen worden gebruikt voor betere restauratie zonder rekenkundige bottlenecks.

Resultaten

De prestaties van GSTurb zijn getest op zowel synthetische als real-world datasets:

• Synthetische Dataset (ATSyn-static):

  • GSTurb bereikte een PSNR van 27,67 dB en een SSIM van 0,8735.
  • Dit is een verbetering van 1,3 dB (4,5%) in PSNR en 0,048 (5,8%) in SSIM ten opzichte van de huidige state-of-the-art methode (DeTurb).
  • Visueel tonen de resultaten scherpere details en minder artefacten dan concurrerende methoden (zoals TSRWGAN, TMT, DATUM).

• Real-World Datasets (CLEAR en TSRWGAN):

  • Op de CLEAR-dataset (met pseudo-ground truth) overtrof GSTurb alle andere methoden, vooral bij sterke turbulentie (PSNR verbetering van 1,30 dB ten opzichte van DeTurb).
  • Op de TSRWGAN Real-World dataset (zonder ground truth) werden no-reference metrics gebruikt (BRISQUE en GCL). GSTurb behaalde de laagste BRISQUE-score (39,13) en de hoogste GCL-score (17,10), wat aangeeft dat de gereconstrueerde beelden de meeste natuurlijke textuur en scherpte behouden.

• Ablatie Studies:

  • Meer invoerbeelden leiden tot betere PSNR-waarden.
  • Het gebruik van isoplanatische regio's (32x32) bleek superieur aan het schatten van kernen per pixel (512x512) qua stabiliteit en efficiëntie.
  • De positiviteits- en sparsiteitsbeperkingen waren cruciaal voor snellere convergentie en hogere kwaliteit.

Significantie

GSTurb vertegenwoordigt een doorbraak in de beeldherstelling onder atmosferische turbulentie. Door de fysieke processen van turbulentie (tilt en anisoplanatische blur) direct te integreren in het Gaussian Splatting-optimatieproces, overwint de methode de beperkingen van zowel traditionele optische methoden als pure data-gedreven deep learning.

De belangrijkste implicaties zijn:

• Verbeterde Generalisatie: Door het fysisch correct modelleren van de degradatie, werkt het model beter op nieuwe, onbekende turbulentiepatronen dan puur datagestuurde modellen.
• Hoge Kwaliteit Restauratie: De methode levert aanzienlijk betere resultaten op in termen van scherpte en structuurbehoud, zelfs onder zware turbulentiecondities.
• Toepassingsbereik: De techniek is relevant voor vrijheidsruimtelijke optische communicatie, astronomische beeldvorming, en remote sensing, waar het vermogen om vervormde beelden te herstellen kritiek is.

De code voor de methode is openbaar beschikbaar gesteld, wat verdere onderzoek en toepassing in de gemeenschap zal stimuleren.