Forecasting Thermospheric Density with Transformers for Multi-Satellite Orbit Management

Dit artikel presenteert een transformer-model dat thermosferische dichtheid tot drie dagen vooruit voorspelt op basis van een compacte inputset, waarmee het een efficiënt en nauwkeurig alternatief biedt voor empirische modellen voor het beheer van satellietbanen.

De kern

Stel je voor dat satellieten in de lucht vliegen als vliegtuigen, maar dan in een heel dunne, onzichtbare atmosfeer die de aarde omringt. Deze atmosfeer is niet statisch; hij ademt, rekt uit en krimpt, net als een spons die nat wordt of droogt. De "dikte" van deze lucht noemen we thermosferische dichtheid.

Waarom is dit belangrijk? Omdat als de lucht dikker wordt (bijvoorbeeld door zonnestormen), de satellieten meer weerstand ondervinden. Ze vertragen, zakken lager en kunnen zelfs van koers raken of botsen. Voor de beheerders van satellietzwermen (zoals Starlink) is het dus cruciaal om te weten: Hoe dik wordt de lucht morgen? Over drie dagen?

Dit artikel vertelt het verhaal van een nieuwe, slimme computerprogrammatuur die dit probleem probeert op te lossen. Hier is de uitleg in simpele taal:

1. Het Probleem: De oude methodes zijn niet goed genoeg

Tot nu toe hadden de experts twee manieren om de luchtdichtheid te voorspellen:

• De "Super-geleerde" (Fysieke modellen): Dit zijn modellen die alle natuurwetten van de atmosfeer uitrekenen. Ze zijn heel nauwkeurig, maar ze zijn ook zo zwaar en traag dat je ze niet snel genoeg kunt laten rekenen voor dagelijks gebruik. Het is alsof je een hele supercomputer nodig hebt om te voorspellen of het morgen regent.
• De "Oude Vriend" (Empirische modellen): Dit zijn snelle, simpele modellen die kijken naar wat er in het verleden is gebeurd. Ze zijn snel, maar ze zijn vaak te simpel. Ze denken: "Gisteren was het droog, dus morgen is het ook droog." Ze kunnen niet goed omgaan met plotselinge veranderingen, zoals een plotselinge zonnestorm.

2. De Oplossing: Een AI die "leest" als een mens

De auteurs van dit artikel hebben een nieuw model gebouwd, gebaseerd op Transformers.

• Wat is een Transformer? Denk hierbij aan de technologie achter moderne vertaalprogramma's of chatbots. Ze zijn heel goed in het begrijpen van patronen in tijd en ruimte. Ze kunnen een verhaal lezen en zeggen: "Als dit gebeurt, zal dat waarschijnlijk later gebeuren."

In plaats van de hele zware natuurwetten opnieuw te leren, heeft dit nieuwe model een slimme trucje bedacht. Het werkt op twee manieren:

Strategie A: De "Corrector" (Residual Learning)

Stel je voor dat je een oude, wat stijve voorspelling hebt van de "Oude Vriend" (het simpele model). De AI kijkt niet naar de hele lucht, maar kijkt alleen naar wat er misgaat met die oude voorspelling.

• De analogie: Het is alsof je een oude weerman hebt die zegt: "Morgen is het 20 graden." De AI kijkt dan niet naar de temperatuur, maar zegt: "Die oude weerman heeft 2 graden te weinig gerekend." De AI voegt dan alleen die 2 graden toe. Dit maakt het voor de computer veel makkelijker om fouten te corrigeren dan om het hele weer opnieuw uit te vinden.

Strategie B: De "Directe Voorspeller" (End-to-End)

Hier probeert de AI gewoon de hele voorspelling zelf te doen, zonder hulp van de oude modellen. Het is alsof je een jonge, getalenteerde meteoroloog opleidt die alles zelf moet zien en begrijpen.

3. Wat hebben ze gebruikt? (De Ingrediënten)

Om dit te leren, hebben ze de AI gevoed met data die de zon en de aarde beschrijven:

• Zonnestraling: Hoe hard schijnt de zon? (Net als een verwarming die de atmosfeer opwarmt).
• Magnetische velden: Hoe sterk is de magnetische storm? (Net als een storm die de lucht verstoort).
• Zonnewind: Deeltjes die van de zon komen.
• De baan van de satelliet: Waar zit de satelliet? (Bijvoorbeeld in de schaduw van de aarde of in de volle zon).

De AI heeft deze gegevens "gelezen" en geleerd hoe ze de luchtdichtheid beïnvloeden, zelfs tot drie dagen vooruit.

4. De Resultaten: Een winnaar

Toen ze het nieuwe model testten tegen de oude methodes, gebeurde er iets moois:

• Bij normale dagen: Het nieuwe model deed het al goed.
• Bij zonnestormen: Dit is waar het echt schitterde. De oude modellen dachten vaak: "Het blijft rustig," en werden verrast. Het nieuwe AI-model zag de patronen in de zondata en voorspelde: "Oeps, de lucht wordt dikker!" en paste de voorspelling aan.

Het model kon zelfs voorspellen dat satellieten sneller zouden zakken, waardoor beheerders tijdig hun satellieten konden verplaatsen om botsingen te voorkomen.

5. De Grenzen (Niet perfect, maar beter)

Het model is niet onfeilbaar. Als er een volledig onverwachte zonnestorm uit het niets opsteekt (een "zwanen" die niemand zag aankomen), kan de AI het ook niet voorspellen. Het is immers gebaseerd op wat het eerder heeft gezien.

• De les: Het model is als een zeer ervaren piloot die weet hoe hij moet vliegen in storm, maar als er een plotselinge tornado uit een heldere blauwe lucht komt, heeft hij ook even nodig om te reageren.

Conclusie

Kortom: Dit artikel beschrijft hoe we een slimme AI hebben ingezet om de "luchtdichtheid" in de ruimte beter te voorspellen. Door een slimme combinatie van oude kennis en nieuwe AI-technieken, kunnen we satellieten veiliger en slimmer laten vliegen, zelfs als de zon weer eens in een slecht humeur is. Het is een stap van "gokken" naar "slim voorspellen".

Technische samenvatting

Probleemstelling

De ongekende groei van satellietconstellaties in de Lage Aarde-omloopbaan (LEO) heeft de risico's van orbitale congestie en botsingen aanzienlijk vergroot. Voor betrouwbare operaties, zoals botsingsvermijding en formatievliegen, is een nauwkeurige voorspelling van de thermosferische dichtheid essentieel, aangezien atmosferische weerstand de primaire verstoring is voor satellietbanen.

Huidige benaderingen hebben echter beperkingen:

• Fysiek gebaseerde modellen (zoals TIE-GCM) bieden hoge nauwkeurigheid maar zijn computatie-intensief en niet geschikt voor real-time of aan boord-toepassingen.
• Empirische modellen (zoals NRLMSIS-2.1) zijn snel maar missen voorspellende kracht, vooral tijdens periodes van hoge zonneactiviteit en geomagnetische stormen. Ze kunnen de chaotische variabiliteit van de ruimteomgeving niet goed reproduceren, wat leidt tot grote voorspellingsfouten (tot tientallen kilometers) binnen enkele dagen.

Er is dus behoefte aan een snelle, robuuste voorspellingsmethode die de snelheid van empirische modellen combineert met de leercapaciteit van kunstmatige intelligentie.

Methodologie

De auteurs hebben een Transformer-gebaseerd model ontwikkeld dat thermosferische dichtheid voorspelt tot drie dagen vooruit (op intervallen van 10 minuten) voor specifieke satellieten.

1. Data en Input:

• Bronnen: Zonne-activiteitsdata van GOES-EAST (Röntgenstraling) en de NOAA OMNI2-dataset (zonnewind, magnetische velden, plasma, geomagnetische indices).
• Ground Truth: Dichtheidswaarden afgeleid van versnellingsmeters aan boord van de SWARM-A, CHAMP en GRACE-2 missies.
• Input-features: Het model gebruikt 99 handgeselecteerde inputvelden, waaronder orbitale elementen, zonne-indexen (F10.7, Kp, Dst), zonnewindparameters en posities van schaduwzones (umbra/penumbra).
• Preprocessing: Ontbrekende waarden in inputfeatures worden behandeld via multi-resolutie downsampling (max, mean, std over verschillende tijdsvensters) en "natural dropout" (nulzetten), wat het model robuust maakt tegen ontbrekende data.

2. Modelarchitectuur:

• Het model is gebaseerd op de originele Transformer-architectuur (Encoder-Decoder).
• Het werkt uitsluitend met exogene inputs (geen autoregressieve input van eerdere dichtheidsmetingen, omdat deze tijdens inferentie niet beschikbaar zijn).
• De architectuur bevat één encoder- en één decoderlaag, met een embedding-dimensie van 112 en 4 attention-heads.
• Er wordt gebruikgemaakt van Pre-Layer Normalization en Gelu-activatiefuncties.

3. Trainingsstrategieën:
De auteurs vergelijken twee benaderingen:

• End-to-End: Het model leert direct de absolute dichtheidswaarden ($\hat{y}_t$) te voorspellen.
• Residual Learning: Het model leert de residuen te voorspellen tussen de gemeten dichtheid en een empirische baseline (NRLMSIS-2.1). Dit vereenvoudigt de leertaak door het model te laten focussen op het corrigeren van systematische fouten van de baseline in plaats van het modelleren van de volledige fysica van nul af.

4. Loss Functie:
Er wordt een aangepaste loss-functie gebruikt die de OD-RMSE (Orbit Determination Root Mean Square Error) combineert met een klassieke MSE. De OD-RMSE weegt vroegere voorspellingen zwaarder dan latere, wat cruciaal is voor orbitale operaties.

Belangrijkste Bijdragen

1. Transformer voor Thermosferische Dichtheid: Toepassing van een Transformer-architectuur specifiek voor het voorspellen van thermosferische dichtheid zonder spatial reduction, opererend direct op een compacte inputset.
2. Residual Learning Benadering: Het introduceren van een residual learning strategie die een empirisch model (NRLMSIS-2.1) als baseline gebruikt. Dit verbetert de convergentie en robuustheid, vooral bij het corrigeren van drift in de baseline.
3. Robuustheid tegen Ontbrekende Data: Een innovatieve aanpak voor het hanteren van ontbrekende inputwaarden via aggregatie en dropout, wat essentieel is voor ruimteweersapplicaties waar data vaak onvolledig is.
4. Operationalisering: Het model is ontworpen als een "drop-in replacement" voor bestaande empirische modellen, waardoor het direct inzetbaar is voor missieplanning en orbitale beheersystemen.

Resultaten

Het model is gevalideerd op een dataset van ongeveer 7.700 samples (na filtering) en getest op een validatieset.

• Prestatie: Het Transformer-model presteert significant beter dan de persistence-baseline (NRLMSIS-2.1) op alle metrieken (MAE, RMSE, MAPE, S-MAPE en OD-RMSE).
  • De OD-RMSE (de belangrijkste metriek voor deze toepassing) steeg van 0.0 (baseline) naar 0.802 (residual) en 0.826 (end-to-end).
  • De MAPE daalde van 75,7% (baseline) naar 24,2% (residual) en 28,9% (end-to-end).
• Vergelijking Benaderingen:
  • De End-to-End strategie levert over het algemeen de laagste absolute fouten op en reageert beter op grote dynamische schommelingen.
  • De Residual strategie produceert gladdere voorspellingen en presteert beter op relatieve metrieken (zoals MAPE), wat wijst op een betere stabiliteit bij lagere zonneactiviteit.
• Fysieke Consistentie: Door clipping toe te passen op de output (binnen fysieke grenzen), werden onrealistische waarden (zoals negatieve dichtheid) voorkomen, wat de OD-RMSE met ongeveer 4% verbeterde.
• Beperkingen: Het model faalt nog steeds bij het voorspellen van plotselinge, spontane zonne-activiteit die niet in de inputdata (zoals zonnevlekken of flare-voorspellers) aanwezig is. Dit is een inherente beperking bij het voorspellen van lange tijdsintervallen zonder toekomstige input.

Betekenis en Conclusie

Dit werk demonstreert dat AI-gebaseerde modellen, specifiek Transformers, een krachtig alternatief kunnen zijn voor traditionele empirische modellen in het ruimtevaartdomein. Door de combinatie van snelheid (empirisch) en leervermogen (deep learning) kan het model orbitale voorspellingen aanzienlijk verbeteren, wat direct bijdraagt aan de veiligheid van satellietoperaties en het beheer van ruimtecongestie.

De studie benadrukt echter ook dat meer data nodig is om overfitting te voorkomen en dat het model nog niet volledig autonoom is bij het voorspellen van onverwachte extreme ruimteweersituaties. Toekomstig werk moet zich richten op het integreren van meer specifieke zonne-voorspellingen en het uitbreiden van de trainingsdataset.