StarEmbed: Benchmarking Time Series Foundation Models on Astronomical Observations of Variable Stars

Titel: StarEmbed: Benchmarking van Time Series Foundation Models op Astronomische Observaties van Variabele Sterren

Auteurs: Weijian Li, Hong-Yu Chen, Nabeel Rehemtulla, et al. (Northwestern University & SkAI)
Datum: Februari 2026 (Draft)

---

1. Het Probleem

Time Series Foundation Models (TSFMs) zoals Moirai en Chronos worden steeds populairder voor het leren van algemene representaties van tijdsafhankelijke signalen in domeinen zoals financiën en verkeer. Echter, deze modellen zijn niet getraind op astronomische data.

Astronomische tijdsreeksen (lichtcurven van sterren) vertonen unieke uitdagingen die sterk afwijken van de trainingsdata van bestaande TSFMs:

• Onregelmatige bemonstering: Observaties hebben grote, variabele gaten (bijv. door dag/nacht-cycli of bewolking).
• Heteroscedasticiteit: De meetonzekerheid varieert per datapunt, afhankelijk van weersomstandigheden en atmosferische condities.
• Multivariate aard: Data wordt verzameld via verschillende filters (passbands), wat kleur- en helderheidsinformatie combineert.

Bestaande methoden in de astronomie vertrouwen op handgemaakte kenmerken (hand-crafted features) en specifieke, volledig toezichtbare pijplijnen. Er ontbreekt echter een gestandaardiseerde benchmark om te evalueren of generieke foundation modellen deze complexe, onregelmatige data kunnen verwerken en generaliseren zonder domeinspecifiek fijnstemmen (fine-tuning).

2. Methodologie

De auteurs introduceren StarEmbed, het eerste publieke benchmark voor het rigoureuze evalueren van state-of-the-art (SOTA) TSFMs op astronomische lichtcurven.

A. Dataset (StarEmbed)

• Bron: Data afkomstig van de Zwicky Transient Facility (ZTF), release 23.
• Grootte: Ongeveer 40.000 hand-gelabelde lichtcurven van periodieke variabele sterren.
• Classificatie: De data is verdeeld over zeven astrofysische klassen (o.a. Eclipsing Binaries, RR Lyrae, Long Period Variables).
• Splitsing: Vaste train/validation/test splits (7:1:2 ratio) om data-lekkage te voorkomen.
• Unieke eigenschappen: De dataset bevat onregelmatige tijdsintervallen en heteroscedastische onzekerheden, wat een "out-of-distribution" test vormt voor modellen getraind op regelmatige data.

B. Geëvalueerde Modellen

De studie vergelijkt drie categorieën modellen in een zero-shot setting (geen fine-tuning op de astronomische data):

1. Generieke TSFMs:
   • Moirai: Ontworpen voor universele forecasting.
   • Chronos & Chronos-Bolt: Behandelen tijdsreeksen als taalmodellen (tokenisatie).
2. Domeinspecifiek Model:
   • Astromer: Een transformer getraind op lichtcurven (MACHO survey), maar specifiek voor astronomie.
3. Baseline:
   • Handgemaakte kenmerken: Extractie van 69 statistische kenmerken per filter (totaal 138 dimensies) met behulp van bibliotheken zoals FATS en light_curve, gevolgd door klassieke classifiers (Random Forest, MLP, etc.).
   • Random Embeddings: Als controle voor een performance floor.

C. Evaluatietaakken

De prestaties worden getest op drie wetenschappelijk gemotiveerde taken:

1. Ongecontroleerde Clustering: K-means en Ward's clustering om te zien of de embeddings natuurlijke groepen vormen zonder labels.
2. Gecontroleerde Classificatie: Trainen van simpele classifiers (k-NN, Lineair, Random Forest, MLP) op de embeddings om sterrenklassen te voorspellen.
3. Out-of-Distribution (OOD) Detectie: Het identificeren van zeldzame of anormale bronnen die niet voorkomen in de trainingsklassen, met behulp van een Multi-Class Isolation Forest.

---

3. Belangrijkste Resultaten

De resultaten tonen een gemengd maar veelbelovend beeld, afhankelijk van de taak:

• Ongecontroleerde Clustering:

  • De Chronos-modellen presteren het beste onder de foundation modellen en overtreffen Moirai en Astromer aanzienlijk.
  • Handgemaakte kenmerken blijven echter de beste presteren (hoogste NMI en ARI), wat aangeeft dat ze de globale structuur van de klassen het beste vastleggen.
  • Astromer presteert verrassend slecht in zero-shot setting; de embeddings "kollapsen" naar vergelijkbare richtingen, wat betekent dat ze weinig discriminerende informatie bevatten zonder fine-tuning.

• Gecontroleerde Classificatie:

  • Handgemaakte kenmerken (met een Random Forest) blijven de state-of-the-art (F1-score ~0.80).
  • Chronos-tiny bereikt de tweede beste prestatie en overtreft zowel Moirai als Astromer. Dit bewijst dat een generiek model, getraind op niet-astronomische data, nuttige informatie kan extraheren voor sterrenclassificatie.
  • Confusiematrices tonen aan dat Chronos-tiny bepaalde klassen (zoals RRd) soms verward met andere (RRc), maar over het algemeen effectieve patronen leert.

• Out-of-Distribution (OOD) Detectie:

  • Hier behalen de foundation modellen een doorbraak. Chronos-Bolt-tiny presteert aanzienlijk beter dan handgemaakte kenmerken.
  • Met Chronos-Bolt-tiny kan men bijna 50% van de OOD-bronnen vinden door slechts 10% van de data te scannen (een 5x verbetering in zoekefficiëntie ten opzichte van willekeurige embeddings).
  • Dit suggereert dat deze modellen beter in staat zijn om "afwijkende" morfologieën te detecteren die niet passen in de standaard clusters.

• Periodieke Regressie:

  • TSFMs presteren slecht bij het voorspellen van de exacte periode van de variabiliteit. Dit wordt toegeschreven aan het feit dat TSFMs vaak onregelmatige bemonstering niet correct verwerken, waardoor cruciale tijdsinformatie verloren gaat.

---

4. Belangrijkste Bijdragen

1. StarEmbed Benchmark: Het eerste gestandaardiseerde benchmark voor TSFMs op astrofysische lichtcurven, inclusief een dataset van ~40k expert-gelabelde ZTF-observaties.
2. Paradigmaverschuiving: Het paper biedt bewijs voor een mogelijke verschuiving in de astronomie: van volledig toezichtbare, op maat gemaakte pijplijnen naar het gebruik van generieke foundation embeddings aangevuld met lichte "heads" voor specifieke taken.
3. Zero-shot Generalisatie: Het demonstreert dat TSFMs (vooral Chronos), ondanks training op totaal verschillende data, effectief kunnen generaliseren naar het astronomische domein, met name voor OOD-detectie.
4. Open Science: De auteurs publiceren de dataset, embeddings, code en gedetailleerde documentatie om reproduceerbaarheid en verdere ontwikkeling door de gemeenschap te stimuleren.

---

5. Betekenis en Toekomstperspectief

De studie is van groot belang voor de toekomst van de astronomie, vooral met de komst van observatoria zoals de Vera C. Rubin Observatory, die petabytes aan data zullen genereren.

• Schaalbaarheid: Handgemaakte kenmerken zijn rekenintensief en kwetsbaar voor data-kwaliteitsproblemen. Foundation modellen bieden een schaalbaar alternatief voor het verwerken van deze enorme datasets.
• Aanpassingsbehoefte: De resultaten tonen ook de beperkingen aan: TSFMs worstelen nog met onregelmatige bemonstering. Toekomstig werk moet zich richten op het aanpassen van de architectuur van foundation modellen om onregelmatige tijdsreeksen en heteroscedasticiteit expliciet te modelleren.
• Interdisciplinaire Impact: StarEmbed fungeert als een brug tussen de astronomie en het veld van AI voor tijdsreeksen, en biedt een testomgeving voor het verbeteren van foundation modellen op complexe, wetenschappelijke data.

Kortom, StarEmbed bewijst dat generieke AI-modellen klaar zijn om een rol te spelen in de astronomie, maar dat er nog ruimte is voor verbetering om de unieke aard van astronomische observaties volledig te benutten.