Domain-Informed Multi-View Self-Distillation for Astronomical Light-Curve Representation Learning with JEPA

Technische Samenvatting: Domein-geïnformeerde Multi-View Self-Distillatie voor het Leren van Astronomische Lichtcurve-representaties met JEPA

Probleemstelling

Astronomische lichtcurves, die de tijdelijke variaties in helderheid van hemellichamen beschrijven, zijn cruciaal voor het begrijpen van het dynamische universum. Het leren van robuuste globale representaties van deze tijdreeksen is echter uitdagend vanwege drie onderscheidende kenmerken die verschillen van standaard tijdreeksgegevens:

1. Extreem Ongelijke Bemonstering: Grondobservaties zijn beperkt tot de nacht, wat onvermijdelijke gaten creëert tussen nachten en seizoenen, naast onregelmatige intra-nachtelijke cadans.
2. Complexe Ruis: Ruis ontstaat door kwantumeffecten, atmosferische turbulentie, weer en instrumentatie. Cruciaal is dat deze ruis temporeel gecorreleerd is, en voor zwakke bronnen kan de ruis groter zijn dan het signaal zelf.
3. Breed Dynamisch Bereik van Tijdschalen: Fenomenen variëren van minuten tot jaren, en individuele objecten kunnen meerdere variatieperioden vertonen.

Bestaande "off-the-shelf" tijdreeks fundamentele modellen (TSFMs), zoals Transformer-gebaseerde architecturen, presteren vaak ondermaats op lichtcurves. Standaard tijd-embeddings falen in het vastleggen van de bemonsteringsdichtheid, en auto-regressieve pre-training (bijv. GPT-stijl) heeft de neiging te overfitten op hoog-ruis sequenties. Bijgevolg slagen deze modellen er vaak niet in om handmatig ontworpen features te overtreffen in benchmarks zoals StarEmbed.

Methodologie

De auteurs stellen een Domein-geïnformeerd Multi-View Self-Distillatie framework voor, gebaseerd op de Joint-Embedding Predictive Architecture (JEPA). De kerninnovatie ligt in het combineren van domeinspecifieke inductieve biases met een multi-view leerstrategie om onregelmatigheid en ruis aan te pakken.

1. Multi-View Architectuur
Het model verwerkt drie verschillende views van elke lichtcurve, uitgaande van het feit dat zij vergelijkbare semantiek delen afgeleid van de ruwe data:

• Raw Sequence ($T$): De originele tijdreeksgegevens $\{(t_i, m_{t_i}, e_{t_i})\}$.
• Generalized Lomb-Scargle (GLS) Periodogram ($P$): Een vermogensspectrum dat wordt gebruikt om periodiciteit te extraheren en doelwitten met meerdere oscillatiemodi te diagnosticeren.
• Phase-Folded Light Curve ($T_p$): De ruwe data gevouwen over de dominante periode ($P_o$) om de morfologie van periodieke variaties te extraheren.

2. Gespecialiseerde Encoders
Elke view wordt verwerkt door een aparte Transformer-encoder uitgerust met twee nieuwe componenten:

• Continuous Rotary Positional Embedding (C-RoPE): In tegenstelling tot discrete positionele embeddings, brengt C-RoPE continue tijdcoördinaten $t$ naar complexe rotaties in de verborgen ruimte. Dit zorgt ervoor dat het aandachtmechanisme invariant is voor absolute tijdsverschuivingen en afhankelijk is van relatieve intervallen ($\Delta t$), wat willekeurige temporele tussenruimtes accommodeert.
• Error-Aware Numeric Embedding (EANE): In plaats van metingen als punt-schattingen te behandelen, modelleert EANE deze als waarschijnlijkheidsverdelingen $N(m_{t_i}, e_{t_i}^2)$. Het berekent de verwachte embedding-vector door te integreren over de Gaussische PDF van de meetonzekerheid, waardoor foutinformatie door het netwerk wordt gepropageerd.

3. Trainingsdoel: LeJEPA
Het model wordt getraind met LeJEPA regularisatie, een multi-view self-distillatie verlies. Het doel bestaat uit twee termen:

• Alignment Loss ($L_{inv}$): Minimaliseert de afstand tussen de latente embeddings van de drie views en hun zwaartepunt, wat semantische consistentie tussen de views waarborgt.
• Regularization Loss ($L_{SIGReg}$): Stemt de empirische karakteristieke functie van de geprojecteerde features af met een standaard Gaussische verdeling. Dit optimaliseert de latente ruimte voor lineaire probing en radiale gebaseerde k-NN.

Belangrijkste Bijdragen

• Eerste Deep Learning Model dat Hand-Crafted Features Overtreft: Het voorgestelde model is het eerste fundamentele model dat handmatig ontworpen features (gebaseerd op FATS) overtreft op de StarEmbed classificatie benchmark over 15 van de 16 metrieken.
• Nieuwe Embedding Mechanismen: Introductie van C-RoPE voor onregelmatige bemonstering en EANE voor meetonzekerheid, waarmee specifieke astronomische data-kenmerken worden aangepakt die generieke modellen negeren.
• Domein-geïnformeerde Multi-View Strategie: Het aantonen dat het combineren van ruwe, spectrale (GLS) en morfologische (phase-folded) views via self-distillatie superieure representaties oplevert vergeleken met single-view benaderingen.
• Cross-Domein Aanpasbaarheid: Het framework toont potentieel buiten de astronomie door SOTA of competitieve resultaten te behalen op 5 van de 12 onregelmatige tijdreeks-datasets in de PYRREGULAR benchmark na domeinadaptatie.

Experimentele Resultaten

• StarEmbed Benchmark: Op de classificatietaak behaalde het volledige model superieure prestaties in 15/16 metrieken vergeleken met hand-crafted features en andere baselines (Chronos-2, Astromer-2, FALCO).
• Few-Shot Learning: In linear probing met beperkte data presteerde het model consistent beter dan hand-crafted features. Met 1 sample per klasse bereikte het een macro-F1 van 42.56 ± 7.21, vergeleken met 30.28 voor hand-crafted features. Met 100 samples per klasse bereikte het 63.58 ± 1.20.
• Ablatie Studies:
  • Het verwijderen van C-RoPE of EANE verslechterde de prestaties, wat de noodzaak bevestigt om onregelmatige tijd en onzekerheid te behandelen.
  • Het verwijderen van een van de drie views (Raw, GLS, Phase-Folded) verminderde de nauwkeurigheid, wat de multi-view benadering valideert.
  • Het gebruik van standaard CLIP loss in plaats van LeJEPA resulteerde in lagere prestaties.
• Toepassingen:
  • Similarity Search: Succesvol het ophalen van lichtcurves van dezelfde klasse (bijv. RRc variabelen) op basis van L2-afstand in de embedding-ruimte.
  • Parameter Estimatie: Linear probes op embeddings slaagden er succesvol in om periode en amplitude van sinusvormige signalen te herstellen ($R^2 \approx 0.81$ en $0.99$), hoewel fase niet werd hersteld vanwege de tijd-translatie-invariantie van het model.
  • Drift Detectie: Het model detecteerde effectief fotometrische zero-point drifts, waarbij EANE en multi-view inputs de detectie van kleine drifts verbeterden.

Betekenis en Claims

Het artikel betoogt dat succesvol leren van tijdreeks-representaties domeinspecifieke inductieve biases vereist in plaats van een universeel optimale architectuur. De auteurs stellen dat "off-the-shelf" modellen falen omdat ze de specifieke priors missen die nodig zijn voor astronomische data (bijv. tijd-translatie-invariantie, onzekerheidspropagatie en periodiciteitsextractie).

Door domeinkennis (GLS, phase-folding) direct in de architectuur en het trainingsdoel te integreren, overbrugt de voorgestelde methode de kloof tussen handmatige feature engineering en deep learning. De resultaten suggereren dat hoewel de specifieke views (GLS/Phase-Folding) moeilijk te vervangen zijn door leerbare modules voor lichtcurves vanwege de niet-differentieerbare aard van Nyquist-frequenties bij ongelijkmatige bemonstering, de multi-view self-distillatie framework een overdraagbare strategie is. De auteurs concluderen dat voor andere domeinen, vergelijkbaar succes vereist is door views en encoders af te stemmen op de specifieke onderliggende dynamiek van de tijdreeksgegevens van dat domein.