StarEmbed: Benchmarking Time Series Foundation Models on Astronomical Observations of Variable Stars

1. 研究背景与问题 (Problem)

• 背景： 时间序列基础模型（TSFMs，如 Chronos, Moirai, Moirai 等）在金融、交通、电力等领域展现出强大的通用表示学习能力。然而，这些模型的训练数据完全排除了天文学观测数据。
• 核心挑战： 天文光变曲线（Light Curves）具有独特的性质，与 TSFMs 训练数据中的常规时间序列截然不同：
  • 不规则采样 (Irregular Sampling)： 观测时间间隔不固定，存在大量因天气、昼夜交替导致的观测间隙。
  • 异方差性 (Heteroskedasticity)： 观测误差（不确定性）随时间变化，受云层、大气条件等影响。
  • 多变量 (Multi-variate)： 通常包含多个滤光片（如 g, r, i 波段）的数据。
• 研究缺口： 目前缺乏一个标准化的基准（Benchmark）来评估 TSFMs 在变星（Variable Stars）分类、聚类和异常检测等下游任务中的**零样本（Zero-shot）**泛化能力。现有的天文学方法主要依赖手工特征提取（Hand-crafted features），缺乏对通用基础模型潜力的探索。

2. 方法论 (Methodology)

2.1 数据集构建：StarEmbed

• 数据来源： 基于 Zwicky 瞬变源设施（ZTF）的 DR23 数据，结合 Catalina 巡天周期变星目录（CSPVS）的专家标注标签。
• 数据规模： 约 40,000 条经过专家验证的多波段（g 和 r 波段）光变曲线。
• 类别分布： 涵盖 7 种天体物理类别的周期变星（如食双星 EW/EA、RR 型变星 RRab/RRc/RRd、RS CVn 型、长周期变星 LPV 等）。
• 划分： 严格按照 7:1:2 的比例划分为训练集、验证集和测试集，确保各类别分布均衡。
• 预处理： 剔除了标记为“坏”的数据、观测点少于 32 个的曲线以及缺乏双波段数据的样本。

2.2 评估任务

研究设计了三个核心下游任务来全面评估嵌入（Embedding）的质量：

1. 无监督聚类 (Unsupervised Clustering)： 使用 K-means 和 Ward 层次聚类算法，评估嵌入空间是否能自然分离不同的变星类别。指标包括归一化互信息 (NMI)、调整兰德指数 (ARI) 和宏平均 F1 分数。
2. 监督分类 (Supervised Classification)： 在冻结预训练模型的情况下，使用轻量级分类器（KNN、逻辑回归、随机森林 RF、多层感知机 MLP）对嵌入进行微调，预测变星类别。
3. 分布外源检测 (Out-of-Distribution, OOD Detection)： 识别训练集中未包含的稀有或异常变星（如 Blazhko 效应变星、特殊类型的食双星等）。使用改进的隔离森林（Isolation Forest）算法计算 OOD 得分。

2.3 对比模型

• 时间序列基础模型 (TSFMs)：
  • Moirai-small: 通用时间序列基础模型。
  • Chronos-tiny & Chronos-Bolt-tiny: 将时间序列视为语言建模问题的 Transformer 模型。
• 天文学专用模型：
  • Astromer-1 & Astromer-2: 专为天文光变曲线设计的 Transformer 模型（基于自监督学习预训练）。
• 基线模型 (Baselines)：
  • 手工特征 (Hand-crafted Features): 使用 FATS 和 light_curve 库提取的 69 个特征（如 Lomb-Scargle 周期、偏度、峰度等），这是天文学界的长期 SOTA 基准。
  • 随机嵌入 (Random Embeddings): 作为性能下限的对照。

3. 关键贡献 (Key Contributions)

1. 首个标准化基准： 发布了 StarEmbed，这是首个针对天体物理光变曲线的时间序列基础模型标准化基准，揭示了 TSFMs 在处理不规则、异方差时间序列时的极限和迁移能力。
2. 范式转移的实证： 提供了证据表明，天文学界可能从“针对特定任务的全监督流水线”转向“通用基础模型嵌入 + 轻量级任务头”的范式，以应对未来 peta-scale（拍字节级）的巡天数据。
3. 高质量数据集与资源： 构建了包含约 4 万条专家标注 ZTF 光变曲线的数据集，并开源了所有嵌入、代码、详细文档和模型包装器，促进了公平比较和可复现性。
4. 零样本性能验证： 证明了即使从未见过天文数据，通用 TSFMs（特别是 Chronos 系列）在特定任务上也能超越或匹敌专门的天文模型和手工特征基线。

4. 实验结果 (Results)

4.1 无监督聚类

• 表现： TSFMs 表现良好，Chronos 系列模型在所有指标中均排名第一或第二，显著优于 Moirai 和 Astromer。
• 对比： 手工特征在整体聚类性能（NMI）上仍略胜一筹，反映了其对类别粗粒度对齐的优势。但 Chronos-tiny 在成对一致性（ARI）上表现最佳，表明其嵌入形成了更纯净的小邻域。
• Astromer 的失败： 专门的天文模型 Astromer-1 和 Astromer-2 在零样本设置下表现不佳（甚至不如通用 TSFMs）。分析发现 Astromer-1 的嵌入发生了“坍缩”（Collapse），即不同样本的嵌入向量指向几乎相同的方向，缺乏判别性结构。

4.2 监督分类

• 表现： 手工特征配合随机森林（RF）分类器取得了最佳性能（F1 分数约 0.804）。
• TSFMs 表现： Chronos-tiny 在所有 TSFMs 中表现最好，F1 分数约为 0.638（RF 分类器），仅次于手工特征，且显著优于 Moirai 和 Astromer。
• 混淆矩阵分析： Chronos-tiny 在 EA、RRd、RS CVn 和 LPV 类别上表现优异，但在 RRab 和 RRc 的区分上存在困难（常混淆 RRd 和 RRc）。这表明 TSFMs 能有效提取分类信息，但在捕捉细微的周期形态差异上仍有提升空间。

4.3 分布外 (OOD) 检测

• 突破性结果： Chronos-Bolt-tiny 在 OOD 检测任务中显著优于手工特征和其他所有模型。
• 效率提升： 在 Top 10% 的 OOD 得分中，Chronos-Bolt-tiny 能识别出约 52% 的真实 OOD 源，而手工特征仅为 26%。这意味着使用 Chronos-Bolt-tiny 可以将搜索效率提高约 5 倍。
• 原因推测： Chronos-Bolt 的基于 Patch 的多步目标可能比自回归的下一步预测对步级变化更不敏感，从而形成了更紧密的“正常”流形，使得异常样本更容易被隔离。

4.4 可视化与特征重要性

• UMAP 可视化： Chronos 模型的嵌入空间显示出清晰的类别分离，而随机嵌入和 Astromer-1 则没有明显聚类。
• 特征重要性： 对手工特征的分析表明，光变周期（Period） 是区分变星类别最重要的特征。TSFMs 在零样本设置下未能像手工特征那样精确捕捉周期，这可能是其在分类任务中略逊一筹的主要原因。

5. 意义与结论 (Significance & Conclusion)

• 通用模型的潜力： 尽管 TSFMs 是在与天文数据截然不同的领域（如金融、电力）训练的，且未针对不规则采样进行优化，但它们展现出了惊人的跨域泛化能力，特别是在异常检测任务上。
• 当前局限与未来方向： TSFMs 目前的主要瓶颈在于未能正确处理不规则采样，导致丢失了关键的周期信息（如图 5 所示，丢弃相对时间戳会扭曲光变曲线视图）。未来的模型需要引入处理不规则采样的架构机制，并将此类数据纳入预训练语料库。
• 范式转变： StarEmbed 推动了天文学从昂贵的、针对特定任务的全监督流水线，向**“开箱即用的基础模型嵌入 + 轻量级任务头”**的范式转变。这对于应对未来 Vera C. Rubin 天文台等产生的海量（Peta-scale）数据至关重要。
• 双向赋能： 天文学提供了极具挑战性的不规则时间序列数据，有助于推动时间序列 AI 领域的发展；而 AI 基础模型则为天文学提供了处理海量数据的新工具。

总结： StarEmbed 证明了通用时间序列基础模型在处理复杂天文数据时的巨大潜力，特别是在异常检测方面表现卓越。虽然目前手工特征在分类任务上仍占优，但基础模型无需微调即可达到极具竞争力的性能，预示着天文学数据分析即将迎来由基础模型驱动的变革。