🔭 astrophysics

Applying Vision Transformers on Spectral Analysis of Astronomical Objects

本文证明，将大规模真实天文光谱数据转换为二维图像并对预训练视觉 Transformer 进行微调，在恒星分类精度上优于传统机器学习方法，在红移估计方面与现有深度学习模型具有竞争力，且首次实现了不依赖合成输入的此类应用。

原作者： Luis Felipe Strano Moraes, Ignacio Becker, Pavlos Protopapas, Guillermo Cabrera-Vives

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Luis Felipe Strano Moraes, Ignacio Becker, Pavlos Protopapas, Guillermo Cabrera-Vives

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创意类比对该论文的解读。

核心理念：教导“图像专家”阅读“声波”

想象你有一个超级智能的 AI，它一生都在观察数百万张猫、狗和汽车的照片。它是识别图像中模式的专家。现在，想象你有一堆声波（具体来说是来自恒星和星系的光波），它们在图表上看起来像波浪线。

传统上，为了分析这些波浪线，科学家必须使用数学密集型工具，或者从头开始训练 AI。这篇论文提出了一个简单的问题：“如果我们欺骗这个图像专家 AI，让它认为这些波浪线实际上是图片，会发生什么？”

作者们正是这样做的。他们将一维数据（单条光强线）转换为二维图像。然后，他们将这些图像输入给视觉 Transformer（ViT）——一种原本设计用于识别图像的 AI，看看它是否能学会识别恒星、星系和类星体，并测量它们远离我们的速度。

问题：“模板”瓶颈

将传统天文学分析想象成试图通过哼唱几个音符来识别一首歌曲，并将其与预录曲库进行匹配。

旧方法： 科学家获取新恒星的光谱，并尝试将其与“模板”库（预定义的光形状）进行匹配。如果恒星很怪异、有噪声，或者不完全符合模板，匹配就会失败或不准确。
问题所在： 这就像试图把方钉子塞进圆孔里。这种方法很僵化，如果数据有点“模糊”（信噪比低），该方法就会难以应对。

解决方案：将线条转化为“地形图”

作者们意识到，视觉 Transformer 擅长同时看到“大局”和“细节”。为了让 AI 发挥作用，他们必须将数据翻译成 AI 能理解的语言：图像。

他们尝试了三种不同的方法将光谱转化为图片：

“简单绘图”： 原样绘制线图。（就像展示原始草图）。
“重叠绘图”： 将线条切成三段，并作为红、绿、蓝通道堆叠起来。（就像将一张长地图折叠成彩色的三折页宣传册）。
“二维地图”（获胜者）： 这是最具创意的。他们将长长的数据线“挤压”成一个方形图像，像热力图一样填充它。想象将一条长长的壁纸卷成一个紧密的彩色方形瓷砖。这使得 AI 能够将整个光谱视为一个单一的、密集图像，其中的模式在视觉上跃然而出。

训练："SLOMOST"

为了训练 AI，他们需要一个巨大的示例库。他们结合了来自两个巨型望远镜的数据：

SDSS： 一个已绘制数百万个天体地图的望远镜。
LAMOST： 一个专注于我们银河系内恒星的望远镜。

他们将这些数据合并为一个名为**"SLOMOST"（Sloan + LAMOST）的庞大数据集。他们使用了超过1400 万**条光谱来训练模型。这就像向 AI 展示了 1400 万张不同的“星光图片”，让它能够自行学习区分恒星、星系和类星体。

结果：AI 做对了

结果出奇地好。原本在日常物体照片上训练的 AI，完美地适应了这些“光图”。

分类（它是什么？）： AI 必须猜测一个物体是恒星、星系还是类星体。
- 结果： 它**99%**的时间都猜对了。这比支持向量机或随机森林等旧方法要好。它特别擅长区分经常混淆的星系和类星体。
红移（它移动得有多快？）： 红移告诉我们一个物体有多远，以及宇宙膨胀得有多快。
- 结果： AI 的预测极其准确（ $R^2$ 得分为 0.992）。即使它是在更大、更多样化的数据集上训练的，其表现也与其他顶级 AI 模型一样好，甚至更好。
恒星参数（它是由什么组成的？）： 他们尝试猜测恒星的温度和成分。
- 结果： 效果很好，尽管对于这些特定细节，“简单绘图”（仅仅是线图）实际上比花哨的“二维地图”效果更好。这表明对于某些非常微妙的任务，直接观察比转换后的观察更好。

为什么这很重要

该论文声称，这是第一次将视觉 Transformer 应用于真实的、大规模的天文数据，而无需使用伪造（合成）数据进行训练。

类比： 这就像聘请了一位只懂做意大利菜（ImageNet 训练）的厨师，然后给他看几千份日本料理食谱（光谱数据）。你不是从头开始教他做日本菜，而是只是向他展示如何摆盘，让厨师识别出其中的模式。厨师（AI）会自行解决其余部分。

主张总结

方法： 将一维光谱转换为二维图像。
工具： 使用预训练的视觉 Transformer（ViT）。
数据： 来自 SDSS 和 LAMOST 的真实数据（超过 1400 万个天体）。
结果： 该模型在物体分类和红移估计方面优于传统机器学习方法，证明了“基于图像”的 AI 可以成为解读宇宙之光的有效工具。

作者们得出结论，这种方法提供了一种灵活、可扩展的方式来处理来自未来望远镜的海量数据，将复杂的光波转化为 AI 可以轻松“看见”和理解的图片。

技术摘要：将视觉 Transformer 应用于天体光谱分析

问题陈述
天体光谱学对于确定天体的物理和化学性质以及理解宇宙的大尺度结构至关重要。然而，由于斯隆数字巡天（SDSS）和大天区面积多目标光纤光谱望远镜（LAMOST）等现代巡天项目带来的数据量呈指数级增长，光谱数据分析面临着重大挑战。传统方法（如模板拟合）往往简化了数据的复杂性，限制了精度，并且严重依赖于参考模板的选择。虽然人工检查提供了一种替代方案，但它容易受到不确定性的影响，且无法扩展到数百万个天体。现有的深度学习方法虽已展现出潜力，但往往依赖于模拟数据，将光谱严格视为一维信号而未利用多通道图像处理能力，或者需要特定的架构设计，而这些设计可能无法很好地泛化到不同类型的天体。

方法论
作者提出了一种新颖的框架，将原本为图像识别设计的视觉 Transformer（ViT）架构适配用于分析一维天体光谱。核心创新在于将一维光谱数据（波长与流量）转换为二维图像表示，从而能够使用预训练的 ViT 模型。

数据来源： 研究利用了来自 SDSS（第 18 次数据发布）和 LAMOST（第 10 次数据发布，2.0 版）的真实光谱数据。数据集经过处理以去除低质量条目并进行归一化。作者构建了“中等”（类别平衡）和“大”（完整巡天体积）数据集，并将它们合并为一个名为"SLOMOST"的联合数据集。
图像表示： 探索了三种不同的方法将光谱编码为 224 × 224 像素的图像：
1. 简单绘图（Simple Plot）： 光谱的直接二维线图。
2. 重叠绘图（Overlap Plot）： 将光谱分为三个相等的部分，每部分映射到一个独立的 RGB 颜色通道，以增加细节可见性。
3. 二维地图（2D Map）： 一种类似热力图的表示，将一维流量数据重塑为方形网格（每个数据点使用 3×3 像素块），并根据强度着色，从而创建光谱特征的密集空间编码。
模型架构： 作者采用了一个预训练的 ViT 骨干网络（DINO，具体为 facebook/dino-vitb16），该模型最初是在 ImageNet 上训练的。该模型在光谱图像数据集上进行了微调，而无需从头开始对光谱进行预训练。
- 分类： 添加了一个自定义头部用于形态学分类（恒星、类星体、星系）。
- 回归： 在 CLS 标记上附加了一个线性回归头部，用于估算红移（ $z$ ）和恒星参数（有效温度 $T_{eff}$ 、表面重力 $\log g$ 和金属丰度 $[Fe/H]$）。
训练： 模型使用均方误差（MSE）进行回归微调，使用分类交叉熵进行分类微调，并通过超参数调优进行了优化。

主要贡献

首次将 ViT 大规模应用于真实光谱： 据作者所知，这是首次将视觉 Transformer 应用于大规模天体光谱数据，且使用的是真实观测数据而非合成输入。
跨模态适配： 该工作证明了通过空间变换将基于图像的基础模型重新用于一维科学数据的可行性，利用自注意力机制捕捉局部和全局光谱特征。
全面的基准测试： 该研究评估了多种编码策略，并针对分类、红移回归和恒星参数回归等不同任务，与既定基线进行了性能比较。

结果

分类： 模型在区分恒星、星系和类星体方面取得了高准确率。二维地图表示产生了最佳结果，在 SLOMOST-Big 数据集上达到了99.4% 的准确率和0.991 的 F1 分数。这优于传统的机器学习基线，包括支持向量机（SVM）和随机森林（RF），后者在可比研究中实现了约 96% 的准确率。二维地图表示特别减少了类星体与星系之间的混淆。
红移估算： 模型在红移回归中表现出强劲的性能，使用二维地图表示在 SLOMOST-Big 数据集上实现了 $R^2$ 为 0.992。这一性能与 AstroCLIP 的光谱编码器（报告 $R^2 = 0.990$ ）相当，但这是在更大且更多样化的数据集（1400 万 + 个对象对比约 20 万个）上实现的，仅使用一块 NVIDIA 4090 GPU 耗时九天完成。该模型在广泛的信噪比（SNR）范围内也保持了高准确率。
恒星参数回归： 虽然模型成功推断出了恒星参数，但结果变化较大。简单绘图表示在 $T_{eff}$ 和 $\log g$ 方面表现最佳（ $R^2 \approx 0.79$ ），而重叠绘图在大数据集上的金属丰度（$[Fe/H] $）方面表现更优（$ R^2 \approx 0.78$）。二维地图虽然在分类和红移方面表现出色，但在这些特定参数回归方面效果较差，这表明不同的编码策略可能适用于不同的物理属性。

意义与主张
该论文声称，将光谱数据转换为二维图像表示，使得视觉 Transformer 能够有效捕捉传统一维模型或模板拟合方法可能遗漏的复杂光谱模式。结果表明，预训练的视觉模型可以成功微调用于光谱任务，为当前的流程提供了一种可扩展、灵活且数据驱动的替代方案。

作者强调，他们的方法不依赖合成数据，填补了以往天文学深度学习应用中的空白。他们得出结论，虽然该方法在分类和红移估算方面显示出“强劲的性能和可扩展性”，但恒星参数回归提出了额外的挑战，可能需要进一步的架构改进或混合方法。这项工作被定位为迈向通用光谱科学工具的基础性一步，能够处理来自未来巡天项目（如 MSE、4MOST 和 DESI）的数据量增长和异质性。