From Simulations to Surveys: Domain Adaptation for Galaxy Observations

本文提出了一种领域自适应流水线，该流水线通过在模拟的 TNG50 图像上进行训练，并采用包括一种新颖的 top-$k$ 软匹配机制在内的特征级最优传输损失，有效地弥合了从模拟到现实的差距，从而显著提高了对真实 SDSS 星系形态分类的准确性。

要点

想象一下，你正在试图教一名学生如何识别不同类型的汽车。

问题所在：“电子游戏” vs. “现实世界”
在这篇论文中，“学生”是计算机程序（AI 模型），而“汽车”则是星系。

• 源头（电子游戏）： 研究人员首先使用来自一个名为 TNG50 的超高级计算机模拟系统的图像来训练他们的 AI。你可以把它想象成一个完美的、高画质的电子游戏。在游戏中，AI 确切地知道每辆车是什么（轿车、卡车或跑车），因为游戏创建者已经预先设定好了。
• 目标（现实世界）： 研究人员随后想让 AI 去观察由 SDSS 望远镜拍摄的真实照片。这就像是将 AI 从电子游戏带到一条繁忙且下着雨的街道上。真实的图像看起来很不一样：它们更模糊、光照很奇怪，而且其中的“汽车”（星系）看起来也与游戏中不同。

如果仅仅将接受过电子游戏训练的 AI 直接拿去在真实的街道上进行预测，它会感到困惑。它可能会因为光照不同，而把一辆真实的卡车误认为是一辆跑车。这被称为**“领域偏移”（domain shift）**。

解决方案：“翻译官”流水线
论文描述了一种新的方法，充当电子游戏世界与现实世界之间的**“翻译官”**。他们构建了一个流水线，帮助 AI 理解即使外观不同，但“游戏中的螺旋星系”与“真实照片中的螺旋星系”是同一种东西。

以下是他们是如何实现的，使用了简单的类比：

1. 三位老师（骨干网络/Backbones）：
   他们尝试了三种不同类型的 AI “老师”（神经网络）来进行学习：

   • 一个小巧、简单的老师（CNN）。
   • 一个非常擅长识别无论如何旋转都不改变形状的老师（E(2)-steerable CNN）。
   • 一个著名的、经过预训练的老师（ResNet-18），他们针对这项特定工作对其进行了微调。

2. “困难模式”训练（Focal Loss）：
   在他们的数据中，存在大量的“螺旋型”星系，而“椭圆型”或“不规则型”星系相对较少。这就像是一个教室里 90% 的学生都穿着红衬衫，只有极少数人穿着蓝衬衫。如果 AI 每次都只猜“红色”，它虽然能获得高分，但实际上什么也没学到关于蓝衬衫知识。
   为了解决这个问题，他们使用了一种特殊的评分规则，称为 Focal Loss。这就像是一位老师说：“我不在乎你是否答对了那些简单的红衬衫问题；如果你能答对那些稀有的蓝衬衫问题，我会给你额外的加分（或针对错误进行额外的惩罚）。”这迫使 AI 去关注那些稀有的星系类型。

3. “融合”技巧（领域自适应/Domain Adaptation）：
   这是他们发明中的核心部分。他们在训练过程中添加了一个特殊规则，强制 AI 在其内部记忆中混合“游戏”图像和“真实”图像。

   • 目标： 我们希望 AI 的内部地图看起来像一杯“奶昔”，其中的“游戏成分”和“真实成分”被搅拌得如此均匀，以至于你无法分辨出其中的区别。
   • 工具： 他们使用了数学工具 最优传输（Optimal Transport）（具体为 "Sinkhorn" 和 "Top-k"）。想象你有两堆拼图碎片（一堆来自游戏，一堆来自现实）。AI 试图将它们匹配起来。
   • “Top-k”秘诀： 通常情况下，AI 会尝试匹配所有碎片。但有时，它为了让数学计算成立，会将一个游戏碎片匹配给错误的真实碎片。研究人员加入了一个 "Top-k" 规则：“忽略那些容易匹配的部分；专注于那 10 对最难匹配、且不契合的组合，并强迫它们匹配成功。” 这就像是在告诉 AI：“别在简单的东西上应付了；去解决那些真正让你感到困惑的具体不匹配问题。”

结果：从困惑到自信
论文报告了这次实验的结果：

• 修复前： 当 AI 在没有这种特殊训练的情况下尝试预测真实照片中的星系类型时，其准确率仅为 46% 左右。它基本上是在瞎猜。
• 修复后： 使用了这种新的 "Top-k" 融合方法后，准确率跃升至 87%。
• 证明： 他们检查了 AI 的内部“大脑”（潜在空间/latent space）。在修复前，AI 将游戏图像和真实图像分开放置在不同的房间里（它知道它们是不同的）。修复后，这些房间合并成了一个巨大的厅堂，图像在其中完美地混合在一起。这证明了 AI 确实学会了观察它们的相似性，而不只是差异。

下一步计划
作者表示这仅仅是一个“概念验证”。他们计划：

• 教会 AI 识别除了形状之外的更多特征（例如星系含有多少气体，或者是否存在黑洞）。
• 更好地识别那些稀有的“不规则型”星系。
• 在更大规模的未来望远镜数据（如薇拉·鲁宾天文台）上进行测试。

简而言之，他们搭建了一座桥梁，让一个在完美的计算机模拟中接受训练的 AI，能够成功理解混乱的、真实的宇宙照片。

技术摘要

技术摘要：从模拟到巡天：用于星系观测的领域自适应

问题陈述
本文探讨了一个关键挑战：如何将针对模拟星系数据训练的机器学习模型迁移到真实的观测巡天数据中。虽然大型光度巡天（如薇拉·鲁宾天文台、Euclid）将观测到数十亿个星系，但由于缺乏快速、自动化的方法，推断形态、恒星质量和恒星形成率等物理属性仍然十分困难。模拟数据（特别是 TNG50）提供了带有地面真值物理标签的图像，但模拟数据与真实观测数据（如 SDSS）之间存在显著的“领域偏移”（domain shift）。这种偏移源于点扩散函数（PSF）、噪声、背景水平、选择函数以及人口统计学先验的差异。将直接在模拟数据上训练的模型盲目迁移至真实数据，存在导致物理推断偏差、扭曲质量-恒星形成率人口统计特征以及污染标度关系的风险。作者将其框架化为一个协变量偏移问题，即条件标签分布近似稳定（$p_S(y|x) \approx p_T(y|x)$），但输入分布和选择分布不同（$p_S(x) \neq p_T(x)$）。

方法论
作者提出了一个初步的领域自适应流水线，该流水线在模拟的 TNG50 观测数据上进行训练，并在带有 Galaxy Zoo 衍生形态标签（椭圆型、螺旋型、不规则型）的真实 SDSS 星系上进行评估。

• 数据：
  • 源域（Source）： 来自 Illustris TNG50 模拟的 3,232 个星系（z=0 和 z≈0.05），通过 SKIRT 处理生成合成的 4 波段（g, r, i, z）图像。数据集通过翻转和旋转增强至 25,856 幅图像。
  • 目标域（Target）： 6,416 个真实的 SDSS 星系，其形态标签由 Galaxy Zoo 志愿者得出。类别高度不平衡，螺旋型占主导地位，而不规则型较为稀少。
• 架构： 对比了三种骨干网络：
  1. 一个小型自定义 CNN（两个卷积块 + MLP）。
  2. 一个使用离散旋转群 $C_8$ 的 E(2)-可旋转 CNN (ESCNN)。
  3. 在 ImageNet 上预训练并使用特定任务 MLP 头进行微调的 ResNet-18。
• 损失函数与训练策略：
  • 监督损失： 使用带有有效数量类权重（effective-number class weighting）的 Focal Loss 来处理类别不平衡，取代了标准的交叉熵。
  • 领域对齐： 核心贡献是在 $L_2$ 归一化嵌入上计算的特征级领域损失（$L_D$），该损失使用了来自扩展 GeomLoss 库的可微距离度量。作者在八个族群（如 Minkowski、内积、熵）中基准测试了 46 种不同的距离/相似性度量。
  • 最优传输 (OT) 与 Top-k 匹配： 引入了一种新型复合对齐损失（$L_{OT}$）。它结合了：
    1. 用于软匹配的全局熵最优传输（Sinkhorn 散度）。
    2. 专注于 $k$ 个最差匹配的源-目标对的“top-k”惩罚，以防止错误的耦合（例如，螺旋型与椭圆型对齐）。
    3. 完整损失为 $L = \lambda_{sup} L_{sup} + \lambda_D L_D + \lambda_{OT} L_{OT}$。
  • 训练方案： 模型经历 20 个 epoch 的仅监督损失预热阶段，随后进行联合训练。损失权重策略包括固定权重、可训练权重（通过 Sigmoid 函数）以及 Sinkhorn 参数的“模糊调度”（blur schedule）。此外，还实现了一个带有梯度反转层 (GRL) 的领域对抗神经网络 (DANN) 作为基准。

关键结果

• 性能提升： 领域自适应流水线显著提高了目标域的性能。在没有自适应的情况下（基准模型），宏 F1 分数约为 30%（准确率约为 46%）。通过所提出的基于欧几里得距离的自适应结合可训练权重和 top-k 匹配，目标域的宏 F1 分数上升至 ~62.6%，准确率上升至 ~87.3%。
• 潜在空间对齐： 通过领域分类器（AUC）可视化了自适应的效果。基准模型显示出完美的领域分离（AUC = 1.00），表明模型可以轻易区分模拟数据与真实数据。相比之下，表现最好的自适应模型实现了接近 0.51–0.53 的领域 AUC，表明源分布和目标分布在潜在空间中得到了有效的混合。
• 度量敏感性： 研究强调了对齐损失中距离度量的选择至关重要。虽然欧几里得距离表现良好，但作者系统地测试了 12 种代表性度量（包括 Jaccard、Dice 和各种范数），以了解其对对齐的影响。
• 稳定性： 与仅使用固定权重或仅使用对抗训练相比，可训练权重方案（$\lambda_{sup}, \lambda_D$）提供了最稳定的收敛。

意义与主张
本文将此工作定位为一个原型流水线，也是旨在利用来自 Illustris 模拟的数十万个模拟观测来解释即将到来的鲁宾天文台星系观测的更大规模努力的前奏。

• 研究范围有限： 作者明确指出这是一项“初步”研究，是一个“概念验证”。他们并不声称已经解决了所有天文学任务的通用领域自适应问题，而是证明了特定的 OT-based 损失与 top-k 匹配的组合可以有效地缩小 TNG50 模拟与 SDSS 观测之间的差距，用于形态分类。
• 科学后果： 这项工作强调，稳健的领域自适应对于在人口统计研究中保持校准的、具有物理意义的预测是必要的。如果没有它，模型可能会导致早期/晚期类型比例的偏移，并扭曲标度关系。
• 未来方向： 作者概述了具体的后续步骤，包括扩展到多任务学习（恒星质量、AGN、恒星形成率）、改进对稀有“不规则”类别的处理、研究距离感知学习率调度器，以及测试替代架构（如等变 Transformer）。

论文结论指出，尽管之前的研究已展现出潜力，但在距离度量和对齐策略（特别是 top-k 软匹配）方面的算法开发，为实现可靠的面向下一代天文巡天的迁移学习提供了一条可行路径。