Astromer 2

논문 요약: Astromer 2 를 활용한 천문 관측 데이터의 Few-Shot 광곡선 분류

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 천문학에서 항성 객체를 특성화하기 위한 광곡선 (Light Curve) 분석은 핵심적인 과제입니다. 기존에는 수동으로 설계된 특징 (Hand-crafted features) 에 의존했으나, 이는 편향을 초래하거나 복잡한 패턴을 포착하지 못하는 한계가 있었습니다.
• 문제점:
  • 레이블 데이터의 부족: 대규모 천문 관측 데이터 (예: MACHO, ATLAS) 는 풍부하지만, 이를 분류할 수 있는 레이블이 붙은 데이터는 매우 희소하고 획득 비용이 높습니다.
  • 데이터 분포의 차이 (Domain Shift): 서로 다른 관측 프로젝트 (예: MACHO 와 ATLAS) 는 관측 주기 (Cadence), 잡음 특성, 밝기 분포 등에서 큰 차이가 있어, 한 데이터셋으로 학습된 모델이 다른 데이터셋에 적용될 때 성능이 급격히 저하되는 문제가 발생합니다.
  • 기존 모델의 한계: Astromer 1(2023 년 발표) 은 자기지도학습 (Self-supervised learning) 을 통해 광곡선 임베딩을 생성했으나, 아키텍처와 학습 전략 측면에서 개선의 여지가 있었습니다.

2. 방법론 (Methodology)

2.1. Astromer 2 의 아키텍처 개선
Astromer 2 는 자연어 처리의 BERT 모델에서 영감을 받아 광곡선 시계열 데이터에 적용된 자기지도학습 모델의 차세대 버전입니다.

• 입력 임베딩 (Input Embedding):
  • 관측 시간 (MJD) 은 변형된 위치 인코딩 (Positional Encoding) 을 사용하여 불규칙한 샘플링을 처리합니다.
  • 마스크 토큰 (Mask Token): Astromer 1 은 마스킹된 값을 0 으로 처리했으나, Astromer 2 는 마스킹된 밝기 값을 학습 가능한 단일 'MASK' 토큰으로 대체하여 모델이 마스킹된 위치를 명확히 인식하고 정보 누출을 방지하도록 했습니다.
• 인코더 (Encoder):
  • 심도 증가: Attention 블록의 수를 2 개 (Astromer 1) 에서 6 개로 증가시켜 표현 능력을 대폭 강화했습니다. 파라미터 수는 약 6 배 (66 만 개 → 395 만 개) 증가했습니다.
  • 드롭아웃 (Dropout): 자기주의 (Self-attention) 계산 후 드롭아웃 레이어를 추가하여 과적합을 방지했습니다.
• 자기지도학습 태스크 (Pretraining Task):
  • 목표: 광곡선 시퀀스 내의 무작위로 선택된 관측값 (Probed subset) 을 예측하는 것입니다.
  • 마스킹 전략: 전체 관측의 50% 를 '탐색 (Probed)' 대상으로 설정합니다. 이 중 30% 는 완전히 가리고, 10% 는 무작위 값으로 대체하며, 10% 는 그대로 둡니다. 나머지 50% 는 컨텍스트로 활용합니다.
  • 손실 함수 개선: 관측 불확실성 (Uncertainty, $e_{il}$) 을 고려한 가중 평균 제곱 오차 (Weighted RMSE) 를 사용합니다. 불확실성이 큰 데이터 포인트의 기여도를 낮추어 모델의 강건성을 높였습니다.
  • 학습 데이터: MACHO 관측 프로젝트의 150 만 개 단일 대역 광곡선 (레이블 없음) 을 사용하여 사전 학습 (Pretraining) 을 수행했습니다.

2.2. 파인튜닝 및 분류 (Fine-tuning & Classification)

• Few-Shot 학습: 사전 학습된 가중치를 기반으로, 각 클래스당 20, 100, 500 개와 같은 소량의 레이블 데이터로 파인튜닝을 수행합니다.
• 가중치 임베딩 (Weighted Per-sample Embeddings):
  • 기존에는 마지막 블록의 출력만 임베딩으로 사용했으나, Astromer 2 는 모든 Attention 블록의 중간 표현 (Intermediate representations) 을 학습 가능한 가중치 ($\gamma$) 로 결합하여 최종 임베딩을 생성합니다.
  • 이는 분류 태스크에 더 적합한 특징을 추출하도록 돕습니다.
• 분류기: 생성된 임베딩은 3 개의 은닉층 (1024, 512, 256 유닛) 을 가진 MLP(다층 퍼셉트론) 를 통해 최종 클래스를 예측합니다.

3. 주요 기여 (Key Contributions)

1. Astromer 2 모델 제안: Mask Token 도입, 인코더 심도 증가, 불확실성 기반 손실 함수 적용 등을 통해 기존 모델의 성능을 획기적으로 개선했습니다.
2. 중간 표현의 활용: 마지막 블록뿐만 아니라 중간 Attention 블록의 출력을 가중 평균하여 임베딩을 생성하는 방식을 도입함으로써, 재구성 (Reconstruction) 태스크와 분류 (Classification) 태스크 간의 간극을 줄였습니다.
3. 범용성 및 일반화 검증: MACHO 데이터셋 (동일 분포) 과 ATLAS 데이터셋 (이질적 분포, 빠른 관측 주기) 에 대한 실험을 통해 모델의 강력한 일반화 능력을 입증했습니다.
4. 오픈 소스 및 환경 고려: 학습된 가중치와 코드를 공개하여 재학습의 환경 비용을 줄였으며, 모델 학습 시의 탄소 배출량 (약 32kg CO2) 을 명시했습니다.

4. 실험 결과 (Results)

• 재구성 성능 (Pretraining):
  • Astromer 2 는 검증 집합에서 RMSE 0.113, $R^2$ 0.732 를 달성하여, Astromer 1 (RMSE 0.148) 보다 재구성 오차가 약 24% 감소했습니다.
• 분류 성능 (Few-Shot Classification):
  • Alcock (MACHO) 데이터셋: Astromer 2 는 Astromer 1 및 기존 방법론보다 모든 샘플 수 (20, 100, 500 SPC) 에서 더 높은 F1 점수를 기록했습니다.
  • ATLAS 데이터셋 (핵심 성과): 이질적인 데이터셋에 대한 일반화 능력이 두드러졌습니다.
    • 20 SPC (Few-Shot) 조건: Astromer 2 는 F1 점수가 **71.5%**로, 기존 모델 (Astromer 1 의 60.3%) 보다 약 11% 이상, 이전 연구 결과 (Donoso-Oliva et al. 2023) 보다 15% 이상 향상되었습니다.
    • 이는 레이블이 매우 부족한 상황에서도 Astromer 2 가 500 개 샘플을 사용한 이전 모델들의 성능을 능가함을 의미합니다.
• Attention 분석:
  • Attention 가중치 시각화 결과, 모델은 광곡선의 최대/최소 밝기 지점 (Extrema) 에 집중하는 것을 학습했습니다.
  • 가중치 ($\gamma$) 분석 결과, 분류기 학습 시 중간 레이어 (블록 2~5) 의 출력이 초기나 최종 레이어보다 더 높은 중요도를 가지는 것으로 확인되었습니다.
• t-SNE 시각화:
  • 레이블 없이 사전 학습된 임베딩 공간에서도 클래스 간 분리가 명확하게 이루어졌으며, 깊은 레일일수록 클래스 구분이 더 명확해졌습니다.

5. 의의 및 결론 (Significance)

• 효율적인 천문 데이터 분석: Astromer 2 는 레이블 데이터가 극히 부족한 상황 (Few-Shot) 에서도 높은 분류 성능을 발휘하여, 대규모 관측 프로젝트 (LSST 등) 에서 발생할 데이터 처리 문제를 해결할 수 있는 강력한 도구가 됩니다.
• 데이터 분포 불일치 극복: 서로 다른 관측 조건 (주기, 필터 등) 을 가진 데이터셋 간에도 뛰어난 일반화 능력을 보여, 새로운 관측 데이터에 대한 적응 비용을 크게 낮춥니다.
• 자기지도학습의 확장: 천문학 분야에서 자기지도학습 기반의 Foundation Model 이 효과적으로 작동할 수 있음을 입증했으며, 향후 멀티모달 (다중 대역) 데이터 통합 및 더 복잡한 메커니즘 적용을 위한 기반을 마련했습니다.

이 논문은 Astromer 2 가 단순한 분류 모델을 넘어, 천체 물리학적 특성을 포착하는 강력한 표현 학습 (Representation Learning) 도구임을 입증했습니다.