BOOM and Babamul: a real-time, multi-survey, optical alert broker system operating at scale

기술 요약: BOOM 및 Babamul 경보 중개자 시스템

문제 제기
Vera C. Rubin 천문대의 레거시 우주 및 시간 탐사 (LSST) 로 정점을 찍은 고투과율 광시야 광학 탐사의 등장은, 현재 경보 중개자 시스템의 처리 능력을 초과하는 데이터 처리 과제를 제시합니다. Zwicky 임시 천체 시설 (ZTF) 이 밤마다 약 $10^5$–$10^6$개의 경보를 생성하는 반면, LSST 는 밤마다 약 $2 \times 10^7$개의 경보를 생성할 것으로 예상됩니다. 기존 중개자들은 대부분 Python 기반 스택 (예: Kowalski) 에 구축되어 있어, 빠른 천변 현상의 실시간 후속 관측에 필요한 저지연 요구 사항을 유지하면서 이러한 대용량에 효율적으로 확장하는 데 어려움을 겪고 있습니다. 또한, 과학계는 빠른 현상의 진화를 특성화하기 위해 여러 중첩된 탐사 (예: ZTF, LSST 등) 간에 결합 필터링을 수행할 수 있어야 하며, 이는 단일 탐사 아키텍처에서는 기본적으로 지원되지 않는 기능입니다.

방법론 및 시스템 아키텍처
저자들은 수평적 확장성과 고투과율을 위해 설계된 실시간 다중 탐사 경보 중개자 BOOM(Burst & Outburst Observations Monitor) 을 소개합니다. 이 시스템은 모놀리식 Python 기반 설계에서 컴파일된 Rust 기반 소프트웨어 스택으로 전환함으로써 전신인 Kowalski 와 근본적인 아키텍처의 변화를 보여줍니다.

주요 아키텍처 구성 요소는 다음과 같습니다:

• 수집 및 메시징: 시스템은 다양한 탐사에서 Avro 형식의 경보 스트림을 수집하기 위해 Apache Kafka를 활용합니다. 디스크 기반 토픽의 I/O 병목 현상 없이 프로세스 간 통신을 처리하기 위해 BOOM 은 작업 큐로 Valkey(고성능 인메모리 데이터 스토어) 를 사용합니다. 이를 통해 여러 워커 프로세스가 메모리 내 목록에서 경보를 동시에 소비할 수 있습니다.
• 데이터 저장: MongoDB는 유연성, 크로스 언어 지원, 그리고 공간 쿼리 (원추 검색) 를 위한 네이티브 GeoJSON 인덱싱이 가능하도록 주요 데이터베이스로 선택되었습니다. 데이터 모델은 데이터를 세 가지 컬렉션으로 분리합니다:
  • Alert(경보): 후보 메타데이터와 최신 검출 정보를 포함합니다.
  • Object(천체): 고유한 천문 천체에 대한 시계열 데이터 (광도곡선) 와 교차 매칭을 집계하여 경보 간 중복을 방지합니다.
  • Cutout(컷아웃): 과학, 기준, 그리고 차이 이미지 컷아웃을 저장합니다.
• 병렬 처리 파이프라인: BOOM 은 경보 처리 워크플로우를 전용 병렬화 가능한 워커 유형으로 분해합니다:
  1. 경보 수집 워커: Avro 패킷을 역직렬화하고, 다른 지원되는 탐사들의 정적 아카이브 카탈로그 및 동적 천체 컬렉션에 대한 교차 매칭을 수행한 후 데이터베이스를 채웁니다.
  2. 보강 워커: 경보 배치를 처리하여 기계 학습 (ML) 점수와 사전 계산된 특징을 계산합니다. ONNX(Open Neural Network eXchange) 를 활용하여 Rust 파이프라인 내에서 Python 으로 훈련된 모델 (예: ACAI, BTSbot) 을 실행합니다. 시스템은 배치 추론 및 광도곡선 피팅 (가우시안 프로세스 및 입자 군집 최적화 사용) 을 위한 선택적 GPU 가속도 지원합니다.
  3. 필터 워커: 보강된 경보 배치에 대해 사용자가 정의한 필터 (MongoDB 집계 파이프라인으로 정의됨) 를 실행합니다. 필요한 데이터를 Object 컬렉션에서 검색하기 위해 조회 단계를 동적으로 구성하여 효율적인 리소스 사용을 보장합니다.
• 사용자 인터페이스 및 API: RESTful API를 통해 아카이브 검색 및 과거 데이터에 대한 필터 재실행이 가능합니다. 천문학자의 진입 장벽을 낮추기 위해 SkyPortal 과 통합된 시각적 블록 기반 필터 빌더는 하부 데이터베이스 쿼리 언어에 대한 지식이 없어도 복잡한 쿼리를 생성할 수 있게 합니다.

주요 기여

1. 다중 탐사 결합 필터링: BOOM 은 여러 경보 스트림을 동시에 수집하고 결합하여 필터링하도록 설계되었습니다. 서로 다른 탐사 (예: ZTF 및 DECam/LSST) 의 경보를 실시간으로 교차 매칭함으로써 결합 광도곡선을 구축할 수 있게 하여, 단일 탐사의 관측 빈도와 깊이 한계를 극복합니다.
2. 성능 및 확장성: Rust 로의 전환과 인메모리 작업 큐 (Valkey) 채택 및 배치 처리 도입은 처리량을 크게 향상시켰습니다. 시스템은 기존 ZTF 중개자와 기능 동등성을 유지하면서 약 7 배 높은 처리량을 달성합니다.
3. 모듈식 및 확장 가능한 설계: 관심 영역의 분리 (수집, 보강, 필터링) 는 작업 부하 병목 현상에 따라 특정 처리 단계를 독립적으로 확장할 수 있게 합니다.
4. Babamul: 저자들은 BOOM 위에 구축된 공개용 LSST 경보 중개자 Babamul을 소개합니다. 이는 별 매칭과 천변 후보를 분리하는 등 분리되고 분류된 Kafka 스트림을 제공하며, 쉬운 통합을 위한 Python 클라이언트를 포함합니다.

결과

• 처리량 테스트: ZTF 데이터 1 일치 (29,142 개 경보) 를 사용한 벤치마크 테스트에서 BOOM 은 Kowalski 보다 우수한 확장성을 보여주었습니다. 8 개의 워커 프로세스로 BOOM 은 약 1GB 의 메모리 사용량으로 예상되는 Rubin 천문대 경보 처리율 (초당 약 333 개 경보) 을 처리할 수 있는 속도로 경보를 처리한 반면, 동일한 구성의 Kowalski 는 13GB 의 메모리를 사용했습니다.
• 다중 탐사 검증: ZTF 와 DECam 천변 탐사 (DTS) 가 참여한 공동 실험은 서로 다른 깊이와 관측 빈도를 가진 탐사 간 경보 교차 매칭에 대한 시스템의 능력을 성공적으로 검증했습니다. 시스템은 SN 2025kwy 를 포함하여 207 개의 다중 탐사 후보를 식별하여 결합된 데이터를 사용하여 천변 현상의 초기 시간 진화를 제한할 수 있음을 입증했습니다.
• 저장량 추정: 저자들은 10 년간 LSST 탐사를 수행할 경우, BOOM 의 총 저장 요구 사항 (경보, 천체, 7 일 보관 컷아웃 포함) 은 기존 ZTF 데이터의 보수적인 확장으로 계산할 때 약 75 TB가 될 것으로 추정합니다.

의의
이 논문은 BOOM 을 "Rubin 시대"를 위한 핵심 인프라 구성 요소로 위치시켜, 경보량의 기하급수적 증가를 관리하면서도 다중 탐사 시너지를 통해 새로운 과학 사례를 열어갈 수 있도록 지원합니다. 결합 필터링을 지원하고 필터 생성을 위한 사용자 친화적 도구를 제공하는 확장 가능하고 고투과율 프레임워크를 제공함으로써, BOOM 은 단일 탐사 분석으로는 놓칠 수 있는 희귀하고 빠르게 진화하는 천변 현상 (젊은 초신성과 킬로노바 등) 의 발견을 촉진하는 것을 목표로 합니다. 이 시스템은 이미 ZTF 에서 운영 중이며, 공개 LSST 경보를 처리하기 위해 배포되어 Babamul 공개 인터페이스의 기반이 되고 있습니다.