Transformer Networks for Continuous Gravitational-wave Searches

기술 요약: 연속 중력파 탐색을 위한 트랜스포머 네트워크

문제 정의
빠르게 회전하며 변형된 중성자별에서 방출되는 연속 중력파(CW)는 그 진폭이 매우 작기 때문에 검출을 위해 장기간의 데이터 분석이 필요하다. 이론적으로 최적의 탐색 방법인 코히어런트 매칭 필터링(coherent matched filtering)은 넓은 파라미터 공간(넓은 하늘 영역 및 주파수/스핀다운 범위)을 탐색할 때 필요한 템플릿의 수가 기하급로 증가하여 계산적으로 불가능해진다. 현재의 최첨단 방식인 세미코히어런트 매칭 필터링(예: $\mathcal{F}$-통계량)은 데이터를 여러 구간으로 나누어 계산 비용을 줄이지만, 여전히 높은 민감도를 달성하기 위해 막대한 컴퓨팅 파워를 요구한다. 비용을 낮추기 위해 딥러닝, 특히 합성곱 신경망(CNN)을 사용했던 이전의 시도들은 유망한 결과를 보여주었으나, 시간과 주파수에 걸쳐 퍼져 있는 약한 신호에 대해 최적의 민감도에 도달하려면 광범위한 수동 아키텍처 재설계와 하이퍼파라미터 튜닝이 필요했다.

방법론
본 연구는 연속 중력파 검출을 위한 대안으로서 비전 트랜스포머(Vision Transformer, ViT) 아키텍처의 적합성을 조사하며, 이 문제를 검출기 변형률(strain) 데이터에 대한 이미지 분류 작업으로 정식화한다.

• 입력 데이터: 입력은 CW 파이프라인의 표준 형식인 단기 푸리에 변환(SFT)으로 구성된다. SFT를 더 긴 스펙트로그램으로 변환했던 이전 연구들과 달리, 이 방법은 연속적인 SFT들을 직접 쌓아 2D 다채널 이미지(시간 대 주파수)를 형성한다. 두 검출기(H1 및 L1)의 실수부와 허수부는 총 4개의 채널을 형성한다.
• 아키텍로: 저자들은 이 특정 입력을 위해 조정된 표준 ViT 아키텍처를 사용한다. SFT 이미지는 고정된 크기의 패치(토큰)로 나뉜다. 주요 설계 선택 사항은 다음과 같다:
  • 신호가 주파수 축을 따라 적어도 하나의 패치 안에 완전히 포함되도록 최적화된 패치 차원.
  • 16개의 어텐션 헤드와 256의 은닉 차원을 가진 표준 트랜스포머 인코더 체인(4개의 인코더).
  • 전체 인코더 출력에 작용하도록 기존 ViT와는 약간 다르게 설계된 커스텀 출력 블록(글로벌 평균 풀링 및 완전 연결 계층 포함).
• 훈련 전략: ViT는 Adam 옵티마이저와 이진 교차 엔트로피 손실을 사용하여 이진 분류기(신호 대 노이즈)로 훈련된다.
  • 벤치마크: 본 연구는 10일 기간의 표적 탐색(targeted searches) 10개와 1일 기간의 광범위 파라미터 공간 탐색(wide-parameter-space searches) 16개(지향성 탐색 10개, 전천 탐색 6개)를 대상으로 5개의 참조 주파수(20 Hz ~ 1000 Hz)에 대해 벤치마크를 설정한다.
  • 데이터 생성: 훈련 데이터셋은 해당 벤치마크의 매칭 필터 민감도 깊이($D_{90\%}^F$)에서 주입된 신호를 가우시안 노이즈와 혼합하여 생성된다.
  • 평가: 성능은 고정된 허위 경보 확률($p_{fa} = 1\%$)에서의 검출 확률($p_{det}$)로 측정된다. 광범리 파라미터 탐색의 경우, 가장 큰 통계량 값(loudest statistic value)을 사용하기 위해 ViT를 주파수 축을 따라 슬라이딩하며 적용한다.

주요 결과
훈련된 ViT는 독립적인 테스트 데이터셋에 대해 근사 최적 매칭 필터 탐색(WEAVE 코드)과 비교 평가되었다.

1. 표적 탐색 (10일): ViT는 거의 모든 사례에서 $p_{det} \approx 89-90\%$의 검출 확률을 달eric하였으며, 이는 매칭 필터 탐색의 민감도와 거의 일치한다. 민감도 깊이($D_{90\%}$) 또한 $\mathcal{F}$-통계량 벤치마크와 거의 동일했다. 주목할 점은, 이러한 성능이 약한 신호 처리를 위해 상당한 튜닝이 필요했던 이전 연구의 CNN과 달리, 별도의 수동 재설계가 필요 없는 표준 아키텍처를 통해 달성되었다는 것이다.
2. 광범리 파라미터 공간 탐색 (1일):
   • 지향성 탐색: ViT는 매칭 필터 성능에 근접하여 $p_{det} \approx 85-89\%$ (90% 벤치마크 대비)를 달성하였으며, 민감도 깊이 차이는 $\lesssim 1/\sqrt{\text{Hz}}$였다.
   • 전천 탐색: ViT는 $p_{det} \approx 78-88\%$를 달성하였다. 민감도는 주파수가 증가함에 따라 감소하였는데(20 Hz에서 1000 Hz로 갈 때 약 10% 감소), 이는 신호 확산보다는 필요한 템플릿 수($N_T$)의 기하급수적 증가에 기인한다.
3. 일반화:
   • 신호 강도: ViT는 훈련 깊이와 다른 신호 강도에 대해서도 잘 일반화되었으며, 매칭 필터의 효율 곡선을 밀접하게 추적하였다.
   • 주파수: 전체 20–1000 Hz 대역에서 훈련된 단일 ViT는 전체 범위에 걸쳐 견고한 성능($p_{det} \approx 70-80\%$)을 보였으며, 이는 광대역 탐색을 위한 단일 네트워크의 실현 가능성을 시사한다.
   • 하늘 위치: 일반적으로 균일하지만, 전천 ViT는 하늘 위치에 따라 검출 확률의 미세한 편차(예: 극지 근처와 적도 근처의 차이)를 보였으며, 이는 이전 CNN 연구에서도 관찰된 현상이다.

의의 및 주장
본 논문은 비전 트랜스포머 아키텍처가 연속 중력파 탐색에서 기존의 CNN 기반 접근법보다 유의미한 발전을 이루었다고 주장한다. 주요 의의는 "표준" ViT 아키텍처가 이전의 CNN 연구에서 요구되었던 광범위한 수동 설계 및 하이퍼파라미터 튜닝 없이도, 표적 탐색에서 근사 최적 매칭 필터 민감도를 달성하고 광범위 파라미터 탐색에서 높은 민감도를 확보할 수 있다는 점에 있다.

저자들은 ViT의 내장된 이미지 형태학적 사전 지식(priors)이 표준 소형 커널 CNN보다 연속 중력파 신호(시간과 주파수에 걸쳐 퍼져 있는 특성)의 특성에 더 자연스럽게 부합하고 덜 제한적인 것으로 보인다고 결론짓는다. 본 연구는 훈련 시간 제약으로 인해 1일 기간의 광범리 파라미터 벤치마크로 제한되었으나, 결과는 ViT가 향후 연속 중력파 탐색을 위한 계산 효율적이고 매우 민감한 대안이 될 수 있음을 시사하며, 서로 다른 주파수나 탐색 유형을 위한 별도의 네트워크를 훈련해야 하는 물류적 부담을 줄여줄 수 있음을 보여준다. 저자들은 더 어려운 10일 기간의 광범리 파라미터 벤치마크에서 ViT가 CNN보다 우수한 성능을 낼 수 있는지 확인하는 것이 향후 과제로 남아 있다고 명시하였다.