Lossless compression of simulated radio interferometric visibilities

기술 요약: 시뮬레이션된 무선 간섭계 가시성 데이터의 무손실 압축

문제 정의
현대적인 무선 천문 관측소들은 방대한 양의 가시성(visibility) 데이터를 생성하며, 이는 일반적으로 복소수 형태의 32비트 단정밀도 부동 소격자 값으로 저장된다. 데이터 처리 과정, 특히 방향 의존적(direction-dependent) 보정 및 디컨볼루션(deconvolution) 단계에서 상당한 저장 용량 부담이 발생하는데, 이때 전방 예측된 모델 데이터가 관측된 가시성과 함께 저장되어야 하기 때문이다. 방향 의존적 셀프-캘리브레이션(self-calibration) 시, 모델 컬럼의 부피는 원래 관측 데이터 크기의 10배에 달할 수 있다. Dysco와 같은 손실 압축 기술은 가우시안 분포를 활용하여 노이즈가 있는 관측 데이터에는 효과적이지만, 모델 데이터에는 적합하지 않다. 모델 데이터에 양자화 기반의 손실 압축을 적용하면 인위적인 노이즈가 도입되어, 관측 데이터를 모델에 피팅하는 보정 과정을 오염시킨다. GZIP과 같은 기존의 일반적인 무손실 알고리즘은 무선 천문 모델 데이터 특유의 스펙트럼 및 시간적 매끄러움(smoothness)을 활용하지 못하므로, 최적의 압축비를 얻는 데 한계가 있다.

방법론: 시뮬레이션 신호 압축 (Sisco)
저자들은 노이즈가 없는 전방 예측된 간섭계 모델 데이터를 위해 설계된 새로운 무손실 압축 프레임워크인 Sisco를 제시한다. 이 방법은 기존의 Casacore 기반 워크플로우와 원활하게 통합되며, 다음의 4단계로 작동한다:

1. 예측(Prediction): 알고리즘은 가시성 값의 실수부와 허수부 성분에 대해 시간 및 주파수 차원의 2차원 다항식 외삽(extrapolation)을 수행한다. 이를 위해 다양한 차수(0차~3차)와 평균화 기법을 테스트한다. 정밀도와 가역성을 보장하기 위해 부동 소수점 값의 가수부(mantissa)와 지수부(exponent)에 대해 정수 산술을 사용하여 예측을 계산한다.
2. 잔차 형성(Residual Formation): 예측된 값을 실제 데이터 값에서 뺍니다. 완전한 가역성을 보장하기 위해, 알고리즘은 두 가수부를 빼기 전에 예측된 값의 지수를 데이터 값과 일치시킨다. NaN, 무한대(infinity), 오버플로(overflow) 케이스에 대한 특수 처리가 적용된다.
3. 데이터 그룹화(Data Grouping): 결과물인 잔차를 부호(sign), 가수부(mantissa), 지수(exponent) 성분으로 분해한다. 이를 다섯 개의 별도 스트림으로 그룹화한다: 지수용 스트림 하나, 부호와 첫 번째 가수부 바이트를 위한 스트림 하나, 그리고 나머지 세 개의 가수부 바이트를 위한 스트림 세 개이다. 이러한 재정렬은 유사한 값들이 데이터 스트림 상에서 인접하게 하여 엔트로피 감소를 크게 향상시킨다.
4. Deflate 압축: 그룹화된 스트림들은 Lempel-Ziv 1 (LZ77) 사전식 인코딩과 허프만(Huffman) 인코딩을 결합한 libdeflate 라이브러리를 사용하여 독립적으로 압축된다.

구현 방식은 이전 타임스텝의 작은 버퍼를 유지함으로써 표준적인 측정 세트(Measurement Set) 순서(time-slow, baseline-fast)를 처리하도록 설계되었으며, 이를 통해 최소한의 메모리 오버헤드로 온더플라이(on-the-fly) 압축이 가능하다. 또한 기선 의존적 평균화(Baseline-Dependent Averaging, BDA)와의 결합을 지원한다.

주요 결과
저자들은 LOFAR, MeerKAT, MWA의 다양한 데이터셋과 시뮬레이션된 사인파(sine wave) 및 순수 가우시안 노이즈를 대상으로 Sisco를 평가하였다.

• 압축 효율: 노이즈가 없는 전방 예측 데이터에 대해, Sisco는 데이터 부피를 원래 크기의 **24%**로 줄이는 평균 압축비를 달rem성했다.
  • 최적 구성: 시간 방향의 선형 예측과 주파수 방향의 이차 예측을 결합했을 때 가장 우수한 결과를 얻었다.
  • 데이터셋 변동성: 압축 효율은 데이터셋의 매끄러움에 따라 달랐다. 매끄러운 데이터(예: MeerKAT 전방 예측 모델)는 **13%**까지 압축된 반면, 예측 가능성이 낮은 데이터는 **38%**까지 압축되었다.
  • 성분 분석: 8비트 지수 데이터는 매우 압축성이 높았으나(원래 크기의 ~3–15%로 감소), 24비트 가수부 및 부호 데이터가 예측 알고리즘의 주요 대상이었다.
• 노이즈 데이터: 관측된(노이즈가 있는) 데이터나 순수 가우시안 노이즈에 적용했을 때, 예측 알고리즘은 압축비를 악화시켰다(예: 순수 노이즈는 예측 적용 시 84% vs 미적용 시 92%). 이는 Sisco가 매끄러운 무노이즈 신호에 최적화되어 있음을 확인시켜 준다.
• 성능: 상용 AMD Ryzen 7 2700X 프로세서에서, Sisco는 deflate 레벨 9 기준으로 생성된 데이터에 대해 534 MB/s, 실제 디스크 I/O에 대해 340 MB/s의 처리량을 달성했다. 이 과정은 현대적인 SSD 환경에서는 I/O 제한적(I/O bound)이며, 느린 저장 장치에서는 CPU 제한적(CPU bound)이다.
• BDA 통합: Sisco를 BDA와 결합하면 전체 크기가 원본 데이터 대비 13배 이상 감소하며, Sisco는 전체 해상도 BDA 데이터 대비 추가로 2.7%의 개선을 제공한다.

의의 및 주장
본 논문은 Sisco가 노이즈 없는 전방 예측 모델 데이터를 위한 무손실 솔루션을 제공하며, 기존의 손실 압축 기술이 해결하지 못한 공백을 메운다고 주장한다. 4배 이상의 평균 압축 계수(데이터를 약 24%로 감소)를 달성함으로써, Sisco는 현재와 미래의 시설인 SKA(Square Kilometre Array)에 필수적인 다단계 보정 및 방향 의존적 셀프-캘리브레이션과 관련된 저장 및 전송 비용을 크게 완화한다.

저자들은 Sisco가 사용자에게 투명하게(transparent) 작동한다는 점을 강조한다. Casacore 내의 오픈 소스 저장 관리자로 통합되어, DP3 및 WSClean과 같은 소프트웨어 패키지가 수동 설정 없이 압축된 데이터를 작성할 수 있게 한다. 디컴프레션(decompression)은 데이터 접근 시 자동으로 이루어진다. 저자들은 현재 구현이 CPU 기반이지만, 캘리브레이션 및 이미징 작업에 비하면 계산 비용이 미미하며, 향후 GPU 구현을 통해 속도를 더욱 높일 수 있다고 덧붙였다. 또한 Sisco를 손실 알고리즘으로 확장할 가능성에 대해서도 언급했으나, 그러한 확장은 Dysco와 같은 기존 방식과는 근본적으로 다른 오차 범위 접근 방식이 필요하다고 명시했다.