Research on compression technology of meteorological big data based on satellite communication

기술 요약: 위성 통신 기반 기상 빅데이터를 위한 압축 기술

문제 정의
본 논문은 고해상도 수치 예보(NWP) 데이터를 위성을 통해 원양 항해 중인 선박으로 전송할 때 발생하는 심각한 병목 현상을 다룬다. ECMWF와 같은 전 지구적 기상 데이터는 높은 공간 및 시간 해상도를 제공하지만, 그 용량이 매우 방대하다(예: ECMWF의 경우 시작 시간당 약 15GB). 현재 해양 환경에서 사용되는 기존 위성 통신 시스템, 특히 중국의 베이두(Beidou)-3와 톈통(Tiantong)-1은 심각한 제약이 있다. 베이두-3의 단문 메시지는 지역 단위 약 14,000비트 또는 전 지구 단위 560비트로 제한되며, 톈통-1은 더 높은 대역폭(384 Kbps)을 제공함에도 불구하고 전력 소비가 높고 지연 시간이 길다는 단점이 있다. 결과적으로 현재의 해양 통신 방식는 단순한 데이터 교환만을 지원할 뿐, 해상에서의 정확한 수치 예보에 필요한 방대한 데이터셋을 전달하는 데 한계가 있다. 핵심 과제는 필수적인 기상 특성을 손실하지 않으면서 이러한 데이터셋을 획기적으로 압축하는 것이다.

방법론
저자들은 기상장(본 연구에서는 평균 해면 기압, PRMSL을 주요 사례로 사용)을 나타내는 포인트 클라우드 데이터에 특화된 손실(lossy) 및 무손실(lossless) 압축 기술을 결방한 하이브리드 압축 알고리즘을 제안한다. 프로세스는 다음 네 가지 주요 단계로 구성된다:

1. 스케일 분리 및 데이터 처리:

   • 원래의 고해解상도 격자 데이터(0.125°)를 서로 다른 기상 체계 규모(종관 및 중규모)에 대응하는 다층 격자 네스팅 스킴(G100, G200, G300)으로 분해한다.
   • 이는 내장된 격자 행렬에서 핵심 고유값(MAX/MIN)을 추출하여 기상 체계의 강도와 공간적 분포를 나타내는 과정을 포함한다.

2. 1차 손실 압축 (차원 축소 평면 옥트리 코딩):

   • 핵심 특성을 보존하면서 중복성을 제거하기 위해, 저자들은 "차원 축소 평면 옥트리 코딩" 설계를 도입했다.
   • 데이터는 각 노드가 부피 요소를 나타내는 차원 축소 평면 옥트리로 구조화된다.
   • 옥트리 구조의 자식 노드에 **모턴 코딩(Morton coding)**이 적용된다. 자식 노드에 데이터가 있으면 '1'로 코딩하고, 없으면 '0'으로 코딩한다.
   • '00000000'(여덟 방향 모두에 데이터가 없음을 의미) 코드를 가진 노드는 제거되어 데이터셋의 중복을 효과적으로 제거한다.
   • 데이터 퓨전(Data Fusion): 이 제거 과정에서 발생하는 "포인트 클라우드 공백" 문제를 해결하기 위해 데이터 퓨전 방법을 적용한다. 압축 후 격자에 데이터 포인트가 2개 미만인 경우, 등압선 분석이나 기상 체계 경계 검출 시 오류를 방지하기 위해 더 거친 스케일(DDLarge)의 데이터로 채운다.

3. 2차 무손실 압축 (삼중 행렬 포인터 대칭 암호 테이블):

   • 데이터 손실 없이 크기를 더욱 줄이기 위해 "삼중 행렬 포인터 대칭 암호 테이블"에 기반한 무손실 압축 알고리즘을 적용한다.
   • 압력 변환: PRMSL 값(통상 600–1400 hPa)을 -500만큼 이동시켜, 정수 요구 사항을 4비트에서 3비트로 줄인다.
   • 행렬 슬라이싱: 전 지구 격자를 32개 지역(45°×45°)으로 나눈다.
   • 포인터 인코딩: 알고리즘은 세 단계의 중첩된 행렬 레벨(G300, G200, G100)을 활용한다. 원시 값을 직접 전송하는 대신, 시스템은 이 행렬들 내에서 비어 있지 않은 값의 위치를 참조하는 포인터(행/열 인덱스)를 전송한다.
   • 데이터 스트림은 [지역 코드(QB) $\rightarrow$ G300 포인터 $\rightarrow$ G200 포인터 $\rightarrow$ G100 포인터 $\rightarrow$ 실제 PRMSL 값] 순으로 구성된다. 이 구조는 안전한 전송을 위해 대칭 암호 테이블을 사용하여 암호화된다.

4. 전송:

   • 압축된 데이터는 톈통-1 위성을 통해 전송되며, 이론적으로 베이두-3 단문 메시지로 변환 가능하다.

주요 기여

• 하이브리드 알고리즘 설계: 본 논문은 스케일 인지형 손실 압축(옥트리 코딩)과 포인터 기반 무손실 압축을 통합한 새로운 2단계 압축 프레임워크를 소개한다.
• 기상 특성 보존: 일반적인 압축과 달리, 손실 단계는 서로 다른 규모의 기상 체계에 대한 "핵심 기상 특성"을 보존하도록 명시적으로 설계되어, 재구성된 데이터가 분석을 위한 과학적 타당성을 유지하도록 한다.
• 위성 호환성: 알고리즘은 해양 위성 통신(베이두-3 단문 메시지 및 톈통-1 대역폭)의 엄격한 제약 조건에 맞도록 최적화되어, 이전에는 불가능했던 NWP 데이터 전송을 가능하게 한다.
• 현장 검증: 본 연구는 Yuezhanyuke No.2 연구선을 이용한 실측 테스트를 포함하여, 실제 해양 조건에서의 알고리즘 유효성을 검증했다.

결과
연구는 테스트를 위해 2021년 7월부터 12월까지의 ECMWF 수치 예보 데이터를 활용하였다:

• 압축 효율:
  • 원본 데이터: 약 13.9 MB (특정 지역의 단일 요소, PRMSL 기준).
  • 손실 압축 후: 약 29–31 KB로 감소 (평균 손실 압축률: 0.21%).
  • 무손실 압축 후: 약 1.6 KB로 감소 (평균 무손실 압축률: 5.28%).
  • 총 압축: 총 압축률은 약 0.112‰ (약 10,000배에 달하는 감소율)이다.
• 전송 성능 (톈통-1 위성 테스트):
  • 압축되지 않은 데이터: 평균 전송 시간은 578.2초였으며 빈번한 중단과 실패가 발생했다.
  • 손실 압축 데이터: 평균 시간은 12.4초로 단축되었다.
  • 완전 압축 데이터: 평균 전송 시간은 5.2초로 떨어졌으며, 안정적이고 실패 없는 전송을 보여주었다.
• 베이두-3 변환: 압축된 지역 데이터셋(QB(2,7))은 1개의 베이두-3 단문 메시지에 들어간다. 전 지구 단일 압축 데이터셋은 32개의 메시지가 필요하며, 10일치 전 지구 데이터셋은 1,664개의 메시지가 필요하다.

의의 및 주장
본 논문은 이 기술이 해양 기상 빅데이터의 전송 병목 현상을 해결한다고 주장한다. 13.9 MB의 파일을 1.7 KB 미만으로 줄임으로써, 대역폭이 제한적이고 불안정한 원격 해역의 선박에 고해상도 수치 예보 제품을 전달할 수 있게 한다.

• 적시성: 지역 데이터셋 전송은 톈통-1을 통해 5.2초밖에 걸리지 않으며, 베이두-3 단문 메시지를 통해서도 몇 분 내에 보낼 수 있어 해상 항행의 실시간 요구를 충족한다.
• 신뢰성: 현장 테스트 결과, 압축되지 않은 데이터가 빈번히 실패하는 것과 달리 압축 데이터 전송은 안정적이고 신뢰할 수 있음을 입증했다.
• 실용적 적용: 압축된 데이터는 대칭 암호 테이블을 사용하여 선박에서 복호화될 수 있으며, 이를 통해 데이터 복원, 그래픽 작도 및 시스템 통합이 가능하다.
• 지식 재산권: 저자들은 핵심 알고리즘과 전송 최적화 방안이 두 건의 등록된 발명 특허(중국 CN116683915B 및 네덜란드 NL2037367)에 의해 보호받고 있음을 언급하며, 제안된 방법의 참신성과 기술적 성숙도를 확인하였다.