TerraCodec: Compressing Optical Earth Observation Data

이 논문은 Sentinel-2 데이터를 기반으로 학습된 'TerraCodec'을 제안하여 기존 코덱 대비 3~10 배의 압축 효율을 달성하고, 시계열 의존성을 활용한 영상 압축과 구름 제거 기능을 동시에 구현함으로써 지구 관측 데이터 처리의 새로운 방향을 제시합니다.

핵심

🌍 지구를 압축하는 마법: '테라코덱 (TerraCodec)' 이야기

우리가 매일 보는 위성 사진은 단순히 예쁜 풍경이 아닙니다. 지구 전체를 매일매일 스캔하는 거대한 데이터의 바다죠. 하지만 이 데이터는 너무 방대해서 저장하고 전송하는 데 엄청난 비용과 시간이 걸립니다. 마치 매일 전 세계의 모든 거리를 4K 화질로 촬영한 영상을 보내야 하는 상황이라고 상상해 보세요.

이 논문은 IBM 연구팀이 이 문제를 해결하기 위해 개발한 **'테라코덱 (TerraCodec)'**이라는 새로운 기술을 소개합니다. 이를 쉽게 이해하기 위해 몇 가지 비유를 들어보겠습니다.

---

1. 문제: "데이터 폭포"와 낡은 압축기

지금까지 위성 데이터는 JPEG나 HEVC 같은 기존 압축 기술을 썼습니다. 이는 마치 사진을 찍을 때 모든 픽셀을 똑같은 방식으로 줄이는 낡은 압축기와 같습니다.

• 한계: 이 방식은 자연 풍경 (산, 바다) 에는 잘 작동하지만, 위성이 찍는 '다중 스펙트럼 (가시광선 + 적외선 등 12 가지 색상)' 데이터나 '시간이 흐르며 변하는' 데이터에는 효율이 떨어집니다.
• 결과: 같은 화질을 유지하려면 데이터 양이 너무 커서, 저장소와 통신 비용이 터무니없이 비싸집니다.

2. 해결책: "지구를 이해하는 AI 압축기"

테라코덱은 단순히 데이터를 줄이는 게 아니라, 위성 데이터가 어떻게 생겼고 어떻게 변하는지 '이해'하는 AI입니다.

🎨 비유 1: "초보 화가 vs. 베테랑 화가" (이미지 압축)

• 기존 방식 (JPEG): 모든 그림을 똑같은 규칙으로 잘게 부수고 줄입니다. 중요한 디테일도 잘리고, 불필요한 부분도 남을 수 있습니다.
• 테라코덱 (TEC-ELIC): 이 AI 는 위성 사진의 특징 (구름, 숲, 도시) 을 미리 알고 있습니다. 마치 베테랑 화가처럼, "여기는 숲이니까 녹색 톤을 잘 살리고, 저기는 구름이니까 흐릿하게 처리하자"라고 생각하며 압축합니다.
• 효과: 같은 화질로 저장할 때, 기존 방식보다 3 배에서 10 배까지 데이터를 줄일 수 있습니다.

⏳ 비유 2: "내일 날씨 예측" (시간 흐름 압축)

위성 사진은 하루에 한 장씩 찍히기 때문에, 어제 찍은 사진과 오늘 찍은 사진은 매우 비슷합니다. (나무가 갑자기 사라지지 않으니까요.)

• 기존 방식: 어제 사진과 오늘 사진을 각각 따로 따로 압축합니다. (비효율적!)
• 테라코덱 (TEC-TT): 이 AI 는 시간의 흐름을 이해합니다. "어제 구름이 있었으니, 오늘도 비슷할 거야. 다만 구름이 조금 움직였을 뿐이지."라고 추측합니다.
• 효과: 어제 사진을 기준으로 오늘 사진을 매우 적은 정보만 추가해서 완성합니다. 마치 동영상 압축처럼, 변화된 부분만 전송하는 것입니다.

---

3. 혁신적인 기술: "스마트한 가방 정리" (Latent Repacking)

기존 AI 압축기는 "화질 설정을 바꾸려면 모델을 다시 만들어야 한다"는 문제가 있었습니다. (저화질용 모델, 고화질용 모델 등 각각 따로 필요함)

테라코덱은 **'Latent Repacking(잠재 공간 재포장)'**이라는 기술을 도입했습니다.

• 비유: 데이터를 레고 블록으로 생각해보세요.
  • 기존: 레고 상자를 열면, 필요한 블록만 골라내는 게 아니라 상자를 통째로 바꿔야 합니다.
  • 테라코덱: 레고를 중요도 순서대로 정리했습니다.
    • 1 번 블록: 전체 그림의 윤곽 (건물이 어디 있는지).
    • 2 번 블록: 건물의 모양.
    • 3 번 블록: 창문의 디테일.
  • 활용: 인터넷이 느릴 때는 1 번 블록만 보내고, 빠를 때는 1 번부터 10 번까지 다 보냅니다. 하나의 모델로 화질과 데이터 양을 자유롭게 조절할 수 있습니다.

---

4. 놀라운 부가 효과: "구름 지우기 마법"

이 기술은 압축뿐만 아니라 구름 가려진 땅을 복원하는 데도 쓰입니다.

• 상황: 위성 사진에 구름이 끼어 땅이 안 보입니다.
• 기존 방식: 구름이 없는 다른 날 사진을 가져와서 붙여넣거나, 아예 빈칸으로 둡니다.
• 테라코덱: "어제 여기는 숲이었고, 구름이 조금만 움직였으니, 오늘도 숲이 있을 거야"라고 AI 가 구름을 지우고 땅을 예측합니다.
• 결과: 다른 최신 기술들보다 훨씬 더 선명하고 정확하게 구름을 지워냅니다. 마치 마법처럼 사라진 땅을 다시 보여줍니다.

---

5. 요약: 왜 이것이 중요한가요?

1. 비용 절감: 위성 데이터를 저장하고 전송하는 비용을 획기적으로 줄여줍니다.
2. 유연성: 하나의 모델로 화질과 데이터 크기를 상황에 맞게 조절할 수 있습니다.
3. 분석 용이: 압축된 데이터로도 홍수 예측, 농작물 분석 등 중요한 작업을 거의 완벽하게 수행할 수 있습니다.
4. 오픈 소스: 이 기술은 누구나 무료로 사용할 수 있도록 공개되었습니다.

결론적으로, 테라코덱은 위성 데이터를 단순히 '줄이는' 것이 아니라, 지구의 변화를 이해하고 예측하는 지능형 시스템으로 바꾼 것입니다. 이제 우리는 더 적은 비용으로 더 많은 지구의 이야기를 들을 수 있게 되었습니다. 🌏✨

기술 요약

1. 문제 정의 (Problem)

• 데이터 폭증: 코페르니쿠스 (Copernicus) 프로그램과 같은 이니셔티브로 인해 지구 관측 위성에서 생성되는 다중 스펙트럼 이미지 시계열 데이터가 기하급수적으로 증가하고 있어 저장 및 전송에 심각한 병목 현상이 발생하고 있습니다.
• 기존 기술의 한계:
  • 자연 이미지 중심: 기존 학습형 압축 기술은 주로 RGB 자연 이미지에 최적화되어 있으며, 지구 관측 데이터의 다중 스펙트럼 (12 개 이상 밴드) 및 고비트 심도 특성을 충분히 반영하지 못합니다.
  • 시간적 중복성 미활용: 기존 연구는 단일 이미지 압축에 집중하여, 위성 시계열 데이터에 내재된 강력한 시간적 중복성 (계절적 패턴 등) 을 활용한 비디오 코덱스 개발이 부족했습니다.
  • 가용성 부재: 대규모 사전 학습된 지구 관측 전용 코덱스가 공개되어 있지 않아, 연구 및 실제 적용이 제한적입니다.
  • 고정 비트레이트: 기존 신경망 코덱스는 대부분 고정된 비트레이트 (Rate-Distortion trade-off) 에서만 작동하여, 다양한 전송 환경에 유연하게 대응하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 Sentinel-2 L2A 데이터를 기반으로 사전 학습된 TerraCodec 계열 모델을 제안합니다.

2.1 모델 아키텍처

• 이미지 코덱스 (TEC-FP, TEC-ELIC):
  • TEC-FP: 경량화된 Factorized Prior 기반 모델로, 빠른 병렬 엔트로피 코딩을 지원합니다.
  • TEC-ELIC: ELIC (Efficient Learned Image Compression) 아키텍처를 기반으로 하며, 공간적 및 채널적 컨텍스트 (Space-Channel Context) 와 하이퍼프리오 (Hyperprior) 를 활용하여 최적의 비트레이트 - 왜곡 성능을 달성합니다.
  • EO 특화 설계: 12 개 밴드, 16 비트 입력을 직접 지원하며, 밴드별 표준화 (Per-band standardization) 를 통해 학습 안정성을 확보하고 하위 작업에 필요한 스펙트럼 특성을 보존합니다.
• 시간적 트랜스포머 (TEC-TT):
  • VCT (Video Compression Transformer) 아키텍처를 기반으로 합니다.
  • 과거 프레임의 잠재 변수 (Latents) 를 컨텍스트로 사용하여 현재 프레임의 잠재 분포를 예측하는 자기회귀 (Autoregressive) 시간적 트랜스포머를 도입합니다.
  • 수동으로 설계된 모션 추정 (Motion Estimation) 없이 잠재 공간에서 직접 시간적 의존성을 모델링하여 계절적 변화와 같은 장기 의존성을 포착합니다.

2.2 핵심 기술: Latent Repacking (잠재 재패킹)

• 목적: 단일 체크포인트에서 가변 비트레이트 (Flexible-rate) 를 지원하기 위해 개발된 방법론입니다.
• 원리:
  • 기존 트랜스포머는 공간적 토큰 (Spatial Tokens) 을 사용하지만, 이를 채널 슬라이스 (Channel Slices) 토큰으로 재구성합니다. 즉, 각 토큰이 전체 장면의 공간적 정보를 담되, 특정 채널 그룹만 담당하도록 변경합니다.
  • 마스크 학습 (Masked Training): 훈련 시 토큰 수 (K) 를 샘플링하여 일부 토큰을 마스킹 (Learned mask token 으로 대체) 하고, 나머지 토큰만 엔트로피 코딩합니다.
  • 동적 비트레이트: 추론 시 사용자가 전송할 토큰 수 (K) 를 선택하면, 모델은 마스킹된 토큰을 학습된 시간적 사전 지식 (Prior) 을 통해 예측하여 복원합니다. 이를 통해 단일 모델로 다양한 압축률과 화질을 지원합니다.

3. 주요 기여 (Key Contributions)

1. TerraCodec (TEC) 계열 모델 공개: Sentinel-2 데이터로 사전 학습된 최초의 대규모 다중 스펙트럼 및 다중 시계열 신경 코덱스 (TEC-FP, TEC-ELIC, TEC-TT, FlexTEC) 를 공개했습니다.
2. Latent Repacking 및 FlexTEC: 고정 비트레이트의 한계를 극복하고, 단일 체크포인트에서 토큰 수 조절을 통해 유연한 비트레이트를 지원하는 새로운 학습 방법을 제안했습니다.
3. 다운스트림 작업 및 제로샷 클라우드 제거: 압축 모델이 단순한 저장/전송을 넘어, 클라우드 제거 (Cloud Inpainting) 와 같은 예측 작업에 활용 가능함을 입증했습니다.

4. 실험 결과 (Results)

4.1 압축 성능 (Rate-Distortion)

• 기존 코덱스 대비 압도적 성능: JPEG, JPEG2000, WebP, HEVC (x265) 등 전통적인 코덱스와 비교하여 동일한 화질 (PSNR/SSIM) 에서 3~10 배 이상의 압축률을 달성했습니다.
• TEC-TT의 효과: 시간적 컨텍스트를 활용하는 TEC-TT 는 이미지 전용 코덱스 (TEC-ELIC) 보다 추가적인 압축 이점을 제공하며, 특히 긴 시계열 데이터에서 효율성이 극대화됩니다.
• 유연한 비트레이트: FlexTEC 는 고정 비트레이트 모델에 근접하거나 일부 구간에서 능가하는 성능을 보여주며, 단일 모델로 다양한 비트레이트 요구사항을 충족합니다.

4.2 다운스트림 작업 및 클라우드 제거

• 제로샷 클라우드 제거 (Zero-shot Cloud Inpainting): AllClear 벤치마크에서 TEC-TT 가 기존 휴리스틱 방법 및 다른 제로샷 신경망 모델들을 모두 능가하는 성능을 기록했습니다 (PSNR 32.86 dB, SSIM 0.917). 특히 구름이 99% 덮인 극단적인 조건에서도 우수한 예측 능력을 보였습니다.
• 하위 작업 영향: 압축된 데이터로 학습된 하위 작업 모델 (범주화, 홍수 탐지 등) 은 중간 정도의 압축률에서는 성능 저하가 미미 (<1.0pp) 했으며, 고압축 시에도 합리적인 성능을 유지했습니다.

5. 의의 및 결론 (Significance)

• 지구 관측 분야의 새로운 패러다임: TerraCodec 은 지구 관측 데이터의 고유한 특성 (다중 스펙트럼, 시간적 패턴) 을 학습된 코덱스에 효과적으로 통합하여, 저장 및 전송 비용을 획기적으로 줄일 수 있음을 입증했습니다.
• 다목적 활용: 단순한 데이터 압축을 넘어, 모델이 학습한 시간적 사전 지식 (Temporal Priors) 을 활용하여 클라우드 제거와 같은 복잡한 분석 작업에도 직접 적용 가능함을 보여주었습니다.
• 오픈 소스 및 재현성: 코드와 사전 학습된 가중치를 공개하여 향후 지구 관측 분야의 학습형 압축 연구와 실제 배포를 촉진할 것으로 기대됩니다.

이 연구는 신경망 기반 압축 기술이 지구 관측 분야에서 실용적인 솔루션이 될 수 있음을 보여주며, 특히 시간적 모델링을 통한 효율성 증대와 유연한 비트레이트 지원이 핵심 혁신 요소임을 강조합니다.