Hardware-Aware Deployment of Joint SAR Compression and Despeckling on FPGA

기술 요약: FPGA 기반의 결합된 SAR 압축 및 디스페클링(Despeckling)의 하드웨어 인지적 배포

문제 정의
차세대 합성 개구 레이더(SAR) 임무는 데이터 생성 속도가 다운링크 용량을 훨씬 초과하는 임계적 병목 현상에 직면해 있으며, 이는 효율적인 온보드 데이터 감소를 필요로 한다. 학습된 이미지 압축(Learned Image Compression, LIC)은 전통적인 핸드크래프트 코덱(예: 블록 적응형 양자화)에 비해 우수한 비트율-왜곡(Rate-Distortion) 성능을 제공하지만, 곱셈적 스펙클 노이즈(multiplicative speckle noise)로 인해 이러한 딥러닝 모델을 SAR 영상에 적용하는 것은 까다롭다. 또한, 복잡한 신경망 압축 아키텍처를 우주 기반 시스템에 배포하는 것은 엄격한 전력, 연산 및 운영 제약으로 인해 어렵다. 기존 솔루션들은 우주 환경에 필요한 방사선 내성 및 에너지 효율성이 부족한 경우가 많으며, 필드 프로그래머블 게이트 어레이(FPGA)를 활용한 하드웨어 특화 적응 기술은 여전히 미개척 분야로 남아 있다.

방법론
저자들은 임베디드 ZCU102 FPGA 기반 플랫폼(AMD Zynq UltraScale+ MPSoC)에서 결합된 SAR 디스페클링 및 데이터 압축(DDC) 프레임워크의 배포 가능성을 조사한다. 본 연구는 AMD Vitis AI 오버레이 가속기를 활용하며, 이는 8비트 정수(int8) 산술 및 제한된 연산 집합을 강제하는 특정 하드웨어 제약 조건을 부여한다.

이론적 모델과 하드웨어 현실 사이의 간극을 메우기 위해, 저자들은 네 가지 모델 토폴로지에 대해 체계적인 절제 연구(ablation study)를 수행한다:

1. FP (Factorized Prior): 하이퍼프라이어(hyperprior)나 잔차 블록(residual block)이 없는 베이스라인 오토인코더.
2. ResFP: 잔차 블록이 추가된 FP.
3. SH (Scale Hyperprior): 잠재 의존성(latent dependencies)을 모델링하기 위한 하이퍼프라이어 브랜치를 포함함.
4. ResSH: 원래의 DDC 아키텍처 (잔차 블록과 일반화된 분할 정규화(GDN)가 포함된 SH).

방법론은 원래의 ResSH 아키텍처를 FPGA 제약 조건에 맞게 수정하는 "하드웨어 인지적 재설계(hardware-aware redesign)"를 포함한다:

• 활성화 함수: GDN 레이어를 ReLU로 대체한다. 이는 GDN이 Vitis AI 딥러닝 처리 장치(DPU)에서 지원되지 않기 때문이다.
• 컨볼루션 레이어: 지원되지 않는 비제로 패딩(non-zero output padding)을 제거하기 위해 전치 컨볼루션(transposed convolution) 커널을 $(5 \times 5, 2, 1)$에서 $(4 \times 4, 1, 0)$으로 재구성한다.
• 실행 파이프라인: 추론 그래프를 분할하여, 신경망 변환(인코더/디코더)은 DPU에서 실행하고, 엔트로피 인코딩/디코딩은 임베디드 ARM CPU에서 실행한다.
• 양자화: 모델을 사후 학습 양자화(Post-Training Quantization, PTQ)를 사용하여 float32에서 int8로 양자화한다.

본 연구는 CPU, GPU, FPGA 플랫폼 간의 성능을 비교하며, 비트율-왜곡(RD) 성능, 계산 복잡도, 지연 시간 및 에너지 효율성을 분석한다.

주요 기여

1. 최초의 FPGA 배포: 본 연구는 FPGA 기반 임베디드 플랫폼에 결합된 SAR 디스페클링 및 학습된 압축 프레임워크를 배포한 첫 사례를 제시한다.
2. 하드웨어 인지적 재설계: 하드웨어 제약에 의한 수정(GDN을 ReLU로 교체, 커널 패딩 조정 등)이 성능을 저하시키지 않으며, 놀랍게도 비트율-왜곡 트레이드오프를 개선한다는 것을 입증한다.
3. 아키텍처 트레이드오프 분석: 체계적인 연구를 통해 잔차 블록이 약 0.75 dB의 개선을 제공하면서도 계산 비용을 10배 증가시킨다는 점을 밝혀냈으며, 이는 이 특정 작업에 있어 잔차 블록이 비효율적임을 시사한다.
4. 교차 플랫폼 특성화: GPU가 가장 낮은 지연 시간을 제공하지만, FPGA가 훨씬 더 에너지 효율적임을 확인했다 (CPU 대비 패치당 에너지 1117배 적음, GPU 대비 26배 적음).
5. 양자화 통찰: int8 양자화의 영향을 분석하며, 양자화가 구조적 지표(EPD)를 약간 변화시킬 수 있지만, 어두운 영역에서 디스페클링된 참조 영상과 더 잘 일치하는 부드럽고 채도가 낮은 재구성을 유도하여 평균적으로 더 낮은 픽셀 단위 오차(MSE/PSNR)를 나타낼 수 있음을 언급한다. 단, 이 효과는 고산란 영역(high-scatterer areas)에서는 불리하게 작용한다.

결과

• 성능: GDN을 ReLU로 교체함으로써 높은 비트레이트에서 RD 트레이드오프를 $1.67 \pm 0.10$ dB 개선했다. 경량화된 FP 아키텍처(잔차 블록이나 하이퍼프라이어가 없는 모델)가 온보드 배포를 위한 최적의 선택으로 식별되었으며, 더 무거운 모델들과 대등한 성능을 보이면서도 메모리 사용량과 지연 시간을 크게 줄였다.
• 효율성: FPGA 플랫폼은 9.812.7 W의 활성 전력을 소비하였으며, 이는 일반적인 SmallSat 탑재체의 2095 W 예산 범위 내에 있다. 에너지 효율 측면에서 FPGA는 CPU 및 GPU 베이스라인을 큰 폭으로 앞질렀다.
• 지연 시간: GPU가 가장 낮은 지연 시간을 달성했으나, FPGA의 실수부 및 허수부 채널 처리 병렬화($ga(Re^2) \parallel ga(Im^2)$)는 DPU 코어를 효과적으로 사용하여 순차적 실행 대비 지연 시간을 최대 48.7%까지 단축했다.
• 양자화 효과: FPGA에 배포된 int8 모델은 테스트 세트의 높은 비트레이트에서 일반적으로 float32 GPU 베이스라인보다 높은 PSNR을 보였다. 그러나 논문은 이것이 어두운 영역에서의 픽셀 단위 오차를 줄이는 양자화 유도 평활화(smoothing) 효과의 결과임을 명시한다. 반대로, 고산란 장면(예: Hamburg 타일)에서는 FP int8 모델이 float32 모델보다 낮은 PSNR을 기록한 반면, 더 견고한 ResSH 모델은 소폭의 이득을 보였다.

의의 및 주장
본 논문은 새로운 최첨단 압축 알고리즘을 구축하는 것을 목표로 하지 않는다. 대신, 그 의의는 기능적인 엣지 배포 워크플로우와 온보드 SAR 압축을 위한 근거 기반의 시작점을 제공하는 데 있다. 저자들은 자연 영상 압축에서 확립된 설계 원칙(예: GDN 또는 잔차 블록의 필요성)이 SAR 데이터에 적용될 때 도전받는다는 점을 강조한다. 하드웨어 인지적 수정이 성능을 보존하거나 심지어 개선하면서도 효율적인 임베디드 실행을 가능하게 함을 입증함으로써, 본 연구는 GPU 대비 지연 시간의 한계에도 불구하고 FPGA가 이 응용 분야에서 가장 에너지 효율적인 플랫폼임을 강조하며, 향후 실질적인 온보드 SAR 처리 시스템을 위한 토대를 마련한다.