Deep Probabilistic Unfolding for Quantized Compressive Sensing

기술 요약: 양자화 압축 센싱을 위한 심층 확률적 언폴딩

문제 제기
양자화 압축 센싱 (QCS) 은 거친 양자화 (예: 1 비트 또는 저비트) 를 거친 압축 측정값으로부터 신호를 재구성하는 과제를 다룹니다. 거친 양자화는 대역폭과 전력 소모를 크게 줄여 대량 MIMO, 레이더, 무선 센서 네트워크와 같은 응용 분야에 필수적이지만, 신호 진폭에 관한 심각한 비선형성과 정보 손실을 초래합니다. 기존 재구성 방법들은 다음과 같은 이분법에 직면해 있습니다:

1. 전통적인 모델 기반 알고리즘: 수동으로 설계된 사전 지식과 반복적 최적화에 의존합니다. 견고하지만 계산 비용이 높고 재구성 품질이 제한적인 경우가 많습니다.
2. 딥러닝 기반 생성 접근법: 최근 방법들 (예: QCS-SGM, QCS-SGM+) 은 어닐링된 랑제빈 동역학을 통해 사후 샘플링을 수행하기 위해 점수 기반 생성 모델을 활용합니다. 높은 지각적 품질을 달성하지만, 여러 노이즈 레벨에 걸친 반복적 확률적 업데이트가 필요하여 계산 비용이 매우 큽니다. 이로 인해 높은 지연 시간과 처리량 제약으로 인해 실시간 배포에 부적합합니다. 또한, 이러한 방법들은 종종 계산 가능한 가능도 근사를 위해 제한적인 가정 (예: 센싱 행렬의 행 직교성) 에 의존하거나, 특정 도메인 설정과 일치하지 않을 수 있는 대규모 데이터셋에 대한 무거운 사전 학습이 필요합니다.

방법론: 심층 확률적 언폴딩 네트워크 (DPUNet)
저자들은 원리적인 베이지안 추론과 효율적인 딥러닝 사이의 간극을 연결하는 결정론적이며 엔드 투 엔드로 학습 가능한 심층 언폴딩 프레임워크인 DPUNet 을 제안합니다.

• 폐형 가능도 기울기 투영:
  $L_2$ 투영을 적용하거나 기대 전파 (EP) 근사에 의존하는 기존 언폴딩 방법과 달리, DPUNet 은 수치적으로 안정적인 폐형 가능도 기울기를 유도합니다.

  • 메커니즘: 이 방법은 양자화 제약을 경성 제약이 아닌 연성 확률적 안내로 취급합니다. 측정 도메인을 내재적이거나 인위적인 노이즈에 의해 교란된 것으로 모델링합니다.
  • 1 비트 경우: 이진 측정값 ($y = \text{Sign}(Mx + n)$) 에 대한 로그 가능도의 기울기를 계산하기 위해 밀스 비율 (Mills ratio) 을 활용합니다.
  • 멀티비트 경우: 양자화 구간을 통한 가우시안 누적 분포 함수 (CDF) 의 차이를 사용하여 기울기를 유도합니다.
  • 장점: 이 접근법은 EP 기반 방법이 요구하는 행 직교성 가정을 피하고, 점수 기반 모델의 반복적 샘플링 단계를 제거하여 단일 순방향 통과를 가능하게 합니다.

• 이중 도메인 Mamba 블록 (DMB):
  언폴딩 단계 내 정제 네트워크로 활용하기 위해, 저자들은 국소 및 전역 특징을 효율적으로 포착하는 새로운 이중 도메인 Mamba 블록을 설계했습니다.

  • 공간 분기: 평탄화된 공간 시퀀스에 표준 상태 공간 모델 (SSM) 을 구현하여 국소 의존성을 포착합니다.
  • 스펙트럼 분기 (S3M): 순차적 토큰 스캔 (순서 의존적) 대신 푸리에 모드에서 작동하는 복소수 값 주파수 조건부 스펙트럼 레이어를 도입합니다. S3M 은 주파수 도메인에서 안정적인 복소 상태 공간 시스템을 매개변수화하여 스펙트럼 응답에 대한 폐형 해를 도출합니다.
  • 교차 주파수 상호작용: 주파수 독립성을 가정하는 순수 대각 필터링의 한계를 해결하기 위해, S3M 은 구조화된 저랭크 투영 - 브로드캐스트 항을 포함합니다. 이는 조밀한 스펙트럼 혼합의 2 차 비용 없이 $O(LR)$ 복잡도로 효율적인 교차 주파수 상호작용을 가능하게 합니다.
  • 순서 불변성: 푸리에 도메인에서 작동함으로써 전역 수용野가 순서 불변성이 되어, 표준 스캔 기반 Mamba 아키텍처의 고유한 순서 의존성을 극복합니다.

• 학습 목적 함수:
  네트워크는 $L_2$ 재구성 오차와 음의 로그 가능도 (NLL) 항으로 구성된 복합 손실 함수를 최소화하도록 최적화됩니다. NLL 항은 확률적 모델에서 유도된 양자화된 데이터 일관성 제약을 준수하도록 출력을 보장합니다.

주요 기여

1. DPUNet 프레임워크: 폐형 가능도 기울기 투영을 통해 경성 양자화 제약을 연성 확률적 안내로 변환하는 새로운 심층 언폴딩 아키텍처입니다. 이는 반복적 사후 샘플링의 계산 부담 없이 결정론적 단일 통과 추론을 가능하게 합니다.
2. 이중 도메인 Mamba 블록: 공간 상태 공간 모델링과 주파수 조건부 순서 불변 스펙트럼 연산자를 융합하는 새로운 정제 모듈입니다. 반복적 재귀가 아닌 구조화된 스펙트럼 연산자를 통해 전역 특징 상호작용을 달성하여 계산 비용을 크게 줄입니다.
3. 성능 및 효율성: 이 방법은 1 비트에서 3 비트까지의 양자화 레벨 전반에 걸쳐 재구성 정확도 (PSNR/SSIM) 에서 최첨단 (SOTA) 성능을 보여주며, 점수 기반 샘플링 베이스라인보다 수배 빠른 추론 속도를 유지합니다.

실험 결과
저자들은 CelebA(64×64) 및 FFHQ(256×256) 데이터셋에서 DPUNet 을 평가하여 QCS-SGM, QCS-SGM+, 그리고 범용 심층 언폴딩 베이스라인과 비교했습니다.

• 정확도: DPUNet 은 모든 양자화 비트에서 우수한 PSNR 및 SSIM 점수를 달성했습니다. 예를 들어, 1 비트 측정값을 가진 FFHQ 에서 DPUNet 은 27.18 dB 의 PSNR 을 기록한 반면, QCS-SGM+ 는 13.26 dB 였습니다.
• 효율성: 256×256 이미지에 대한 DPUNet 의 추론 시간은 약 0.25 초였으며, 이는 QCS-SGM 의 558 초 및 QCS-SGM+ 의 1072 초와 비교됩니다.
• 애블레이션 연구: 가능도 기울기 투영을 제거하면 약 10.57 dB 의 심각한 성능 저하가 발생하여 핵심 확률적 형식을 검증했습니다. 스펙트럼 분기와 랭크-R 결합 또한 성능에 크게 기여했습니다.
• 분포 외 (OOD): FFHQ 에서 학습된 모델은 CSet8 데이터셋 (OOD) 에서도 견고한 재구성 능력을 보여주어, 1 비트 시나리오에서도 기존 방법들을 능가했습니다.

의의 및 주장
이 논문은 DPUNet 이 생성적 샘플링의 계산 오버헤드 없이 모델 기반 언폴딩의 해석 가능성과 딥러닝의 표현력을 통합함으로써 기존 QCS 재구성 방법에 대한 원리 있는 대안을 제공한다고 주장합니다.

• 실용적 배포: 반복적 샘플링을 제거하고 제한적인 센싱 행렬 가정에 대한 의존성을 줄임으로써, 이 방법은 지연 시간과 처리량이 중요한 현실 세계 응용 분야에 실행 가능한 솔루션으로 자리 잡습니다.
• 미래 잠재력: 저자들은 이 프레임워크가 인식이나 안전한 전송과 같은 하류 목적을 위해 재구성 파이프라인을 공동 조정할 수 있는 향후 작업 인식형 또는 하드웨어 인 더 루프 최적화를 위한 프로토타입으로 작용할 것이라고 제안합니다. 이 방법은 양자화 압축 센싱을 위한 더 효율적이고 합리적인 엔드 투 엔드 설계로의 한 걸음으로 제시됩니다.