Deep Probabilistic Unfolding for Quantized Compressive Sensing

Resumo Técnico: Desdobramento Probabilístico Profundo para Sensação Compressiva Quantizada

Declaração do Problema
A Sensação Compressiva Quantizada (QCS) aborda o desafio de reconstruir sinais a partir de medições comprimidas que sofreram quantização grosseira (por exemplo, 1-bit ou baixo número de bits). Embora a quantização grosseira reduza significativamente a largura de banda e o consumo de energia — tornando-a vital para aplicações como MIMO massivo, radar e redes de sensores sem fio —, ela introduz não linearidade severa e perda de informação relativa à amplitude do sinal. Os métodos existentes de reconstrução enfrentam uma dicotomia:

1. Algoritmos Tradicionais Baseados em Modelo: Estes dependem de priores criados manualmente e otimização iterativa. Embora robustos, frequentemente sofrem com altos custos computacionais e qualidade de reconstrução limitada.
2. Abordagens Generativas Baseadas em Aprendizado Profundo: Métodos recentes (por exemplo, QCS-SGM, QCS-SGM+) utilizam modelos generativos baseados em pontuação para realizar amostragem posterior via dinâmica de Langevin anneada. Embora alcancem alta qualidade perceptual, são computacionalmente caros, exigindo atualizações estocásticas iterativas sobre múltiplos níveis de ruído. Isso os torna inadequados para implantação em tempo real devido a restrições de latência e vazão. Além disso, esses métodos frequentemente dependem de suposições restritivas (por exemplo, ortogonalidade por linhas da matriz de sensoriamento) para aproximações de verossimilhança tratáveis, ou exigem pré-treinamento pesado em conjuntos de dados em grande escala que podem não corresponder a configurações de domínio específicas.

Metodologia: Rede de Desdobramento Probabilístico Profundo (DPUNet)
Os autores propõem a DPUNet, uma estrutura de desdobramento profundo determinística e treinável de ponta a ponta que preenche a lacuna entre a inferência bayesiana principista e o aprendizado profundo eficiente.

• Projeção de Gradiente de Verossimilhança de Forma Fechada:
  Diferentemente de métodos de desdobramento anteriores que aplicam projeção $L_2$ ou dependem de aproximações de Propagação de Expectativa (EP), a DPUNet deriva um gradiente de verossimilhança de forma fechada e numericamente estável.

  • Mecanismo: O método trata as restrições de quantização como orientação probabilística suave em vez de restrições rígidas. Modela o domínio de medição como sendo perturbado por ruído (inerente ou artificial).
  • Caso 1-bit: Utiliza a razão de Mills para calcular o gradiente do log-verossimilhança para medições binárias ($y = \text{Sign}(Mx + n)$).
  • Caso Multi-bit: Usa a diferença das Funções de Distribuição Cumulativa (CDF) de Gaussianas sobre intervalos de quantização para derivar o gradiente.
  • Vantagem: Esta abordagem evita a necessidade de suposições de ortogonalidade por linhas exigidas por métodos baseados em EP e elimina as etapas de amostragem iterativa dos modelos baseados em pontuação, permitindo uma única passagem direta (feed-forward).

• Bloco Mamba de Duplo Domínio (DMB):
  Para servir como rede de refinamento dentro dos estágios de desdobramento, os autores projetam um novo Bloco Mamba de Duplo Domínio que captura tanto características locais quanto globais de forma eficiente.

  • Ramo Espacial: Implementa um Modelo de Espaço de Estados (SSM) padrão em sequências espaciais achatadas para capturar dependências locais.
  • Ramo Espectral (S3M): Introduz uma camada espectral complexa e condicionada à frequência. Em vez de varredura sequencial de tokens (que é dependente da ordem), o S3M opera em modos de Fourier. Ele parametriza um sistema de espaço de estados complexo estável no domínio da frequência, produzindo uma solução de forma fechada para a resposta espectral.
  • Interação Cruzada de Frequência: Para abordar a limitação do filtragem puramente diagonal (que assume independência de frequência), o S3M incorpora um termo de projeção-broadcast estruturado de baixo posto. Isso permite interações cruzadas de frequência eficientes com complexidade $O(LR)$, evitando o custo quadrático da mistura espectral densa.
  • Invariância de Ordem: Ao operar no domínio de Fourier, o campo receptivo global torna-se invariante à ordem, superando a dependência de ordem inerente às arquiteturas Mamba padrão baseadas em varredura.

• Objetivo de Treinamento:
  A rede é otimizada minimizando uma função de perda composta consistindo no erro de reconstrução $L_2$ e um termo de Log-Verossimilhança Negativa (NLL). O termo NLL garante que a saída adira às restrições de consistência de dados quantizados derivadas do modelo probabilístico.

Principais Contribuições

1. Estrutura DPUNet: Uma nova arquitetura de desdobramento profundo que converte restrições rígidas de quantização em orientação probabilística suave via projeção de gradiente de verossimilhança de forma fechada. Isso permite inferência determinística de passagem única sem o ônus computacional da amostragem posterior iterativa.
2. Bloco Mamba de Duplo Domínio: Um módulo de refinamento inovador que funde modelagem de espaço de estados espacial com um operador espectral invariante à ordem e condicionado à frequência. Alcança interação global de características através de operadores espectrais estruturados em vez de recorrências repetidas, reduzindo significativamente o custo computacional.
3. Desempenho e Eficiência: O método demonstra desempenho de última geração (SOTA) em precisão de reconstrução (PSNR/SSIM) através de níveis de quantização de 1-bit a 3-bit, mantendo velocidades de inferência ordens de magnitude mais rápidas que as bases de amostragem baseadas em pontuação.

Resultados Experimentais
Os autores avaliaram a DPUNet nos conjuntos de dados CelebA (64×64) e FFHQ (256×256), comparando-a com QCS-SGM, QCS-SGM+ e uma base de desdobramento profundo vanilla.

• Precisão: A DPUNet alcançou pontuações superiores de PSNR e SSIM em todos os bits de quantização. Por exemplo, no FFHQ com medições de 1-bit, a DPUNet alcançou 27,18 dB de PSNR, comparado a 13,26 dB para o QCS-SGM+.
• Eficiência: O tempo de inferência para a DPUNet foi de aproximadamente 0,25 segundos para imagens de 256×256, comparado a 558 segundos para o QCS-SGM e 1072 segundos para o QCS-SGM+.
• Estudos de Ablação: Remover a projeção de gradiente de verossimilhança causou a degradação de desempenho mais severa (queda de aproximadamente 10,57 dB), validando a formulação probabilística central. O ramo espectral e o acoplamento de posto-R também contribuíram significativamente para o desempenho.
• Fora da Distribuição (OOD): O modelo demonstrou capacidades robustas de reconstrução no conjunto de dados CSet8 (OOD) quando treinado no FFHQ, superando métodos anteriores mesmo em cenários de 1-bit.

Significado e Alegações
O artigo alega que a DPUNet oferece uma alternativa principista aos métodos existentes de reconstrução QCS, unificando a interpretabilidade do desdobramento baseado em modelo com o poder representacional do aprendizado profundo, sem a sobrecarga computacional da amostragem generativa.

• Implantação Prática: Ao eliminar a amostragem iterativa e reduzir a dependência de suposições restritivas sobre a matriz de sensoriamento, o método é posicionado como uma solução viável para aplicações do mundo real onde latência e vazão são críticas.
• Potencial Futuro: Os autores sugerem que esta estrutura serve como um protótipo para otimização futura orientada a tarefas ou com hardware em loop, onde o pipeline de reconstrução pode ser ajustado conjuntamente para objetivos a jusante, como reconhecimento ou transmissão segura. O método é apresentado como um passo em direção a designs mais eficientes e razoáveis de ponta a ponta para sensação compressiva quantizada.