A Compact Hybrid Convolution--Frequency State Space Network for Learned Image Compression

O artigo propõe a HCFSSNet, uma rede híbrida compacta para compressão de imagens aprendida que combina camadas convolucionais com um bloco de estado espaço em frequência para modelar simultaneamente detalhes locais e dependências de longo alcance, superando as limitações de complexidade dos Transformers e a perda de continuidade espacial dos modelos de estado espaço tradicionais.

O essencial

Imagine que você tem uma foto incrível da sua viagem, cheia de detalhes, cores vibrantes e texturas complexas. O problema é que essa foto é enorme e ocupa muito espaço no seu celular ou computador. Para enviá-la ou guardá-la, você precisa "comprimi-la", ou seja, reduzir seu tamanho sem perder a qualidade visual.

Por décadas, usamos métodos antigos (como o JPEG) que funcionam como uma receita de bolo fixa: "tire o excesso de azul aqui, arredonde os cantos ali". Mas, com a inteligência artificial, aprendemos que podemos criar "chefes" (redes neurais) que entendem a foto muito melhor.

Este artigo apresenta um novo "chef" chamado HCFSSNet. Vamos explicar como ele funciona usando analogias do dia a dia.

O Problema dos Métodos Antigos

Imagine que você precisa descrever uma cidade inteira para um amigo pelo telefone.

1. O Método do "Gigante" (Transformers): Ele tenta descrever cada prédio olhando para todos os outros ao mesmo tempo. É muito preciso, mas cansa a bateria do telefone (é computacionalmente pesado e lento).
2. O Método do "Caminhoneiro" (SSM - Modelos de Espaço de Estado): Ele descreve a cidade andando em linha reta, de um lado para o outro. É rápido e eficiente, mas se você estiver andando em linha reta, pode perder detalhes importantes que estão "na diagonal" ou ao lado da rua. Ele ignora a vizinhança imediata em certas direções.

A Solução: O HCFSSNet (O "Mestre da Vizinhança e da Frequência")

Os autores criaram um sistema híbrido que combina o melhor dos dois mundos. Pense nele como um arquiteto inteligente que usa duas ferramentas principais:

1. O Olho Local (Convolução) vs. O Olho Longínquo (SSM)

O HCFSSNet divide o trabalho em duas equipes:

• Equipe Local (Convolução): São como inspetores de bairro. Eles caminham de casa em casa, garantindo que os detalhes finos (como a textura de uma parede ou o fio de um cabelo) sejam preservados perfeitamente.
• Equipe Global (SSM): São como drones que voam sobre a cidade. Eles entendem o contexto geral: "aquela praça está perto do rio", "aquele prédio é alto".

O segredo é que eles trabalham juntos. O drone não precisa descer para ver cada tijolo, e o inspetor não precisa saber onde fica o outro lado da cidade. Eles se complementam.

2. O Segredo da "Diagonal" (VONSS)

Aqui está a grande inovação. Os métodos antigos de "drone" (SSM) geralmente só voavam para a Esquerda-Direita e Cima-Baixo.

• O Problema: Se você tem um padrão em diagonal (como um xadrez ou uma escada), o drone que só vai em linha reta demora para conectar os pontos. É como tentar desenhar uma linha diagonal apenas movendo o lápis para a direita e para cima, pulando de quadrado em quadrado.
• A Solução (VONSS): O HCFSSNet ensina o drone a voar em todas as direções: horizontal, vertical, e também nas diagonais (como um rei no xadrez). Isso garante que a "vizinhança" seja entendida de verdade, sem distorcer a imagem. É como ter um mapa que mostra todas as ruas, não apenas as avenidas principais.

3. O Filtro de Frequência (AFMM)

Imagine que a imagem é uma música. Ela tem graves (áreas suaves, como o céu) e agudos (detalhes rápidos, como bordas de objetos).

• A maioria dos compressores trata a imagem como uma massa única.
• O HCFSSNet tem um equalizador inteligente. Ele olha para a imagem, transforma em "notas musicais" (frequências) e decide: "Essa nota grave (o céu) não precisa de tanta atenção, posso economizar espaço nela. Mas essa nota aguda (a borda do nariz) é crucial, vou preservar com carinho".
• Ele não cria novas notas, apenas ajusta o volume de cada uma para que a música (a imagem) soe perfeita com menos dados.

4. O "Chefe de Cozinha" (Hyperprior)

Para comprimir ainda mais, o sistema precisa de uma "nota de rodapé" (metadados) que diz ao descompressor como reconstruir a imagem.

• O HCFSSNet usa um Swin Transformer (um tipo de inteligência artificial avançada) combinado com o equalizador de frequência para escrever essa nota de rodapé. Isso garante que a "receita" para reconstruir a foto seja extremamente precisa, economizando mais espaço.

O Resultado Final

O HCFSSNet é como um arquiteto compacto e eficiente.

• Ele não é o maior e mais pesado do mercado (não ocupa a memória de um servidor gigante).
• Ele não é o mais rápido do mundo (leva um tempinho a mais para processar por causa de suas análises detalhadas).
• Mas, ele oferece o melor equilíbrio: uma qualidade de imagem excelente com um tamanho de arquivo muito menor, usando menos recursos que seus concorrentes mais pesados.

Resumo em uma frase:
O HCFSSNet é um sistema de compressão de imagens que, ao invés de apenas olhar para a foto em linhas retas, olha em todas as direções (incluindo diagonais) e ajusta o "volume" das cores e texturas (frequências) para guardar a foto no menor espaço possível, sem que ela pareça borrada ou pixelada.

Resumo técnico

1. O Problema

A Compressão de Imagem Aprendida (LIC - Learned Image Compression) tem evoluído rapidamente, utilizando arquiteturas baseadas em Transformers e Modelos de Espaço de Estados (SSM) para modelar dependências de longo alcance. No entanto, existem desafios significativos nas abordagens atuais:

• Complexidade Quadrática: Os métodos baseados em Transformers oferecem modelagem global, mas sofrem de complexidade quadrática em relação ao comprimento da sequência, limitando a escalabilidade em imagens de alta resolução.
• Perda de Continuidade Espacial: Os SSMs visuais (como Mamba) são eficientes, mas frequentemente exigem o achatamento (flattening) de características 2D em sequências 1D. As estratégias de varredura convencionais (apenas horizontal e vertical) podem romper a continuidade dos vizinhos no espaço 2D, especialmente nas direções diagonais, prejudicando a modelagem de dependências locais.
• Modelagem de Frequência Insuficiente: A maioria dos modelos de entropia e transformações não lineares opera principalmente nos domínios espacial e de canal. A modelagem consciente de frequência (frequency-aware) nas informações laterais (side information ou hyperprior) é pouco explorada, apesar de transformações clássicas (como DCT) serem fundamentais na compressão tradicional.

2. Metodologia: HCFSSNet

Os autores propõem o HCFSSNet (Hybrid Convolution and Frequency State Space Network), uma arquitetura híbrida compacta que integra modelagem local, modelagem de contexto de longo alcance e modulação de frequência.

Arquitetura Geral

O modelo segue o paradigma padrão de hiperpriori (hyperprior) com três componentes principais:

1. Transformação de Análise/Síntese: Mapeia a imagem para um espaço latente e vice-versa.
2. Caminho de Hiperpriori: Gera informações laterais para modelar a distribuição estatística do latente.
3. Modelo de Entropia: Estima a distribuição de probabilidade para codificação sem perdas.

Blocos Principais

A. Bloco Híbrido Convolution–Frequency State Space (HCFSS)
Utilizado tanto na transformação principal quanto no caminho de hiperpriori, este bloco divide os canais de características em duas ramificações paralelas:

• Ramificação CNN: Utiliza convoluções para refinar detalhes espaciais locais (viés indutivo local).
• Ramificação VFSS (Vision Frequency State Space): Responsável pela agregação contextual de longo alcance.

B. Módulo de Espaço de Estados de Vizinhança Omni-direcional (VONSS)
Para resolver o problema da perda de continuidade espacial nos SSMs:

• Em vez de varrer apenas horizontal e verticalmente, o VONSS varre as características em oito direções: horizontal, vertical, diagonal e anti-diagonal (incluindo seus reversos).
• Isso alinha a distância sequencial com a proximidade euclidiana, preservando melhor as relações de vizinhança 2D, especialmente as dependências diagonais.

C. Módulo de Modulação de Frequência Adaptativa (AFMM)
Introduz modulação consciente de frequência dentro do bloco VFSS:

• Aplica uma Transformada Discreta de Cosseno (DCT) fixa e ortogonal em janelas locais das características.
• Utiliza uma convolução profunda (depthwise convolution) para aprender pesos adaptativos que reponderam os coeficientes de frequência.
• Aplica a IDCT para retornar ao domínio espacial.
• Vantagem: Permite a seleção de frequências orientada à compressão sem aprender uma nova base, mantendo o módulo leve e estável.

D. Módulo de Atenção Swin Transformer em Frequência (FSTAM)
Utilizado no caminho de hiperpriori para refinar as informações laterais:

• Combina um bloco Swin Transformer com o módulo AFMM.
• Aplica modulação de frequência dentro das janelas de atenção, melhorando a modelagem das estatísticas latentes para uma estimativa de taxa (bitrate) mais precisa.

3. Contribuições Chave

1. Arquitetura Híbrida Compacta: Propõe o HCFSSNet, que unifica modelagem local (CNN), modelagem de contexto de longo alcance (SSM) e modulação de frequência em um único framework, evitando a complexidade quadrática dos Transformers.
2. VONSS (Varredura Omni-direcional): Desenvolve um módulo de varredura que cobre direções diagonais, superando as limitações das estratégias de varredura 2D convencionais em SSMs visuais.
3. Modulação de Frequência Integrada: Introduz o AFMM não apenas na transformação principal, mas também no caminho de hiperpriori (via FSTAM), permitindo refinamento de frequência tanto para representação de características quanto para modelagem de informações laterais.
4. Eficiência de Parâmetros: Demonstra que é possível alcançar desempenho competitivo com um número menor de parâmetros em comparação com modelos de alta capacidade (como MambaIC e MLIC++).

4. Resultados Experimentais

O modelo foi avaliado nos conjuntos de dados Kodak, Tecnick e CLIC Professional Validation.

• Desempenho Taxa-Distorção (Rate-Distortion):
  • O HCFSSNet superou consistentemente o codec de referência VTM (Versatile Video Coding) em todos os conjuntos de dados.
  • Economias de taxa (BD-rate) em relação ao VTM: 18,06% (Kodak), 24,56% (Tecnick) e 22,44% (CLIC).
  • O desempenho é competitivo com os modelos mais recentes baseados em SSM e Transformer, embora modelos de maior capacidade (como MambaIC) tenham ligeiramente melhor desempenho absoluto em alguns casos.
• Eficiência de Parâmetros:
  • O HCFSSNet possui 80,97 milhões de parâmetros, sendo significativamente menor que o MLIC++ (116,72M) e o MambaIC (123,81M), mantendo um desempenho de compressão muito próximo.
• Estudos de Ablação:
  • A substituição da varredura cruzada (CSM) pelo VONSS resultou em ganhos de PSNR consistentes.
  • A adição do AFMM trouxe melhorias na relação taxa-qualidade, reduzindo a taxa de bits em 1-4% para a mesma qualidade.
  • O FSTAM no hiperpriori forneceu melhorias estáveis, embora modestas, sobre o mecanismo de atenção Swin padrão.
• Visualização: As imagens reconstruídas mostram melhor preservação de bordas finas, texturas repetidas e estruturas de linhas em comparação com outros métodos.

5. Significado e Conclusão

O trabalho do HCFSSNet é significativo por oferecer um ponto de equilíbrio (trade-off) otimizado no espaço de design da Compressão de Imagem Aprendida:

• Compromisso: O modelo não busca ser o absoluto mais rápido (latência) nem o que tem a menor taxa de bits absoluta (usando arquiteturas massivas). Em vez disso, foca em uma arquitetura híbrida compacta que integra as melhores propriedades de CNNs, SSMs e análise de frequência.
• Inovação Técnica: Resolve a incompatibilidade entre a ordem de varredura sequencial e a vizinhança espacial 2D através da varredura omni-direcional e integra a frequência de forma nativa tanto na representação quanto na estimativa de entropia.
• Futuro: Os autores indicam que o próximo passo é desenvolver variantes mais leves para cenários de baixa latência e estender a abordagem para compressão de vídeo.

Em resumo, o HCFSSNet demonstra que a combinação inteligente de convolução local, varredura de estado de estado multi-direcional e modulação de frequência adaptativa pode produzir codecs de imagem aprendida altamente eficientes e competitivos sem a necessidade de modelos excessivamente grandes.