Adaptive Learned Image Compression with Graph Neural Networks

1. O Problema

A compressão de imagem aprendida (LIC) baseada em Redes Neurais Convolucionais (CNNs) e Transformers (especialmente com atenção baseada em janelas) enfrenta limitações fundamentais devido à sua rigidez estrutural:

• Campos Receptivos Fixos: CNNs e mecanismos de atenção em janelas operam com conectividade estática e campos receptivos fixos (ex: kernels $k \times k$ ou blocos pré-definidos).
• Conectividade Euclidiana Rígida: Esses métodos conectam pixels baseados apenas na proximidade no espaço euclidiano. Isso pode acoplar características não redundantes (pixels próximos, mas semanticamente diferentes) e falhar em capturar redundâncias de longo alcance que não estão dentro da janela fixa.
• Incapacidade de Adaptação Espacial: Imagens naturais possuem redundância não uniforme (regiões suaves têm alta redundância, enquanto texturas e bordas têm baixa redundância). Modelos estáticos não conseguem adaptar dinamicamente sua capacidade de processamento a essas variações espaciais, limitando a eficiência da compressão.

2. Metodologia Proposta: GLIC

Os autores propõem o GLIC (Graph-based Learned Image Compression), um framework que utiliza Redes Neurais em Grafos (GNNs) para criar conectividade adaptativa e dependente de dados. O núcleo da metodologia é o bloco de Agregação de Características Baseada em Grafos (GFA), que opera em duas etapas principais:

A. Grafos de Dupla Escala (Dual-Scale Graphs)

Para superar a limitação de campos receptivos fixos, o modelo constrói grafos que combinam duas escalas de vizinhança para cada nó (pixel):

1. Amostragem Local Densa: Coleta candidatos em uma janela fixa ao redor do pixel (similar a CNNs), capturando estruturas de baixo nível e detalhes finos.
2. Amostragem Global Esparsa: Utiliza uma grade de malha (mesh-grid) inspirada em convoluções dilatadas para selecionar pontos esparsos em todo o image. Isso permite capturar dependências de longo alcance sem o custo computacional quadrático de um grafo totalmente conectado.

• Resultado: Um campo receptivo flexível que pode acessar tanto detalhes locais quanto contexto global.

B. Orçamento de Grau Adaptativo (Complexity-Aware Degree Budgeting)

Em vez de fixar o número de vizinhos para todos os pixels, o GLIC atribui uma "cota" de vizinhos baseada na complexidade local:

• Métrica de Complexidade (RMS-Gradient): Utiliza o operador Sobel para calcular gradientes e determinar a complexidade local de cada pixel. Regiões com alta variação (bordas, texturas) recebem pontuações mais altas.
• Alocação Dinâmica: Pixels complexos recebem um número maior de vizinhos (maior grau de entrada) para agregar mais informações e eliminar redundância. Regiões suaves recebem menos vizinhos, evitando conexões desnecessárias.
• Construção do Grafo: Para cada nó, seleciona-se os vizinhos candidatos com maior similaridade de cosseno até atingir a cota definida pela complexidade, utilizando uma busca por bisseção para determinar o limiar ótimo.

C. Agregação de Características

O modelo atualiza as características dos nós através de uma agregação condicionada às arestas, ponderada pela similaridade entre os nós conectados, permitindo que a rede aprenda a eliminar redundâncias de forma não linear e adaptativa.

3. Principais Contribuições

1. Conectividade Adaptativa: Introdução de um mecanismo que permite que cada pixel selecione seus vizinhos relevantes tanto de regiões próximas quanto distantes, rompendo com a rigidez das janelas fixas.
2. Mecanismo de Pontuação de Complexidade: Desenvolvimento de uma função de pontuação baseada em gradientes (RMS-Gradient) que determina dinamicamente o "grau" de conexão ideal para cada nó, alocando mais capacidade computacional para regiões estruturalmente complexas.
3. Eficiência Computacional: O modelo consegue um campo receptivo quase global com complexidade linear ($O(N)$), evitando o custo quadrático ($O(N^2)$) de Transformers globais ou GNNs totalmente conectados.
4. Desempenho State-of-the-Art (SOTA): O GLIC supera significativamente codecs tradicionais e métodos aprendidos recentes.

4. Resultados Experimentais

O GLIC foi avaliado nos conjuntos de dados Kodak, Tecnick e CLIC, comparado ao codec de referência VTM-9.1 (H.266/VVC) e a outros métodos LIC de ponta (como FTIC, MambaIC, TCM-L).

• Redução de Taxa-Bit (BD-rate):
  • Kodak: -19,29% em relação ao VTM-9.1.
  • Tecnick: -21,69% em relação ao VTM-9.1.
  • CLIC: -18,71% em relação ao VTM-9.1.
• Eficiência: O modelo apresenta um compromisso superior entre desempenho e complexidade. Comparado ao MambaIC (um dos métodos mais recentes), o GLIC reduz o número de parâmetros em 57,2%, FLOPs em 55,4% e latência de decodificação em 41,0%, mantendo ou superando o desempenho em qualidade de imagem.
• Visualização de Campos Receptivos: As visualizações mostram que o GLIC possui campos receptivos efetivos (ERF) maiores e adaptativos. Diferente de métodos anteriores que têm formas isotrópicas fixas, o GLIC foca em regiões semanticamente relevantes (ex: focando nas penas de um papagaio em vez de pixels próximos no fundo), alinhando-se melhor à percepção humana de redundância.

5. Significado e Impacto

Este trabalho representa um avanço significativo na teoria da compressão de imagem aprendida ao demonstrar que a rigidez da conectividade euclidiana é um gargalo para a modelagem de redundância.

• Mudança de Paradigma: Ao substituir janelas fixas por grafos dinâmicos baseados em conteúdo, o GLIC prova que a modelagem de redundância pode ser tanto global quanto localmente adaptativa sem sacrificar a eficiência computacional.
• Aplicabilidade: A abordagem oferece uma rota viável para codecs de próxima geração que precisam lidar com imagens de alta resolução e conteúdo complexo, equilibrando alta taxa de compressão com baixa latência de processamento.
• Reprodutibilidade: O código será disponibilizado publicamente, fomentando pesquisas futuras em arquiteturas baseadas em grafos para visão computacional.

Em resumo, o GLIC supera as limitações das CNNs e Transformers tradicionais ao introduzir uma conectividade "inteligente" que se adapta à complexidade da imagem, resultando em compressão mais eficiente e de maior qualidade.