An FPGA Implementation of Displacement Vector Search for Intra Pattern Copy in JPEG XS

Este artigo propõe uma arquitetura FPGA pipeline otimizada para a busca de vetores de deslocamento na ferramenta de cópia de padrão intra (IPC) do JPEG XS, alcançando um alto rendimento e baixo consumo energético que viabiliza sua implementação prática em hardware.

O essencial

Imagine que você está tentando enviar uma foto muito detalhada da sua tela de computador (como um jogo ou um vídeo) para um amigo, mas a internet é lenta e você precisa que a imagem chegue instantaneamente, sem travar. Para isso, usamos uma técnica chamada JPEG XS, que é como um "empacotador" super rápido de imagens.

Dentro desse empacotador, existe um truque inteligente chamado Cópia de Padrão Interno (IPC). A ideia é simples: em vez de enviar a imagem inteira de novo, o sistema olha para uma parte da imagem e diz: "Ei, essa parte aqui parece muito com aquela parte de cima! Vou apenas copiar e colar, ajustando um pouquinho".

Mas aqui está o problema: onde exatamente está aquela parte parecida? O sistema precisa procurar em milhares de lugares diferentes para encontrar o melhor "copiador". Essa busca é chamada de Busca do Vetor de Deslocamento (DV).

O Problema: A Procura Cansativa

Fazer essa busca manualmente (ou com um software comum) é como tentar achar uma agulha num palheiro, mas você precisa fazer isso milhares de vezes por segundo. É tão pesado que os computadores comuns ficam lentos, e a imagem começa a travar. É como tentar encontrar o melhor caminho em um labirinto gigante enquanto corre contra o tempo.

A Solução: O "Fábrica de Busca" em Chip

Os autores deste artigo criaram um chip especial (FPGA) que funciona como uma linha de montagem super rápida para resolver esse problema. Eles transformaram a busca lenta em uma operação de alta velocidade.

Aqui está como eles fizeram isso, usando analogias do dia a dia:

1. A Linha de Montagem (Arquitetura Pipeline)

Em vez de uma pessoa fazer todo o trabalho sozinha (procurar, calcular, comparar, decidir), eles criaram uma linha de montagem de 4 etapas.

• Estágio 1: A peça chega na esteira.
• Estágio 2: Enquanto a primeira peça é calculada, a segunda já entra na esteira.
• Estágio 3 e 4: O processo continua sem parar.
  Isso significa que, em vez de esperar um trabalho terminar para começar o próximo, o chip processa várias buscas ao mesmo tempo, como uma equipe de chefs em uma cozinha onde um corta, outro tempera e outro frita, tudo simultaneamente.

2. A Biblioteca Organizada (Memória Otimizada)

Antes, os dados estavam guardados de um jeito bagunçado na memória do computador. Era como tentar encontrar um livro em uma biblioteca onde os livros estão espalhados pelo chão, misturados por autor, ano e cor da capa. Você precisava correr de um lado para o outro para pegar tudo.

Os autores reorganizaram a "biblioteca". Agora, os dados estão guardados em caixas organizadas por grupos. É como se, em vez de procurar livro por livro, você pegasse uma caixa inteira que já contém todos os livros de um mesmo autor, prontos para serem usados. Isso economiza tempo de "corrida" e deixa o chip mais rápido.

3. O "Olho" Rápido (Comparação de Padrões)

O chip tem um mecanismo especial que compara a imagem original com a imagem copiada e calcula instantaneamente qual é a melhor opção, sem precisar de cálculos complexos demais. É como ter um juiz que, ao ver duas fotos, diz imediatamente: "Essa aqui é 99% igual, use essa!".

Os Resultados: Velocidade e Eficiência

O resultado dessa "fábrica" é impressionante:

• Velocidade: O chip consegue processar 38,3 milhões de pixels por segundo. É como se ele conseguisse analisar e organizar uma imagem de alta definição em uma fração de segundo.
• Energia: Ele faz isso consumindo pouquíssima energia (apenas 277 miliwatts), o que é como a energia de uma pequena lâmpada LED. Isso é crucial para dispositivos portáteis ou sistemas que não podem esquentar muito.

Por que isso importa?

Antes desse trabalho, a tecnologia de cópia de padrões (IPC) era muito lenta para ser usada em tempo real em hardware. Agora, com esse chip, é possível ter imagens de alta qualidade, sem atrasos (latência zero) e com baixo consumo de energia.

Isso abre portas para:

• Controle remoto de computadores: Você pode controlar um PC de outro país sem sentir o atraso.
• Transmissão de vídeo ao vivo: Transmissões de jogos ou eventos esportivos com qualidade de cinema, mas sem travar.
• Futuro: Como o chip é eficiente, ele serve de modelo para criar chips ainda menores e mais baratos no futuro (ASIC), que podem estar dentro de seus dispositivos no dia a dia.

Em resumo: Os autores pegaram um problema de busca difícil e lento e transformaram em uma linha de montagem rápida e organizada, permitindo que a tecnologia de compressão de imagem funcione perfeitamente em tempo real, sem gastar muita bateria.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo em português:

Título: Uma Implementação em FPGA de Busca de Vetor de Deslocamento para Cópia de Padrão Intra em JPEG XS

1. Problema

O padrão de compressão de imagem JPEG XS foi desenvolvido para aplicações de baixa latência e baixa complexidade, como desktop remoto e KVM. Para melhorar a eficiência de codificação em conteúdo de tela, foi introduzida a ferramenta Cópia de Padrão Intra (IPC - Intra Pattern Copy). O IPC realiza compensação de predição no domínio das wavelets, agrupando coeficientes espaciais e de frequência para reduzir redundância.

No entanto, o módulo de Busca de Vetor de Deslocamento (DV Search) dentro do IPC é computacionalmente intensivo. Ele precisa iterar sobre todos os possíveis deslocamentos de predição para encontrar o vetor ótimo que minimize o custo de codificação. Essa complexidade e a necessidade de baixa latência tornam a implementação em hardware (especialmente em tempo real) um gargalo crítico, dificultando o uso prático do IPC em sistemas embarcados. Além disso, as soluções existentes para estimativa de movimento (como em H.264/HEVC) não são adequadas para o fluxo de predição agrupada e no domínio da frequência específico do JPEG XS.

2. Metodologia

Os autores propõem uma arquitetura de hardware otimizada baseada em FPGA para acelerar o módulo de busca de DV. A solução envolve duas inovações principais:

• Arquitetura Pipeline de Quatro Estágios:

  • O sistema é dividido em dois motores principais: Cálculo de Resíduos e Comparação de DV.
  • Cálculo de Resíduos: Recupera coeficientes de wavelet originais e reconstruídos da memória externa (DRAM), calcula os resíduos (diferenças) e os armazena em buffers FIFO on-chip.
  • Comparação de DV: Avalia o custo de bits (baseado na contagem de planos de bits dos resíduos) para cada candidato de DV. A arquitetura utiliza um pipeline de quatro estágios (0 a 3) para processar dados em paralelo:
    1. Estágio 0: Carregamento de dados e geração de parâmetros de configuração.
    2. Estágio 1: Cálculo de máscaras de OR bit a bit sobre os resíduos do grupo.
    3. Estágio 2: Cálculo do custo GCLI (Global Cost of Lossless Intra) baseado nas máscaras.
    4. Estágio 3: Comparação do custo atual com o melhor custo histórico para atualizar o DV ótimo.
  • Isso permite o processamento paralelo de múltiplos grupos IPC com baixa latência.

• Organização Otimizada de Memória (Method 1):

  • Abordagens tradicionais (Method 0) armazenam dados baseados em "precintos" (blocos de imagem), o que resulta em acessos de memória dispersos e ineficientes para o IPC, que opera em grupos de coeficientes.
  • A proposta organiza a memória baseada em Grupos e Unidades IPC. Coeficientes do mesmo grupo são armazenados sequencialmente na DRAM.
  • Utiliza-se uma TLB (Translation Lookaside Buffer) on-chip para armazenar os tamanhos variáveis dos blocos de coeficientes, permitindo que o módulo de comando (CMD) gere endereços de forma eficiente sem cálculos complexos de endereço para cada sub-banda. Isso facilita acessos em rajada (burst) e reduz a complexidade de controle.

3. Principais Contribuições

1. Primeira Arquitetura FPGA para DV Search no JPEG XS: O artigo apresenta pela primeira vez uma implementação de hardware dedicada ao módulo de busca de DV no contexto do IPC do JPEG XS.
2. Design Pipeline Balanceado: Introdução de um design de quatro estágios que equilibra throughput e latência, permitindo computação de resíduos e comparação de DV em paralelo para múltiplos grupos.
3. Otimização de Memória Específica: Desenvolvimento de uma organização de memória e uma TLB on-chip que alinham os coeficientes de wavelet conforme os grupos IPC, resolvendo o problema de padrões de acesso dispersos e melhorando a eficiência de transferência de dados.
4. Fundação para ASIC: A arquitetura serve como um protótipo viável para futuras implementações em ASIC (Application-Specific Integrated Circuit).

4. Resultados Experimentais

A implementação foi realizada em um FPGA Xilinx Artix-7 (XC7A35T) operando a 100 MHz.

• Desempenho:
  • Throughput: Alcançou 38,3 Mpixels/s.
  • Latência: 73,01 ms (mantendo a compatibilidade com requisitos de baixa latência).
  • Consumo de Energia: 277 mW.
  • Eficiência Energética: 138,27 Mpixels/s/W (um aumento de 6,1% em relação à abordagem de base).
• Recursos (Utilização de Lógica):
  • O motor de comparação de DV (GCLI CAL + DV UPDATE) consome a maior parte dos recursos (11,63 K LUTs e 19,98 K FFs) devido à intensidade computacional do cálculo de custo.
  • Comparado à organização de memória tradicional (Method 0), a proposta (Method 1) reduziu o uso de LUTs em 7,5% e de FFs em 8,4%, com um aumento moderado no uso de BRAM (devido à TLB e buffers), demonstrando maior eficiência global.
• Qualidade: O desempenho de taxa-distorção (Rate-Distortion) foi consistente com o software de referência do IPC.

5. Significado

Este trabalho é fundamental para viabilizar a implementação prática do JPEG XS com a ferramenta IPC em hardware real. Ao resolver o gargalo computacional da busca de vetores de deslocamento através de uma arquitetura pipeline eficiente e uma organização de memória inteligente, os autores demonstram que é possível atingir altas taxas de processamento com baixo consumo de energia. Isso não apenas facilita a adoção do JPEG XS em aplicações de streaming de baixa latência, mas também estabelece uma base sólida para a migração futura para chips ASIC dedicados, essenciais para dispositivos embarcados e sistemas de transmissão de vídeo profissional.