An FPGA Implementation of Displacement Vector Search for Intra Pattern Copy in JPEG XS

Este artículo presenta un diseño eficiente y pipeline en FPGA para el módulo de búsqueda de vectores de desplazamiento de la herramienta de Copia de Patrón Intrínseco (IPC) en JPEG XS, logrando un alto rendimiento y bajo consumo energético que facilita su implementación práctica en hardware.

Lo esencial

Imagina que estás intentando enviar una foto por correo electrónico, pero tu conexión es muy lenta. Para que la foto llegue rápido, necesitas comprimirla (hacerla más pequeña) sin perder mucha calidad.

Aquí es donde entra JPEG XS, un estándar moderno diseñado para enviar imágenes casi al instante (como en videollamadas o juegos en la nube). Pero hay un truco: cuando la imagen es una captura de pantalla (como un escritorio de computadora con mucho texto y gráficos), los métodos normales de compresión no funcionan tan bien.

Para solucionar esto, los creadores de JPEG XS inventaron una herramienta llamada "Copia de Patrón Interno" (IPC).

¿Qué hace la "Copia de Patrón"? (La analogía del fotógrafo)

Imagina que estás tomando una foto de un escritorio lleno de ventanas.

1. El problema: Hay muchas ventanas idénticas o muy parecidas. En lugar de guardar los datos de cada ventana por separado (lo cual es pesado), la computadora dice: "¡Eh! Esa ventana de la esquina derecha es casi igual a la de la esquina izquierda, solo que movida un poco".
2. La solución (IPC): En lugar de guardar la imagen completa de la segunda ventana, solo guardas una nota que dice: "Copia la ventana de la izquierda y muévela 50 píxeles a la derecha".
3. El vector de desplazamiento (DV): Ese "50 píxeles a la derecha" es lo que llaman Vector de Desplazamiento.

El Gran Problema: Buscar la coincidencia perfecta

El problema es que la computadora tiene que buscar dónde está esa ventana idéntica. Tiene que mirar millones de lugares posibles en la imagen para encontrar el mejor "movimiento".

Hacer esto en un chip de computadora es como pedirle a un niño que busque una aguja en un pajar, pero tiene que revisar cada paja individualmente antes de poder decirte dónde está la aguja. Es un trabajo tan pesado y lento que, hasta ahora, era muy difícil hacerlo en tiempo real con hardware (chips físicos) sin que se calentara o se volviera lento.

La Solución de los Autores: Una Fábrica de Ensamblaje

Los autores de este artículo (del Instituto de Ciencia y Tecnología de China) diseñaron un chip especial (llamado FPGA) para hacer este trabajo de búsqueda mucho más rápido y eficiente.

Aquí te explico sus dos grandes ideas con analogías simples:

1. La Línea de Ensamblaje (Arquitectura Pipelined)

Antes, la computadora buscaba una coincidencia, la terminaba, y luego empezaba la siguiente. Era como un solo trabajador que pintaba una pared, se secaba las manos, y luego pintaba la siguiente.

Ellos diseñaron una línea de ensamblaje de 4 etapas.

• Imagina una cinta transportadora.
• En la etapa 1, un trabajador mide la diferencia.
• En la etapa 2, otro calcula el costo.
• En la etapa 3, otro compara.
• En la etapa 4, otro elige la mejor opción.
• La magia: Mientras el trabajador 4 elige la mejor opción para la ventana A, el trabajador 1 ya está midiendo la ventana B. ¡Todos trabajan al mismo tiempo! Esto hace que el proceso sea muchísimo más rápido.

2. El Organizador de Librería (Memoria Optimizada)

Imagina que tienes que buscar libros en una biblioteca.

• El método antiguo (Método 0): Los libros estaban ordenados por fecha de publicación en todo el edificio. Si querías todos los libros de "Historia", tenías que caminar por todo el edificio, subir escaleras y bajar otras, buscando en estantes dispersos. Era un caos y muy lento.
• El nuevo método (Método 1): Los autores reorganizaron la biblioteca. Ahora, todos los libros de "Historia" están juntos en un solo estante, y todos los de "Ciencia" en otro.
• En términos técnicos, en lugar de guardar los datos de la imagen por "cuadrantes grandes" (precintos), los guardaron agrupados por el tipo de patrón que necesitan buscar. Esto permite que el chip lea la información de un solo tirón, como si fuera un tren que pasa por una estación sin frenar, en lugar de un coche que tiene que parar en cada semáforo.

¿Qué lograron?

Gracias a esta "línea de ensamblaje" y a esta "nueva organización de la biblioteca":

• Velocidad: Pueden procesar 38.3 millones de píxeles por segundo. ¡Es increíblemente rápido!
• Energía: Consumen muy poca energía (como una bombilla pequeña de 277 miliwatios), lo cual es vital para dispositivos portátiles o centros de datos que no quieren gastar una fortuna en electricidad.
• Futuro: Han demostrado que es posible poner esto en un chip real. Esto significa que pronto podríamos tener pantallas, cámaras y sistemas de video que usen esta tecnología para ser más rápidos y claros, sin necesidad de computadoras gigantescas.

En resumen: Crearon un "cerebro" de hardware especializado que busca patrones repetidos en las imágenes de forma súper rápida y ordenada, permitiendo que las imágenes de pantalla se envíen casi al instante sin perder calidad.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Implementación en FPGA de la Búsqueda de Vectores de Desplazamiento para la Copia de Patrones Intracuadro en JPEG XS

1. Planteamiento del Problema

El estándar de compresión de imágenes JPEG XS está diseñado para aplicaciones de baja latencia y baja complejidad, como escritorios remotos y sistemas KVM. Una herramienta clave para mejorar su eficiencia en contenido de pantalla es la Copia de Patrones Intracuadro (IPC, por sus siglas en inglés).

• Funcionamiento de IPC: Realiza predicciones de compensación en el dominio de las ondas (wavelet) para reducir la redundancia espacial. Agrupa los coeficientes en "Unidades IPC" e "Grupos IPC" basándose en dimensiones espaciales y de frecuencia.
• El Cuello de Botella: El módulo de búsqueda del vector de desplazamiento (DV) es el componente más intensivo en cómputo, recursos y sensible a la latencia. Su función es iterar sobre todos los posibles desplazamientos de referencia para encontrar el que minimice el costo de codificación (calculado mediante el recuento de bits de los residuos).
• Desafío: La complejidad computacional de este proceso de búsqueda ha impedido su despliegue práctico en hardware en tiempo real (FPGA/ASIC), ya que las implementaciones existentes para estándares como H.264 o HEVC no son compatibles con el flujo de predicción agrupado y en dominio de frecuencia específico de JPEG XS.

2. Metodología

Los autores proponen una arquitectura de hardware optimizada basada en FPGA para acelerar el módulo de búsqueda de DV. La solución se divide en dos pilares principales:

A. Arquitectura de Hardware Pipelined (En cuatro etapas)
Se diseñó un sistema compuesto por dos motores principales:

1. Motor de Cálculo de Residuos:
   • Recupera unidades de coeficientes originales y reconstruidos desde la memoria DRAM.
   • Utiliza colas (FIFOs) para gestionar datos de múltiples grupos (Q0-Q3 para datos originales, C0-C3 para datos reconstruidos).
   • Calcula residuos firmados en paralelo mediante cuatro rutas de sustracción para manejar diferentes combinaciones de signos.
2. Motor de Comparación de DV:
   • Evalúa el costo de bits de cada unidad de residuo para seleccionar el mejor DV.
   • Implementa un pipeline de cuatro etapas:
     • Etapa 0: Carga de datos y generación de parámetros de configuración (índices de banda, tamaño de grupo).
     • Etapa 1: Cálculo de una máscara de OR bit a bit sobre los residuos del grupo.
     • Etapa 2: Cálculo del costo GCLI (Global Cost of Lossless Information) a nivel de bit.
     • Etapa 3: Comparación del costo actual con el mejor costo histórico para actualizar el DV óptimo.

B. Organización Optimizada de Memoria
Para abordar el patrón de acceso disperso de los coeficientes de wavelet, se propone un nuevo esquema de organización de memoria (Método 1) en contraste con el enfoque tradicional basado en "precintos" (Método 0):

• Alineación por Grupos IPC: En lugar de almacenar datos por precintos, los coeficientes se organizan secuencialmente por Grupos IPC y Unidades.
• Ventaja: Esto permite cargar todos los bloques de una unidad IPC utilizando una sola dirección base más un desplazamiento fijo, eliminando la necesidad de cálculos de dirección complejos para cada sub-banda.
• TLB On-Chip: Se implementa una Translation Lookaside Buffer (TLB) en el chip para almacenar los tamaños variables de los bloques de coeficientes, facilitando el acceso ráfaga (burst) a la memoria externa.

3. Contribuciones Clave

1. Primera Arquitectura FPGA para DV en JPEG XS: Se presenta el primer diseño de arquitectura FPGA específicamente para el módulo de búsqueda de DV dentro del marco de trabajo IPC de JPEG XS.
2. Diseño Pipelined de 4 Etapas: Se introduce un diseño que equilibra el rendimiento (throughput) y la latencia, permitiendo el cálculo de residuos y la comparación de DV en paralelo para múltiples grupos.
3. Optimización de Memoria: Desarrollo de una organización de memoria alineada a grupos e unidades IPC, combinada con una TLB on-chip, que reduce la complejidad de control y mejora la eficiencia de acceso a datos dispersos.
4. Fundamento para ASIC: El diseño no solo valida la implementación en FPGA, sino que establece una base sólida para futuras implementaciones en ASIC (Circuitos Integrados de Aplicación Específica).

4. Resultados Experimentales

La arquitectura se implementó en una FPGA Xilinx Artix-7 (XC7A35T) operando a 100 MHz.

• Rendimiento:
  • Throughput: Alcanzó 38.3 Mpixels/s.
  • Latencia: 73.01 ms (consistente con el software de referencia).
  • Consumo de Energía: 277 mW.
  • Eficiencia Energética: 138.27 Mpixels/s/W.
• Comparación con la Línea Base (Método 0 vs. Método 1):
  • La organización de memoria optimizada (Método 1) aumentó el throughput en un 6.1% (de 35.98 a 38.30 Mpixels/s) manteniendo un consumo de energía casi idéntico.
  • Reducción de Recursos: Se logró una reducción del 7.5% en LUTs y del 8.4% en Flip-Flops (FFs) en comparación con la organización de memoria tradicional, a cambio de un aumento moderado en el uso de bloques de memoria (BRAM).
• Uso de Recursos: El motor de comparación de DV (específicamente el módulo GCLI CAL) es el mayor consumidor de recursos lógicos (11.63 K LUTs y 19.98 K FFs) debido a la intensidad del cálculo de costos.

5. Significado e Impacto

Este trabajo es significativo porque:

• Habilita el Despliegue en Tiempo Real: Resuelve el cuello de botella computacional que impedía la implementación práctica de la herramienta IPC en hardware, haciendo viable su uso en sistemas de baja latencia como KVM y escritorio remoto.
• Eficiencia Energética y de Recursos: Demuestra que es posible lograr un alto rendimiento en hardware con un consumo de energía muy bajo (277 mW), lo cual es crucial para dispositivos embebidos y móviles.
• Innovación en Dominio de Frecuencia: A diferencia de las búsquedas de movimiento tradicionales en el dominio espacial, esta arquitectura está optimizada para el flujo de trabajo específico de coeficientes wavelet agrupados de JPEG XS.
• Preparación para el Futuro: Proporciona un modelo de referencia viable para la transición a implementaciones ASIC, facilitando la adopción industrial de JPEG XS con soporte avanzado para contenido de pantalla.