An FPGA Implementation of Displacement Vector Search for Intra Pattern Copy in JPEG XS

Questo articolo presenta un'architettura FPGA pipeline ottimizzata per la ricerca del vettore di spostamento nello strumento Intra Pattern Copy di JPEG XS, che raggiunge una velocità di elaborazione di 38,3 Mpixels/s con un consumo di 277 mW, facilitando così l'implementazione hardware pratica di questa tecnica di compressione.

L'essenziale

Immagina di dover comprimere un video di un'azione frenetica, come un gioco di calcio o un'interfaccia di computer, per inviarlo istantaneamente a qualcuno senza che si blocchi. È come dover spedire una valigia piena di vestiti, ma devi farla entrare in una scatola minuscola senza strappare nulla.

Il JPEG XS è la "scatola magica" moderna progettata per questo: è veloce e leggera. Ma c'è un trucco speciale chiamato IPC (Copia del Pattern Interno).

Ecco come funziona il "trucco" e cosa hanno fatto gli autori di questo paper:

1. Il Problema: Trovare il "Doppione Perfetto"

Immagina che il tuo video sia un enorme muro fatto di mattoni colorati (i pixel). Spesso, in un'immagine, ci sono parti che si ripetono. Ad esempio, la manica della maglietta di un giocatore è identica a quella di un altro giocatore pochi centimetri più a destra.

L'IPC dice: "Ehi, non devo ridisegnare quella manica! Posso solo dire: 'Prendi la manica che c'è lì, spostala di 5 centimetri a destra e copiala'."

Per fare questo, il computer deve cercare nel muro dei mattoni un "doppione" perfetto. Questo processo di ricerca si chiama Ricerca del Vettore di Spostamento (DV Search).

• Il problema: Il computer deve controllare milioni di posizioni possibili per trovare il doppio perfetto. È come cercare un ago in un pagliaio, ma devi farlo in un millisecondo. Se ci pensi troppo, il video si blocca (latenza alta). Se usi un computer normale, diventa troppo lento. Serve un "super-ricercatore" fatto su misura.

2. La Soluzione: La Fabbrica a Nastro (FPGA)

Gli autori di questo studio hanno costruito un "super-ricercatore" usando un chip speciale chiamato FPGA (un chip che puoi riprogrammare come un LEGO).

Hanno progettato una fabbrica a nastro trasportatore (pipeline):

• Invece di far lavorare un solo operaio che controlla un mattone alla volta, hanno creato una catena di montaggio con 4 stazioni.
• Mentre la stazione 1 controlla il primo mattone, la stazione 2 sta già controllando il secondo, la stazione 3 il terzo e così via.
• Il risultato: Il computer non si ferma mai. Controlla i "doppioni" in parallelo, velocizzando tutto il processo.

3. L'Intelligenza: L'Archivio Riordinato (Memoria Ottimizzata)

C'era però un altro problema. Immagina di avere un archivio di libri (i dati dell'immagine) sparsi in modo disordinato in un magazzino enorme. Per trovare un libro, dovresti correre da un lato all'altro del magazzino, perdendo tempo prezioso.

Nel vecchio metodo, i dati erano sparsi in base a "quartieri" (precincts).
Gli autori hanno detto: "No, organizziamo l'archivio in base a chi lo sta cercando!".
Hanno creato un nuovo sistema di archiviazione (Metodo 1) dove i libri simili sono messi uno accanto all'altro, raggruppati per "famiglia".

• L'analogia: È come se invece di avere i vestiti sparsi in tutto il guardaroba, avessi un armadio dove tutti i pantaloni sono in un cassetto, tutte le magliette in un altro, e sono già piegati e pronti.
• Il vantaggio: Il "super-ricercatore" può prendere tutti i vestiti che gli servono con un solo movimento, senza correre.

4. I Risultati: Veloci ed Efficienti

Grazie a questa fabbrica a nastro e al nuovo archivio ordinato, il loro sistema:

• È velocissimo: Riesce a processare 38,3 milioni di pixel al secondo (come guardare 38 film in HD contemporaneamente).
• Consuma poco: Usa pochissima energia (277 milliwatt), come una piccola lampadina LED.
• È pronto per il futuro: Hanno dimostrato che questo sistema può essere costruito anche su chip ancora più piccoli ed economici (ASIC) per essere usato nei televisori o nei router di domani.

In Sintesi

Questo paper racconta la storia di come gli scienziati abbiano preso un compito noioso e lentissimo (trovare i "doppioni" nelle immagini per comprimerle) e lo abbiano trasformato in una corsa a staffetta perfetta.
Hanno costruito una macchina (FPGA) che non si ferma mai e ha riorganizzato il magazzino dei dati per non perdere tempo a cercare. Il risultato? Video più fluidi, meno attese e un futuro dove lo streaming sarà istantaneo anche su dispositivi piccoli.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper in italiano, strutturato secondo le sezioni richieste.

Titolo: Implementazione FPGA della Ricerca del Vettore di Spostamento per la Copia di Pattern Intra in JPEG XS

1. Il Problema

Lo standard di compressione immagini JPEG XS è progettato per applicazioni a bassa latenza e bassa complessità, come il desktop remoto e i sistemi KVM. Per migliorare l'efficienza di codifica sui contenuti schermo, è stato introdotto lo strumento Intra Pattern Copy (IPC), che esegue previsioni di compensazione intra nel dominio delle ondelette (wavelet) per ridurre la ridondanza spaziale.

Il modulo critico dell'IPC è la ricerca del vettore di spostamento (Displacement Vector - DV search). Questo processo deve iterare su tutti i possibili offset di previsione per trovare quello che minimizza il costo di codifica complessivo. Tuttavia, questo modulo è estremamente intensivo dal punto di vista computazionale e delle risorse, rappresentando un collo di bottiglia significativo per la latenza e la complessità hardware.
Le implementazioni hardware esistenti per la stima del movimento (in standard come H.264 o HEVC) non sono direttamente applicabili perché:

• Operano su blocchi di pixel regolari, mentre l'IPC lavora su gruppi di coefficienti nel dominio delle ondelette.
• Non supportano i flussi di previsione specifici del JPEG XS, caratterizzati da pattern di accesso alla memoria dispersi e dimensioni di blocco variabili.
• La mancanza di un'architettura hardware ottimizzata per l'IPC ha finora ostacolato il suo dispiegamento pratico in sistemi real-time.

2. Metodologia

Gli autori propongono un'architettura hardware FPGA pipeline ottimizzata per il modulo di ricerca del DV, composta da due motori principali e una nuova organizzazione della memoria:

• Architettura Pipeline a 4 Stadi:
  Il sistema è diviso in due motori principali:

  1. Motore di Calcolo dei Residui: Recupera i dati dei coefficienti dalle memorie esterne (DRAM), calcola i residui (differenza tra coefficienti originali e ricostruiti) e li invia al motore di confronto. Utilizza buffer FIFO (Q0-Q3 per i dati originali, C0-C3 per i ricostruiti) per gestire il flusso dati sincronizzato.
  2. Motore di Confronto DV: Valuta il costo in bit di ciascun residuo per determinare il DV ottimale. La pipeline è strutturata in quattro stadi:
     • Stadio 0: Caricamento dei dati e generazione dei parametri di configurazione (indice di banda, dimensione gruppo).
     • Stadio 1: Calcolo della maschera bitwise OR sui residui del gruppo.
     • Stadio 2: Calcolo del costo GCLI (Global Cost per Level of Information) basato sulla maschera.
     • Stadio 3: Confronto del costo corrente con il minimo storico e aggiornamento del DV ottimale.

• Organizzazione Ottimizzata della Memoria (Method 1):
  Per affrontare la natura dispersa dei coefficienti delle ondelette, gli autori abbandonano l'approccio tradizionale basato su "precinct" (Method 0). Propongono invece un'organizzazione allineata ai Gruppi e alle Unità IPC (Method 1):

  • I coefficienti sono memorizzati sequenzialmente per Gruppo IPC e Unità IPC, raggruppando tutti i blocchi delle sotto-bande pertinenti.
  • Viene introdotto un Translation Lookaside Buffer (TLB) on-chip per memorizzare le dimensioni variabili dei blocchi di coefficienti.
  • Questo approccio permette di caricare tutti i blocchi di un'Unità IPC con un singolo indirizzo di base più un offset fisso, eliminando la necessità di calcoli di indirizzo complessi e favorendo accessi burst alla memoria.

3. Contributi Chiave

1. Prima Architettura FPGA per DV Search in JPEG XS: È la prima proposta di un'architettura hardware dedicata specificamente al modulo di ricerca del DV nel framework IPC di JPEG XS.
2. Design Pipeline Bilanciato: Introduzione di un design a quattro stadi che bilancia throughput e latenza, permettendo il calcolo parallelo dei residui e il confronto dei DV su più gruppi IPC.
3. Ottimizzazione della Memoria: Sviluppo di una nuova organizzazione della memoria (Method 1) combinata con un TLB on-chip, che risolve i problemi di accesso disperso ai coefficienti delle ondelette, riducendo la complessità di controllo e aumentando l'efficienza del trasferimento dati.

4. Risultati Sperimentali

L'implementazione è stata realizzata su un FPGA Xilinx Artix-7 (XC7A35T) a 100 MHz.

• Prestazioni:
  • Throughput: 38,3 Mpixels/s.
  • Potenza: 277 mW.
  • Efficienza Energetica: 138,27 Mpixels/s/W (un miglioramento del 6,1% rispetto alla baseline).
  • Latenza: 73,01 ms (mantenendo prestazioni di distorsione-rate coerenti con il software di riferimento).
• Utilizzo delle Risorse:
  • Rispetto alla baseline (Method 0), l'architettura proposta riduce l'uso di LUT del 7,5% e di Flip-Flop (FF) dell'8,4%, con un moderato aumento dell'uso di BRAM (da 11 a 15).
  • Il modulo di calcolo del costo (GCLI CAL) è il principale consumatore di risorse (11,63 K LUTs, 19,98 K FFs, 17 DSPs), a causa della natura intensiva del calcolo dei costi di codifica.

5. Significato e Impatto

Questo lavoro dimostra la fattibilità pratica dell'implementazione hardware dello strumento IPC, che era precedentemente considerato troppo complesso per sistemi real-time a bassa latenza.

• Abilitazione dell'IPC Hardware: Fornisce la base necessaria per integrare l'IPC in sistemi reali per desktop remoto e KVM, migliorando significativamente l'efficienza di compressione dei contenuti schermo.
• Ponte verso l'ASIC: L'architettura proposta, con la sua ottimizzazione del flusso dati e della memoria, costituisce un fondamento promettente per future implementazioni su ASIC, dove l'efficienza energetica e l'area sono critiche.
• Innovazione nel Dominio delle Ondelette: Dimostra come le tecniche di compressione nel dominio delle ondelette possano essere accelerate efficacemente tramite hardware dedicato, superando le limitazioni delle architetture tradizionali basate su blocchi di pixel.