An FPGA Implementation of Displacement Vector Search for Intra Pattern Copy in JPEG XS

Dit artikel presenteert een efficiënt gepipelined FPGA-architectuur voor de verplaatsingsvectorzoekmodule van de Intra Pattern Copy-tool in JPEG XS, die door geoptimaliseerd geheugendesign een hoge doorvoer van 38,3 Mpixels/s bij laag stroomverbruik bereikt en zo de praktische hardware-implementatie mogelijk maakt.

De kern

Stel je voor dat je een heel groot, ingewikkeld raadsel moet oplossen: hoe kun je een digitale foto zo klein mogelijk maken, zonder dat het beeld er slechter uitziet? Dit is wat compressie-algoritmen doen.

Deze paper gaat over een nieuwe, slimme manier om dit te doen voor JPEG XS, een standaard die is ontworpen om beelden razendsnel en met weinig rekenkracht te verwerken. Denk aan live-streams van games of videobellen, waar elke milliseconde telt.

Hier is de uitleg in gewoon Nederlands, met een paar leuke vergelijkingen:

1. Het Probleem: De "Zoektocht"

In de nieuwe JPEG XS-standaard is er een slimme truc genaamd IPC (Intra Pattern Copy).

• De vergelijking: Stel je voor dat je een muur vol tegels hebt. De meeste tegels zijn identiek aan die ernaast. In plaats van elke tegel opnieuw te tekenen, zeg je gewoon: "Die tegel daar is precies hetzelfde als die ene daar, maar dan 5 plekken naar links."
• De taak: De computer moet zoeken naar die "5 plekken naar links". Dit heet de Displacement Vector (DV) search.
• Het probleem: De computer moet elke mogelijke plek controleren om te zien welke het beste past. Dit is als het zoeken naar een speld in een hooiberg, maar dan met miljarden hooibergen. Het kost enorm veel tijd en energie, waardoor het moeilijk is om dit op een snelle chip (zoals in een camera of tv) te bouwen.

2. De Oplossing: Een Slimme Fabriek (FPGA)

De auteurs van dit paper hebben een speciale chip-ontwerp gemaakt (een FPGA) om deze zoektocht veel sneller en efficiënter te maken. Ze hebben twee grote verbeteringen bedacht:

A. De Assemblagelijn (Pipelining)

Stel je een fabriek voor waar dozen worden verpakt.

• Oude manier: Je pakt één doos, meet hem, verpakt hem, en wacht tot hij klaar is voordat je de volgende pakt.
• Nieuwe manier (Pipelining): Ze hebben een assemblagelijn gebouwd. Terwijl Doos 1 wordt verpakt, wordt Doos 2 al gemeten, terwijl Doos 3 wordt aangeleverd. Alles gebeurt tegelijkertijd in verschillende "stadia".
• Het resultaat: De chip kan razendsnel door de opties heen gaan zonder te wachten. Het is alsof ze van een solist een heel orkest hebben gemaakt.

B. De Slimme Opbergkast (Geheugen)

Dit is misschien wel het slimste deel.

• Het probleem: De gegevens (de tegels) lagen in de computergeheugen verspreid, alsof je boeken in een bibliotheek had gelegd waarbij alle boeken van auteur A op de eerste verdieping staan, maar de boeken van auteur B op de zolder, en die van C in de kelder. Om ze te vinden, moet je constant de trappen op en af rennen.
• De oplossing: Ze hebben de "boeken" (de gegevens) herschikt. Nu staan alle boeken die bij elkaar horen (bijvoorbeeld alle tegels die bij één patroon horen) netjes op één plank, precies in de volgorde waarin ze nodig zijn.
• De "Vertaalbureau" (TLB): Ze hebben ook een klein notitieboekje (een TLB) op de chip zelf. Hierin staat precies geschreven: "Als je naar groep 3 wilt, ga dan naar plank 5." Hierdoor hoeft de chip niet meer te rekenen om te weten waar de gegevens staan; hij pakt ze gewoon direct.

3. De Resultaten: Snel en Zuinig

Hoe werkt het in de praktijk?

• Snelheid: Hun ontwerp kan 38,3 miljoen pixels per seconde verwerken. Dat is razendsnel.
• Energie: Het verbruikt heel weinig stroom (ongeveer 277 milliwatt). Dat is minder dan een klein LED-lampje.
• Conclusie: Ze hebben bewezen dat je deze complexe zoektocht op een kleine, goedkope chip kunt uitvoeren zonder dat het de batterij van je apparaat direct leegtrekt.

Samenvatting

Kortom: De auteurs hebben een manier bedacht om een erg moeilijke en trage zoekopdracht in beeldcompressie om te zetten in een soepele, snelle assemblagelijn. Door de gegevens slim te ordenen en alles tegelijkertijd te laten werken, maken ze het mogelijk dat toekomstige camera's, schermen en streaming-apparaten beelden veel efficiënter en sneller kunnen verwerken. Het is de sleutel om beelden van hoge kwaliteit te sturen zonder dat je internet of batterij het begeeft.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "An FPGA Implementation of Displacement Vector Search for Intra Pattern Copy in JPEG XS", geschreven in het Nederlands.

Probleemstelling

De paper adresseert de uitdagingen bij de hardware-implementatie van de Intra Pattern Copy (IPC) tool, een nieuw hulpmiddel in de JPEG XS-compressiestandaard. JPEG XS is ontworpen voor lage latentie en lage complexiteit, met name voor toepassingen zoals remote desktops en KVM-systemen.

• De Kern: IPC vermindert ruimtelijke redundantie in scherminhoud door golflet-domein (wavelet-domain) intra-compensatie te gebruiken.
• De Bottleneck: Het cruciale onderdeel van IPC is de Displacement Vector (DV) search. Deze module moet de optimale voorspellingsreferentie-offset vinden door alle mogelijke kandidaten te doorlopen.
• Uitdaging: Dit proces is extreem rekenintensief, vereist veel resources en is gevoelig voor latentie. Bestaande hardware-oplossingen voor bewegingsschatting (zoals in H.264/HEVC) zijn niet geschikt voor de specifieke, gegroepeerde en frequentiedomein-georiënteerde voorspellingsflow van JPEG XS IPC. Dit belemmert de praktische implementatie in real-time hardware-systemen.

Methodologie

De auteurs stellen een geoptimaliseerde, gepipelineerde FPGA-architectuur voor om de DV-search-module te versnellen. De aanpak bestaat uit twee hoofdpilaren:

1. Gegevensverwerkingsarchitectuur (Pipelining):

   • Het ontwerp is opgedeeld in een vier-staps pipeline die de verwerking van residuen en de vergelijking van DV's paralleliseert.
   • Residue Calculation Engine: Haalt golflet-coëfficiënten op uit het geheugen, berekent bloksgewijze residuen (verschil tussen origineel en gereconstrueerd) en stroomt deze door.
   • DV Comparison Engine: Evalueert de bit-kost van elk residu. Dit gebeurt via een vier-staps proces:
     • Stap 0: Invoer van residuen en generatie van parameters (zoals band-index en groepsgrootte).
     • Stap 1: Berekening van een bit-wise OR-masker over de groep.
     • Stap 2: Berekening van de GCLI (Grouped Coefficient Level Information) kost, wat een schatting is van het aantal bits nodig voor codering.
     • Stap 3: Vergelijking van de huidige kost met de historische minimumkost om de beste DV te selecteren.
   • De architectuur ondersteunt parallelle verwerking over meerdere IPC-groepen en units.

2. Geoptimaliseerde Geheugenorganisatie:

   • Een naïeve aanpak (Method 0) slaat data op per "precinct" (beeldgebied), wat leidt tot verspreide toegang tot golflet-coëfficiënten uit verschillende sub-banden. Dit vereist complexe adresberekeningen en verlaagt de doorvoer.
   • De auteurs introduceren Method 1: Een nieuwe geheugenorganisatie waarbij coëfficiënten worden opgeslagen en geordend per IPC Group en IPC Unit, in plaats van per precinct.
   • Dit maakt het mogelijk om alle blokken van een IPC Unit te laden met één basisadres plus een vaste offset.
   • Een On-chip Translation Lookaside Buffer (TLB) wordt gebruikt om de variabele blokgroottes van verschillende groepen op te slaan, wat de adresgeneratie vereenvoudigt en burst-toegang tot DRAM mogelijk maakt.

Belangrijkste Bijdragen

1. Eerste FPGA-architectuur voor DV-search in JPEG XS IPC: Het paper presenteert voor het eerst een specifieke hardware-architectuur voor dit module, met een vier-staps pipeline die doorvoer en latentie in balans brengt.
2. Nieuwe Geheugenorganisatie: De introductie van een geheugenstructuur die is afgestemd op de groepsgewijze aard van IPC, gecombineerd met een TLB voor variabele blokgroottes, elimineert complexe adresberekeningen en verbetert de geheugenefficiëntie.
3. Hardware-Ready Ontwerp: Het ontwerp is specifiek gericht op praktische implementatie en legt de basis voor toekomstige ASIC-deployments.

Experimentele Resultaten

De implementatie is getest op een Xilinx Artix-7 (XC7A35T) FPGA bij een kloksnelheid van 100 MHz.

• Doorvoer: Het systeem bereikt een doorvoer van 38,3 Mpixels/s.
• Vermogen: Het totale vermogensverbruik bedraagt 277 mW.
• Efficiëntie: De vermogensefficiëntie is 138,27 Mpixels/s/W.
• Vergelijking (Method 0 vs. Method 1):
  • De geoptimaliseerde geheugenorganisatie (Method 1) zorgt voor een 6,1% verbetering in vermogensefficiëntie ten opzichte van de baseline.
  • Er is een reductie in resourcegebruik: 7,5% minder LUTs en 8,4% minder Flip-Flops, ten koste van een gematigde toename in BRAM-gebruik (voor buffering).
• Latentie: De totale latentie bedraagt 73,01 ms, wat compatibel is met de eisen van lage-latentie toepassingen.
• Kwaliteit: De rate-distortion prestaties zijn consistent met de referentiesoftware van IPC.

Betekenis en Conclusie

Dit werk is significant omdat het de eerste stap is naar een haalbare hardware-implementatie van de computatie-intensieve DV-search module binnen de JPEG XS-standaard.

• Het bewijst dat complexe golflet-domein voorspellingsalgoritmen efficiënt kunnen worden uitgevoerd op FPGA's met een laag energieverbruik.
• De geoptimaliseerde geheugenarchitectuur lost het probleem van verspreide data-toegang op, wat essentieel is voor de prestaties van toekomstige compressiestandaarden.
• De resultaten bieden een solide fundament voor de ontwikkeling van dedicated ASIC-chips voor real-time, energie-efficiënte beeldcompressie in toepassingen zoals professionele video-over-netwerk en remote werkplekken.