An FPGA Implementation of Displacement Vector Search for Intra Pattern Copy in JPEG XS

本文提出了一种针对 JPEG XS 标准中帧内模式复制（IPC）位移向量搜索的高效流水线 FPGA 架构，通过优化存储组织实现了 38.3 Mpixels/s 的高吞吐量和低功耗，为其实用化部署及 ASIC 实现奠定了基础。

要点

这篇论文讲的是如何给一种叫 JPEG XS 的图片压缩技术“装上一套超级加速器”，让它能在硬件（比如 FPGA 芯片）上跑得更快、更省电。

为了让你轻松理解，我们可以把整个过程想象成在图书馆里找一本特定的书。

1. 背景：为什么要找书？（JPEG XS 与 IPC）

想象一下，你正在看一个远程桌面（比如远程办公），屏幕上有很多文字、图表和重复的图案。

• JPEG XS 就像是一个超级高效的图书管理员，他的任务是把屏幕上的画面压缩得越小越好，同时保证你看到画面时没有延迟（低延迟）。
• IPC（帧内模式复制） 是这个管理员的一个独门绝技。他发现屏幕上很多图案是重复的（比如一个图标在左上角出现过，右下角又出现了一个一样的）。与其把右下角的图案重新描述一遍，不如直接说：“嘿，右下角那个，跟左上角那个长得一模一样，只是位置挪了一下。”
• 这个“挪了一下”的距离，就是论文里说的位移向量（DV）。

2. 核心难题：大海捞针（DV 搜索）

现在问题来了：管理员要决定“右下角的图案”到底对应“左上角的哪个位置”最完美。

• 他不能随便猜，他必须遍历所有可能的位置，一个个试，看看哪个位置的图案跟目标最像，误差最小。
• 这就好比你要在几百万本书里，把每一本都拿出来跟你要找的那本比对一下，看看哪本最像。
• 痛点：这个过程计算量巨大，就像让一个人用算盘去算几亿次加减法，普通电脑或芯片做这个会累死（延迟高、耗电大），导致这个“独门绝技”没法在实际硬件上实时使用。

3. 论文的贡献：打造“流水线工厂”（FPGA 架构）

作者们设计了一套FPGA（一种可编程的专用芯片）方案，专门用来加速这个“找书”的过程。他们做了两件大事：

A. 流水线作业（Pipelined Architecture）

以前，管理员可能是一个人干完所有活：找书 -> 比对 -> 记录 -> 再找下一本。
现在，作者设计了一个四阶段的流水线工厂：

• 第一阶段：工人 A 负责把书从书架上搬下来（读取数据）。
• 第二阶段：工人 B 负责把书翻开，检查内容（计算差异）。
• 第三阶段：工人 C 负责计算这本书跟目标有多像（计算成本）。
• 第四阶段：工人 D 负责记录哪本书最好（更新最佳结果）。
• 效果：虽然一本书从开始到结束还是要走四步，但因为四个人同时在干活，每秒钟能处理的书（吞吐量）就大大增加了。这就好比以前是单车道，现在变成了四车道的高速公路。

B. 重新整理书架（优化的内存组织）

这是这篇论文最巧妙的地方。

• 旧方法（Method 0）：书架是按“房间”（Precinct）排列的。如果你要找不同房间里的书，你得跑好几个地方，还要记很多复杂的坐标。这就像去图书馆，每本书都散落在不同的楼层和书架，找起来非常乱，效率低。
• 新方法（Method 1）：作者把书架重新整理了一下！他们不再按“房间”放书，而是按**“书的类型”（IPC Group）**来放。
  • 把所有长得像的“图案组”都放在同一个抽屉里，并且按顺序排好。
  • 这就好比，你想找所有“红色封面”的书，以前要跑遍全图书馆，现在直接去“红色书专区”，一拉抽屉全齐了。
  • 为了配合这个新书架，他们还加了一个**“小抄本”（TLB，页表缓冲）**，专门记录每个抽屉里有多少本书，这样工人不用每次都去问管理员，直接看小抄就能知道怎么拿。

4. 结果：又快又省

经过测试，这套新设计的效果非常棒：

• 速度：每秒能处理 3830 万像素（Mpixels/s）。这就像眨眼之间就能处理完一张超高清图片的所有重复图案。
• 省电：只消耗 277 毫瓦 的电力。这就像是用一个普通手机充电器的功率，就能驱动整个复杂的找书过程。
• 意义：这意味着未来我们的电视、视频会议系统、甚至未来的芯片（ASIC），都能用上这个“独门绝技”，让画面传输更清晰、更流畅，而且不卡顿。

总结

简单来说，这篇论文就是为了解决**“在海量重复图案中快速找到最佳匹配位置”这个难题。
作者没有蛮干，而是通过“流水线分工”（让不同的人同时干活）和“重新整理书架”**（让数据存放更有序）这两招，把原本慢吞吞的“找书”过程，变成了一条高效、省力的自动化生产线。这让 JPEG XS 这种低延迟压缩技术，终于能在真实的硬件设备上跑得飞起。

技术摘要

以下是基于论文《An FPGA Implementation of Displacement Vector Search for Intra Pattern Copy in JPEG XS》的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景：JPEG XS 是一种专为低延迟和低复杂度设计的图像压缩标准。为了提升其在远程桌面和 KVM 等屏幕内容应用中的编码效率，引入了**帧内模式复制（Intra Pattern Copy, IPC）**技术。IPC 利用小波域内的帧内补偿预测来减少屏幕内容的空间冗余。
• 核心问题：IPC 的关键模块是位移矢量搜索（Displacement Vector Search, DV Search），其目的是寻找最优的预测参考偏移量。然而，该过程需要遍历所有候选偏移量以最小化编码成本，计算量极大，属于计算密集型任务。
• 挑战：现有的硬件实现（如 H.264/HEVC 中的运动估计）主要针对像素块和时域/空域冗余，无法直接适配 JPEG XS 中基于分组（Group-based）和频域的预测流程。DV 搜索的高延迟和高资源消耗阻碍了 IPC 在实时硬件系统中的实际部署。

2. 方法论 (Methodology)

论文提出了一种针对 JPEG XS IPC 框架中 DV 搜索模块的高效流水线 FPGA 架构设计，主要包含以下两个核心方面：

A. 流水线硬件架构设计

系统采用两级流水线设计，分为残差计算引擎（Residual Calculation Engine）和DV 比较引擎（DV Comparison Engine）：

1. 残差计算引擎：
   • 从 DRAM 中并行读取原始和重建的小波系数块。
   • 利用多路 FIFO（Q0-Q3 用于原始数据，C0-C3 用于重建数据）管理数据流，确保不同 IPC 组（IPC Groups）的数据同步。
   • 通过 SIG MAG SUB 模块将符号 - 幅度格式（Sign-Magnitude）的系数拆分为符号和幅值，并行计算四种符号组合下的有符号残差。
2. DV 比较引擎（四级流水线）：
   • Stage 0：加载残差系数，根据组索引生成计算参数（如带索引、组大小、单元宽度），配置流水线以支持灵活的分组计算。
   • Stage 1：GetOrMask 模块收集残差数据，计算组内的按位或（Bitwise OR）掩码，生成 OrIdx 和 OrAll。
   • Stage 2：CalGCLI 模块基于掩码进行比特级 GCLI（Group Cost of Level Information）计算，生成当前组的比特成本（BitsTest）。
   • Stage 3：Compare 模块将当前成本与历史最佳成本（BitsBest）比较，若更优则更新最佳位移矢量（BestDV）。
   • 该设计实现了跨多个 IPC 组的并行残差计算和 DV 比较，平衡了吞吐量与延迟。

B. 优化的内存组织 (Optimized Memory Organization)

针对小波系数在频域和空域分散存储的问题，论文提出了一种新的内存组织方法（Method 1），取代了传统的基于 precinct（图像块）的线性存储（Method 0）：

• 传统方法 (Method 0)：按 precinct 顺序存储，导致访问不同子带的系数块时需要复杂的地址计算，且无法利用突发读取（Burst Read），效率低下。
• 优化方法 (Method 1)：
  • 按组对齐：将系数按 IPC Group 和 IPC Unit 进行组织，而非按 precinct。同一组内的所有子带块连续存储。
  • 片上 TLB：引入片上 TLB（Translation Lookaside Buffer） 存储不同 IPC 组中系数块的长度信息。
  • 优势：通过“基地址 + 固定偏移”的方式即可加载整个 IPC Unit 的所有块，消除了复杂的地址计算，支持高效的突发内存访问，显著降低了控制复杂度。

3. 主要贡献 (Key Contributions)

1. 首个 FPGA 架构：首次提出了适用于 JPEG XS IPC 框架的 DV 搜索模块 FPGA 架构，填补了该领域的硬件实现空白。
2. 四级流水线设计：设计了包含残差计算和 DV 比较的四级流水线，支持多组并行处理，有效解决了计算密集型带来的延迟瓶颈。
3. 新型内存组织：提出了基于 IPC Group/Unit 的内存布局方案，结合片上 TLB，解决了小波系数分散存储导致的低效访问问题，提升了内存吞吐率。
4. ASIC 部署基础：该设计为未来在 ASIC 上部署低延迟、低功耗的 IPC 编码器奠定了坚实基础。

4. 实验结果 (Results)

实验在 Xilinx Artix-7 (XC7A35T) FPGA 上于 100 MHz 频率下进行：

• 吞吐量：达到 38.3 Mpixels/s。
• 功耗：仅为 277 mW。
• 能效：相比基线方案（Method 0），能效提升了 6.1%（达到 138.27 Mpixels/s/W）。
• 资源利用率：
  • LUT 使用量减少了 7.5%。
  • 触发器（FF）使用量减少了 8.4%。
  • BRAM 使用量略有增加（从 11 增加到 15），以换取更高的性能。
• 延迟：系统延迟控制在 73.01 ms，满足实时性要求。
• 性能对比：优化后的内存组织（Method 1）在保持功耗相当的情况下，显著提升了吞吐量并降低了逻辑资源消耗。

5. 意义与价值 (Significance)

• 推动实际部署：该研究解决了 JPEG XS 中 IPC 工具难以在硬件上实时运行的关键瓶颈，使得低延迟、高压缩比的屏幕内容编码在硬件端成为可能。
• 能效优化：证明了通过架构优化（流水线）和存储优化（内存布局）可以显著降低功耗并提升处理速度，对于电池供电设备或大规模数据中心应用具有重要意义。
• 通用性参考：该设计思路不仅适用于 IPC，也为其他基于预测的编码工具（Predictive Coding Tools）的硬件实现提供了有价值的参考，特别是针对非规则数据访问模式的优化策略。

综上所述，该论文通过创新的流水线架构和内存组织策略，成功实现了 JPEG XS IPC 中 DV 搜索模块的高效 FPGA 加速，为下一代低延迟视频编码系统的硬件落地提供了强有力的技术支持。