💻 computer science

When W4A4 Breaks Camouflaged Object Detection: Token-Group Dual-Constraint Activation Quantization

本文引入了 COD-TDQ，一种令牌组双约束激活量化方法，该方法通过抑制跨令牌范围支配并限制零值分布质量，克服了伪装目标检测中激进 W4A4 量化所面临的独特挑战，从而在无需重新训练的情况下显著优于现有的最先进方法。

原作者： Tianqi Li, Wenyu Fang, Xin He, Xue Geng, Xu Cheng, Yun Liu

发布于 2026-07-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Tianqi Li, Wenyu Fang, Xin He, Xue Geng, Xu Cheng, Yun Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一间堆满了成千上万件外观几乎完全相同的玩具的巨大且凌乱的房间里，寻找一个特定的、微小的玩具。这就是计算机科学的一个分支——**伪装目标检测（Camouflaged Object Detection, COD）**每天面临的挑战。AI 模型不能仅仅寻找一个红色的球，它们必须寻找那些被设计成有意融入背景的物体，比如隐藏在树枝上的竹节虫，或是隐藏在叶片上的变色龙。为了做到这一点，AI 不仅仅观察大轮廓，它还依赖于极其细微的线索——比如叶片边缘的微弱痕迹或纹理的轻微变化。

现在，想象一下你想在智能手机或小型机器人上运行这个超级聪明的 AI。这些设备的内存和电池都非常有限，无法处理通常需要的那种庞大、沉重的“大脑”。为了让它适配，工程师们使用了一种叫做**量化（quantization）**的技巧。这就像是将一部高清电影转换为低分辨率版本以节省空间。你减少了计算机用来记忆事物的颜色和细节（比特数）。通常情况下，将质量降低到 4 比特（一种非常低的分辨率）对于简单的任务来说效果尚可。但对于寻找这些隐蔽、躲藏的物体，发生了一件奇怪的事情：AI 不仅仅是变得有些模糊，它甚至会彻底忘记如何看见那个隐藏的目标。

这篇论文研究了为什么会出现这种“4 比特悬崖”，并构建了一个新的工具来修复它。研究人员发现，当我们试图将 AI 的“大脑”压缩进介于 4 比特时，图像中“喧闹”的背景噪声（例如繁忙、有纹理的墙壁）会叫得如此大声，以至于淹没了隐藏物体边缘的“耳语”。AI 的内部标尺被背景噪声拉伸得如此之宽，以至于隐藏物体的微小、重要的细节被挤压到了一个“零值区间（zero bin）”中——实际上被抹除了。为了解决这个问题，作者创建了一种名为 COD-TDQ 的方法。与其对整幅图像使用一个巨大的标尺，不如给每一小组像素配备它自己的定制尺寸标尺。他们还添加了一个安全护栏，以确保标尺不会变得过于粗糙，从而意外地删除了那些微小的线索。结果呢？现在的 AI 可以在低功耗设备上以 4 比特精度运行，同时依然能几乎完美地识别出那些棘手的隐藏物体。

问题所在：当背景叫得太大声时

研究人员首先研究了为什么标准的 4 比特量化对于伪装物体会失败得如此惨烈。在普通图像中，背景和物体可能具有相似的亮度水平。但在伪装场景中，背景通常是纹理和色彩的混乱混合体，而物体则是隐藏在显眼处的一种微妙、有结构的模式。

当 AI 处理图像时，它会将图像分解成称为“标记（tokens）”的小块。在标准设置中，所有这些标记共享一个单一的“裁剪范围（clipping range）”——可以将其想象为整个房间的音量旋钮。如果某个标记出现了巨大的活动峰值（例如非常明亮或嘈用的背景部分），音量旋钮就会被调高以适应它。这使得“步长（step size）”（即 AI 能听到的最小细节）变得非常大。

这就是悲剧所在：定义隐藏物体边缘的微弱信号就像是耳语。当音量旋钮为了应对喧闹的背景而被调高时，这些耳语就低于了听觉阈值。在 AI 的数学运算中，它们被四舍五入为零。一旦变成零，AI 就永远无法找回它们。论文表明，这不仅仅是性能的小幅下降，而是彻底的崩溃。在名为 NC4K 的标准测试集上，一个天真的 4 比特尝试将 AI 的准确率得分从稳健的 0.888 直接降到了不及格的 0.443。背景噪声有效地使 AI 变盲了。

解决方案：给每一组分配自己的标尺

为了修复这个问题，作者引入了 COD-TDQ，这种方法就像是 AI 的一名聪明调音师。他们意识到，问题不在于整幅图像，而在于背景在欺凌前景。他们的解决方案包含两个主要步骤：

直接和标记组（Direct-Sum Token-Group, DSTG）： 这个方法不再为整个图像使用一个巨大的音量旋钮，而是将图像分解成小的像素组（token groups）。每一组都有自己独立的音量旋钮。这意味着，一个嘈杂的背景块可以很大声，但不会强迫隐藏物体的安静边缘也变得很大声。它阻止了背景占据主导地位。
双重约束范围投影（Dual-Constraint Range Projection, DCRP）： 即便有了独立的旋钮，单个组仍可能变得过于嘈杂。因此，第二步充当了安全护栏。它会对每一组检查两件事：
- 步长与离散度比例（The Step-to-Dispersion Ratio）： 步长相对于该组的变化是否过大？如果是，则缩小范围。
- 零值区间质量（The Zero-Bin Mass）： 是否有太多的像素被四舍五入为零？如果“耳语”正在被静音，则进一步缩小范围以挽救它们。

通过结合这两者，该方法确保了隐藏物体的微小、结构化的线索永远不会被挤压成零，即使背景非常混乱。

结果：挽救耳语

团队在四个不同的数据集和两种不同的 AI 模型（CFRN 和 ESCNet）上测试了这种新方法。结果是戏剧性的。

虽然其他现有方法试图通过仅仅平滑噪声或重新排列数据来解决问题，但它们仍然很吃力。例如，在 NC4K 数据集上，表现最好的先前方法（RepQ-ViT）仅达到了 0.718 的准确率得分。然而，新的 COD-TDQ 方法达到了 0.837。这是一个巨大的飞跃，使 4 比特 AI 几乎接近了原始全质量版本（得分为 0.888）的水平。

论文还研究了现实世界的影响。他们使用新的 4 比特方法在强大的图形卡（NVIDIA RTX 4090）上运行了该 AI。模型变得极其快速且高效：

速度： 它每秒处理 44.21 张图像，大约是原始全精度版本的 1.5 倍。
内存： 模型大小从 775.40 MB 缩减到了仅 108.19 MB。
延迟： 处理单张图像仅需 22.61 毫秒。

至关重要的是，作者指出这种改进并不需要从头开始重新训练 AI。它是一种“训练后（post-training）”的修复方法，这意味着你可以拿取一个现有的、训练良好的模型，并应用此方法使其在微型设备上运行，而不会失去寻找隐藏物体的能力。

这意味着什么

论文得出结论，4 比特 AI 在伪装物体上的失败并非缺乏计算能力，而是由于其处理“喧闹背景”与“安静边缘”之间差异的方式存在特定缺陷。通过对图像的不同部分采用不同的尺度，并严格防止重要细节被“归零”，COD-TDQ 让这些复杂的 AI 模型终于能够走进现实世界的口袋和机器人之中。它表明，对于那些微小细节至关重要的任务，一种“一刀切”的压缩方法是行不通的；你需要一种能够仔细聆听耳语的方法。

技术摘要：当 W4A4 破坏伪装目标检测时

1. 问题陈述

伪装目标检测（Camouflaged Object Detection, COD）要求模型分割出那些刻意与背景融合的目标，这高度依赖于细微、低振幅的纹理和边界线索。虽然基于 Transformer 的 COD 模型已取得了显著性能，但其在边缘和移动设备上的部署仍受限于高内存和高延迟成本。训练后量化（Post-Training Quantization, PTQ）为在不进行重新训练的情况下降低这些成本提供了一种解决方案。

然而，作者发现，在对基于 Transformer 的 COD 模型应用激进的 W4A4 量化（4 位权重和 4 位激活）时，存在一个关键的“任务特定悬崖（task-specific cliff）”。与在 W4A4 可能表现出平滑退化的标准分类或分割任务不同，COD 模型会遭遇性能的灾难性崩溃。论文将这种失败诊断为由两个耦合机制驱动的标记局部瓶颈（token-local bottleneck）：

范围主导（Range Domination）： 具有重尾分布（heavy-tailed）的背景标记（离群值）主导了所有标记共享的激活裁剪范围。这迫使量化步长（ $\Delta$ ）变得过大，以容纳这些离群值。
零值区间质量塌陷（Zero-Bin Mass Collapse）： 膨胀的步长导致对于 COD 至关重要的微弱但具有结构性的边界线索落在了量化阈值（ $\Delta/2$ ）之下。因此，这些线索被舍入为零。一旦被归零，后续的注意力机制便无法恢复丢失的有符号证据，从而导致掩码预测的全局失败。

标准的 PTQ 方法通常侧重于层级重建或平均保真度，无法显式地约束这些标记局部指标，导致 W4A4 的性能从 FP32 的 $S_\alpha \approx 0.88$ 骤降至 $\approx 0.44$ 。

2. 方法论：COD-TDQ

为了解决这一问题，作者提出了 COD-TDQ（COD 感知标记组双约束激活量化），这是一个纯粹的训练后框架，无需重新训练或硬件特定假设。该方法包含两个在标记组粒度上运行的耦合模块：

A. 直接和标记组 (Direct-Sum Token-Group, DSTG)

DSTG 旨在消除跨标记范围主导现象。

机制： DSTG 不再为每一层的所有标记分配单一的全局裁剪半径，而是将每个标记向量的通道维度划分为固定大小的组。
功能： 每个标记组都被分配了各自的激活缩放比例（裁剪半径）。这实现了背景密集型标记与边界敏感型标记在缩放上的解耦，防止离群值决定整个标记群体的分辨率。
效果： 它显著缩小了标记之间的范围差异，确保边界组的步长不会被背景峰值所撑大。

B. 双约束范围投影 (Dual-Constraint Range Projection, DCRP)

即使采用了标记组缩放，单个组仍可能受到重尾分布的影响。DCRP 通过将每个组的裁剪半径投影到满足两个显式稳定性约束的状态，来解决此问题：

步长与离散度约束 (Constraint C1)： 确保步长与组标准差的比值（ $\eta = \Delta / \sigma$ ）保持在阈值 $\tau$ 以下。这防止了量化分辨率相对于信号离散度变得过于粗糙。
零值区间质量约束 (Constraint C2)： 确保量化为零的元素比例（ $\rho_0$ ）保持在目标阈值 $zr$ 以下。这是通过基于组幅值的经验分位数来限制裁剪半径来实现的。

功能： 最终的组裁剪半径是基础估计值与 C1、C2 所施加限制中的最小值。这种投影显式地防止了在朴素 W4A4 中观察到的“零值区间质量塌陷”。

3. 主要贡献

论文概述了三个主要贡献：

机制驱动的诊断： 作者详细分析了为什么 W4A4 特别在 COD 中失效，识别了范围主导与零值区间质量塌陷之间的耦合循环。他们引入了诊断指标（ $\Delta$ 、 $\eta$ 和 $\rho_0$ ）来量化这些失败。
COD-TDQ 框架： 一种新型 PTQ 方法，通过标记组缩放（DSTG）和双约束投影（DCRP）来稳定 W4A4 激活。它是第一个在处理此类上下文时，显式约束标记局部激活量化的步长-离散度比率和零值质量的方法。
统一基准测试： 建立了涵盖四个 COD 数据集（CAMO, CHAMELEON, COD10K, NC4K）和两种 Transformer 架构（CFRN 和 ESCNet）的全面 W4A4 PTQ 基准，提供了解释基准模型失败的诊断数据。

4. 实验结果

作者将 COD-TDQ 与最先进的 PTQ 方法（包括 RepQ-ViT、IGQ-ViT、PTQ4SAM 和 SmoothQuant）以及朴素量化基准进行了评估。

精度恢复： 在使用 CFRN 作为骨干网络时，COD-TDQ 在不进行重新训练的情况下，其 $S_\alpha$ $S_{α}$ 分数始终比现有的最佳 W4A4 量化方法高出 0.12 以上。
- 示例 (NC4K)： 朴素 W4A4 的 $S_\alpha$ 为 $0.443$，而最佳基准（RepQ-ViT）达到 $0.718$。COD-TDQ 达到了 $0.837$，几乎接近 FP32 基准（$0.888$）。
- 示例 (ESCNet)： COD-TDQ 实现了 $0.881 $的$ S_\alpha$，而次优方法（RepQ-ViT）为 $0.768$。
鲁棒性： 该方法在所有四个数据集和两种模型架构上均表现出一致的改进。
效率： 在使用基于 Triton 的 INT4 路径的 NVIDIA RTX 4090 上进行的实际部署基准测试显示，COD-TDQ 实现了 44.21 FPS 的吞吐量，峰值内存使用量为 834.92 MB。这代表了相比 FP32 1.50 倍的吞吐量增益，并显著降低了模型大小（从 775 MB 降至约 108 MB），且与其它 W4A4 方法相比开销极小。
定性分析： 可视化结果证实，COD-TDQ 保留了被朴素 W4A4 完全抹除、且被其他 PTQ 方法部分丢失的细微边界和低对比度前景区域。

5. 重要性与主张

论文声称，COD 在 W4A4 下的脆弱性并非低比特量化的普遍局限性，而是标记级激活异质性以及该任务对微弱、结构化线索依赖性的特定后果。

这项工作的意义在于：

范式转移： 从层级或块级优化转向针对密集预测任务的**标记局部（token-local）**约束强制执行。
赋能边缘部署： 证明了只要解决了边界线索失效的特定模式，复杂的基于 Transformer 的 COD 进行 W4A4 推理在边缘设备上是可行的。
诊断框架： 提供了一套清晰的指标（ $\eta$ 和 $\rho_0$ ），解释了为什么之前的算法在这一特定领域会失败，为未来敏感密集预测任务的量化研究提供了路线图。

作者保持了谦逊的语气，指出其方法是纯粹的训练后方法且与硬件无关，并邀请未来在更紧密的约束、解码器特定诊断以及跨架构泛化方面开展工作。