技术摘要：基于轻量化算法的监控视频智能压缩与质量增强研究

1. 问题陈述

监控视频应用（如道路监测和隧道开挖领域）的激增带来了一个关键挑战：如何在捕捉动态运动的同时，管理与复杂模型相关的计算和内存成本。目前的最先进方法通常依赖于增加模型复杂度来提高识别精度，特别是在区分运动边界方面。然而，这会导致过高的内存占用并降低计算效率，阻碍了在资源受限的边缘设备上的部署。

此外，监控画面通常包含大量的冗余信息（例如无人走廊中的静态帧），这浪费了网络资源和用户时间。虽然基于 Transformer 的模型（如 ViT、Swin Transformer）在计算机视觉领域展现出了潜力，但许多模型对于视频增强或时序动作检测等底层视觉任务而言，参数过于沉重。现有的轻量化解决方案往往难以在模型规模与精确动作边界定位所需的精度之间取得平衡。

2. 方法论

作者提出了一个基于知识蒸馏的轻量化卷积 Transformer (LCT-KD) 框架。该方法集成了用于局部特征提取的卷积神经网络 (CNN)、用于全局上下文建模的 Transformer 以及用于模型压缩的知识蒸馏。该方法由两个主要阶段组成：训练和推理。

2.1 整体架构

该框架采用了多教师分层渐进式蒸馏策略：

• 教师模型： 使用两个冻结的预训练模型——FACFormer（帧级平均卷积 Transformer）和 ActionFormer 作为教师。它们生成软标签以引导学生模型。
• 学生模型 (LCT-KD)： 一个压缩后的学生网络，由两个核心模块组成：
  1. FACCFM（帧级平均卷积压缩特征模块）： 旨在进行局部时序建模。它结合了逐帧卷积、平均卷积和残差连接，并利用分组卷积和方向性剪枝来减少参数。
  2. CMAFM（压缩混合注意力特征模块）： 旨在进行全局上下文建模。它采用全局稀疏注意力和局部窗口注意力的混合机制，以极少的参数捕捉长程依赖关系。
• 特征提取： 输入的视频片段由 I3D 主干网络处理以提取时空特征，随后进行下采样并输入到学生模块中。

2.2 自适应参数压缩

为了在不显著损失精度的情况下实现轻量化，论文引入了一个小规模参数重要性评估网络 (SAN)：

• 动态剪枝： SAN 是一个轻量级的残差 MLP，根据梯度幅度和参数幅度在训练期间评估参数的重要性。
• 可微掩码： 通过使用可微联合掩码训练策略，SAN 动态生成剪枝掩码。它保留前 k 个参数（基于预设的保留比例，例如 50%），同时丢弃不重要的参数。
• 损失函数： 训练目标结合了任务损失、蒸馏损失（来自熵加权的教师模型软标签）以及一个使学生的剪枝决策与教师知识保持一致的重要性损失。

2.3 训练策略

训练遵循分层渐进式蒸馏过程：

1. 浅层蒸馏： 首先在教师模型软标签的引导下训练 FACCFM 模块。
2. 深层蒸馏： 接着训练 CMAFM 模块，此时 FACCFM 被冻结。两个教师模型共同引导学生模型。
3. 微调： 统一的微调阶段优化整个学生模型，允许所有参数在保持压缩结构的同时进行自适应调整。

3. 核心贡献

论文声称了以下贡献：

• 新型轻量化架构： 提出了 LCT-KD 模型，该模型有效地结合了 CNN 的局部适应性和 Transformer 的全局特征提取能力，专门针对时序动作检测进行了优化。
• 多教师分层蒸馏： 一种利用 FACFormer 和 ActionFormer 作为教师的方法，旨在提高学生模型的泛化能力和召回率，同时保持高精度。
• 自适应压缩机制： 引入了 SAN，它利用自适应评估参数和动态混合压缩。这实现了方向性剪枝，比静态剪枝方法更有效地平衡了内存消耗与模型性能。
• 高效特征模块： 设计了 FACCFM 和 CMAFM，通过分组卷积和稀疏注意力机制显著减少了参数量，且未牺牲特征建模能力。

4. 实验结果

模型在 THUMOS14 和 ActivityNet1.3 数据集上进行了评估，性能通过在 0.3 到 0.7 的时序交并比 (TIoU) 阈值下的平均精度 (mAP) 进行衡量。

4.1 THUMOS14 上的表现

• 精度： LCT-KD 模型实现了 65.90% 的平均 mAP。
• 效率： 该模型仅运行 26.58M 参数，与未压缩的 FACFormer 教师模型（50.20M 参数）相比，减少了 47.05%。
• 权衡： 从未压缩的教师模型 (67.13%) 到压缩后的学生模型 (65.90%)，精度下降极小 (1.23%)，证明了有效的知识迁移。
• 速度： 该模型的推理速度达到 65 FPS，优于 FACFormer (31 FPS) 和 ActionFormer (42 FPS)。

4.2 ActivityNet1.3 上的表现

• 精度： 模型实现了 52.34% 的平均 mAP。
• 效率： 参数量减少至 6.31M。

4.3 消融实验

消眠实验证实了：

• 将 FACM 和 FADCM 模块添加到基准模型中提高了精度，但也增加了参数量。
• 由 SAN 引导的压缩成功将参数量减少了近一半，同时保留了教师模型 98.2% 的精度。
• 多教师蒸馏与动态掩码的结合产生了最佳的性能与效率平衡。

5. 意义与主张

论文断言，所提出的 LCT-KD 框架成功解决了将高精度视频动作检测模型部署在资源受限的边缘设备上的挑战。通过将知识蒸馏与自适应参数压缩相结合，该模型找到了一个“甜点区”，即在显著降低内存占用和计算开销的同时，保持了最先进的精度。

作者声称，这种方法对于监控领域的实际应用尤 particularly 重要，因为在这些场景中，传输冗余帧是低效的，且边缘设备通常缺乏运行沉重的、参数丰富的模型的能力。研究验证了，只要压缩过程由鲁棒的知识迁移机制引导，有效的压缩并不一定需要成比例地牺牲精度。

局限性与未来工作：
作者谦虚地指出，虽然模型提高了精度，但在某些复杂场景下的表现仍然有限。他们建议，未来的工作可以探索自监督学习以增强跨域识别，并研究集成大规模模型，以在内存受限的环境中进一步增强表示能力。