⚡ electrical engineering

GHOST: Unmasking Phantom States in Mamba2 via Grouped Hidden-state Output-aware Selection & Truncation

本文提出了 GHOST 框架，通过利用前向传播统计量近似控制理论中的平衡截断法，在无需反向传播的情况下对 Mamba2 模型进行结构化剪枝，成功在 130M 至 2.7B 参数规模下实现了 50% 的状态维度缩减，同时仅带来约 1 个困惑度的性能损失。

原作者： Michael Menezes, Anastasios Kyrillidis

发布于 2026-02-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Michael Menezes, Anastasios Kyrillidis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 GHOST 的新方法，专门用来给一种叫 Mamba2 的先进人工智能模型“瘦身”，让它跑得更快、更省内存，同时还不怎么掉智商。

为了让你轻松理解，我们可以把 Mamba2 模型想象成一家超级繁忙的跨国物流公司。

1. 背景：物流公司的“仓库拥堵”危机

Mamba2 是一种很厉害的 AI，它擅长处理像写文章、写代码这种需要记住“上下文”（比如前一句话说了什么）的任务。

原来的问题：为了变得更聪明，Mamba2 把它的“短期记忆仓库”（也就是论文里说的状态维度）扩大了 8 倍。
后果：这就好比物流公司为了存更多货物，把仓库扩建了 8 倍。虽然能存的东西多了，但搬运工（内存带宽）根本忙不过来。每次发货（生成文字）时，搬运工都要在巨大的仓库里跑来跑去，导致卡车堵在路上，发货速度极慢，甚至把整个物流中心的内存都撑爆了。

2. 旧方法的失败：瞎剪和乱剪

以前人们想给这个仓库“瘦身”，主要用了两种笨办法，但都失败了：

方法一：只看“体重”剪枝（Magnitude Pruning）
- 比喻：就像仓库管理员只看每个货架的重量来决定保留哪个。重的货架就留着，轻的就扔掉。
- 问题：这完全看走眼了！有些货架虽然很轻（权重小），但里面装的是急需的急件（动态能量高，经常活跃）；有些货架虽然很重（权重大），但里面全是积灰的旧货（根本没人用）。
- 结果：管理员把那些“轻但重要”的急件扔了（论文里叫Phantom States/幽灵状态），却把那些“重但没用”的旧货留着（Corporeal States/实体状态）。仓库还是堵，而且急件丢了，服务也变差了。
方法二：算“痛苦指数”剪枝（Gradient-based Methods）
- 比喻：为了知道哪个货架重要，管理员决定让所有搬运工重新走一遍整个流程，记录每一步的“痛苦程度”（梯度），以此来判断。
- 问题：这太累了！需要巨大的计算资源和显存（VRAM），就像为了剪一个仓库，得先建一个比仓库还大的指挥中心，普通公司根本负担不起。

3. GHOST 的妙招：看“活跃度”和“影响力”

GHOST 方法（Grouped Hidden-state Output-aware Selection and Truncation）就像一位精明的物流顾问，它不看重量，也不搞复杂的重新演练，而是用一种聪明的“控制理论”来观察：

核心逻辑：它同时看两个指标：
1. 可控制性（Controllability）：这个货架接收了多少货物？（输入是否驱动了它？）
2. 可观测性（Observability）：这个货架输出了多少货物？（它是否影响了最终的发货？）
比喻：
- 如果一个货架既经常进货，又经常出货，说明它是核心枢纽，必须保留（这就是“活”的状态）。
- 如果一个货架既不进货也不出货，或者只进不出/只出不进，说明它是死胡同，直接剪掉（这就是“幽灵”状态）。
优势：
- 不需要重走流程：它只需要看一次正常的发货记录（前向传播），不需要重新计算复杂的梯度。
- 精准打击：它成功识别出了那些“轻但重要”的幽灵状态，把它们保留下来；把那些“重但没用”的实体状态清理掉。

4. 实验结果：瘦身成功，速度起飞

论文做了很多测试，结果非常惊人：

瘦身幅度：把仓库容量（状态维度）直接砍掉 50%。
性能损失：几乎可以忽略不计（在 WikiText-2 数据集上，困惑度只增加了约 1 分，相当于读起来稍微有一点点不顺畅，但完全不影响理解）。
资源节省：
- 显存：以前需要 45GB 显存的方法，GHOST 只需要 15GB。
- 速度：因为减少了搬运工的工作量，推理速度（生成文字的速度）大幅提升，不再被内存带宽卡住。
鲁棒性：即使面对更长的文章（长序列）或者完全不同的领域（比如从写文章变成写代码），GHOST 剪出来的模型依然很稳，不像其他方法那样容易“翻车”。

总结

GHOST 就像是一个懂行情的仓库管理员。它不再盲目地按重量剪货架，而是通过观察谁在真正干活（动态能量），精准地清理掉那些占地方但不干活的“幽灵”区域。

一句话总结：GHOST 让 Mamba2 模型在不降低智商的前提下，砍掉了一半的内存负担，并且不需要昂贵的计算成本，让大模型能跑在更普通的电脑上，真正实现了“民主化”部署。

这篇论文提出了一种名为 GHOST (Grouped Hidden-state Output-aware Selection & Truncation，分组隐藏状态输出感知选择与截断) 的框架，旨在解决 Mamba2 模型在推理过程中因状态维度（State Dimension）扩大而导致的显存带宽饱和和推理延迟问题。

以下是对该论文的详细技术总结：

1. 问题背景与挑战 (Problem & Challenges)

Mamba2 通过扩大状态维度 $N$ （从 Mamba1 的 16 增加到 128）显著增强了时序建模能力，但这导致了严重的推理瓶颈：

显存带宽饱和：对于 1.3B 参数的模型，循环状态从约 12MB 膨胀至 100MB，在自回归生成过程中占满了内存带宽。
现有剪枝方法的局限性：
1. 非结构化剪枝（如 SparseGPT）：虽然能稀疏化权重，但输入激活通常是稠密的，导致稀疏权重与稠密输入的乘积仍为稠密，无法减少状态 $H_t$ 的存储和带宽消耗。
2. 静态幅度剪枝（Magnitude Pruning）：仅基于权重范数进行剪枝，忽略了系统的动态特性。论文发现存在两类失效模式：
  - 实体状态 (Corporeal States)：权重范数大但实际动态利用率低（被错误保留）。
  - 幻影状态 (Phantom States)：权重范数小但实际动态活跃度高（被错误剪除）。
3. 基于梯度的剪枝（如 Taylor Pruning）：虽然精度高，但需要计算和存储全图梯度，显存开销巨大（1.3B 模型需 45GB+ VRAM），且容易因分布偏移导致“一次性”估计失效。

2. 方法论 (Methodology: GHOST)

GHOST 是一个结构化剪枝框架，它利用控制理论中的平衡截断 (Balanced Truncation) 思想，仅通过前向传播统计量来近似识别并剪除冗余的状态通道。

核心思想

GHOST 旨在保留那些既是可控的（Controllable，输入能有效驱动的状态）又是可观测的（Observable，状态能有效影响输出的状态）“活跃”状态。

具体步骤

可控性度量 (Controllability)：
- 通过计算隐藏状态 $H_t$ 的协方差（即 $H_t$ 的平方）来衡量输入历史对状态的影响能量。
- 公式： $P(t) = (H_t)^2$ 。
可观测性度量 (Observability)：
- 通过计算输出能量关于隐藏状态的 Hessian 矩阵来衡量状态对未来输出的影响。
- 利用 Mamba2 的局部近似，使用投影矩阵 $C'_t$ 的平方 $(C'_t)^2$ 作为 Hessian 的代理。
- 公式： $Q(t) = (C'_t)^2$ 。
显著性评分 (Saliency Scoring)：
- 将可控性和可观测性相乘，模拟平衡截断中的 Hankel 奇异值： $S(t) = P(t) \cdot Q(t)$ 。
- 在校准数据集上对序列长度和批次进行聚合，得到每个状态通道的全局评分。
分组阈值与剪枝 (Inter-Group Thresholding)：
- Mamba2 采用分组查询注意力 (GQA) 结构。GHOST 在组内聚合评分，根据目标稀疏度 $\kappa$ 设定全局阈值。
- 允许模型动态分配容量：复杂动态的组保留更多状态，冗余组被激进剪枝。
执行流程：
- 仅需两次前向传播（一次用于计算评分，一次用于更新激活）。
- 无需反向传播，无需计算梯度或 Hessian 矩阵，显存开销极低（仅需 $O(G \cdot N)$ ）。

3. 主要贡献 (Key Contributions)

提出 GHOST 框架：首个针对 Mamba2 状态维度 $N$ 的基于数据驱动的结构化剪枝方法，利用可控性和可观测性指标进行通道选择。
解决“代理失效”问题：成功区分并保留了高活性的“幻影状态”，同时剪除了低利用率的“实体状态”，克服了传统幅度剪枝的盲点。
高效且高性能：
- 零梯度计算：避免了昂贵的反向传播。
- 显存友好：仅需 15GB VRAM（对比 Taylor 剪枝的 45GB+），可在标准 A100 上运行。
- 性能优异：在 130M 到 2.7B 的模型上，实现了 50% 的状态维度缩减，WikiText-2 困惑度 (Perplexity) 仅增加约 1 点。

4. 实验结果 (Results)

实验在 Mamba2 系列模型（130M - 2.7B）上进行，对比了 Magnitude、Random、SparseGPT 和 Taylor 剪枝。

稀疏度鲁棒性：
- 在 50% 稀疏度下，GHOST 与 Taylor 表现相当（PPL 约 14.23 vs 13.94）。
- 在高稀疏度（>70%）下，Taylor 因分布偏移导致性能崩溃（PPL 飙升至 4000+），而 GHOST 保持平滑下降，即使在 70% 稀疏度下 PPL 仅为 16.16。
序列长度泛化：
- GHOST 在短序列校准、长序列评估（最长 2048）时表现稳定，PPL 随长度增加而自然下降。
- Taylor 在长序列评估时性能急剧恶化（PPL 达 1613），表明其基于梯度的评分无法捕捉长程依赖。
模型扩展性 (Scaling Laws)：
- 在小模型（130M, 370M）上，Taylor 因梯度噪声导致灾难性失败（PPL > $10^4$ ），而 GHOST 在所有规模上均保持稳定且优于基线。
零样本与 OOD 鲁棒性：
- 在 Lambada、PIQA 等零样本任务上，GHOST 表现与 Taylor 相当甚至更优（如在 PIQA 上达到 73.12%）。
- 在分布外（OOD）任务（如代码生成 HumanEval、数学 MMLU）上，GHOST 表现出比基于 Hessian 的方法更好的泛化能力，证明其捕捉的是模型的核心动力学而非特定文本分布。

5. 意义与影响 (Significance)

降低推理门槛：通过减少状态维度，显著降低了 Mamba2 的显存带宽需求，使得在消费级 GPU 上部署大规模 SSM 模型成为可能。
理论创新：成功将控制理论（平衡截断）引入深度学习模型压缩领域，提供了一种无需梯度的、基于系统动态能量的剪枝新范式。
解决核心痛点：直接针对 Mamba2 的推理瓶颈（状态存储和带宽）进行优化，而非仅仅压缩权重，为未来 SSM 架构的优化提供了重要方向。

总结：GHOST 通过一种轻量级、无梯度的方法，精准识别并保留了 Mamba2 中真正重要的动态状态，在大幅压缩模型体积的同时，保持了极高的模型性能和泛化能力，是 Mamba2 模型实用化部署的关键技术突破。