Not All Tasks Quantize Equally: Fisher-Guided Quantization for Visual Geometry Transformer
本文提出了一种名为 Fisher 引导量化（FGQ）的量化方法，该方法在训练后利用对角 Fisher 信息矩阵来识别并保留跨 Transformer 块和通道的任务特定敏感性，从而相较于现有基线显著提升了十亿级视觉几何 grounded Transformer（VGGT）模型在三维重建任务中的精度。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象你有一位庞大且超级聪明的机器人厨师（即视觉几何 grounded Transformer，简称 VGGT），它能够仅凭几张照片，瞬间同时推断出三件事：
- 拍摄照片时相机所处的位置（姿态）。
- 所有物体的深度（深度）。
- 物体确切的三维形状（点图）。
这位机器人天赋异禀，但它也是个“巨人”。它的 pantry 里装满了数十亿的食材（参数），这使得它运行缓慢、笨重，且无法塞进狭小的厨房（例如智能手机或工厂车间里的机器人）。
为了让这位机器人能塞进小厨房，科学家们通常尝试缩减其食材。他们将原本庞大而精确的测量值（好比使用能精确到毫克的秤）四舍五入为简单的数值（好比使用仅能称量整克数的秤）。这被称为量化。
问题：“一刀切”行不通
本文的研究人员发现了一个有趣的问题：人们在缩减这位机器人厨师时采用的方法存在缺陷。
想象机器人正在烹饪一顿复杂的菜肴：
- 任务 A（相机姿态） 好比搅拌锅子。这是一个宏大而平滑的动作。即使你的测量值略有四舍五入，锅子依然能搅拌得很好。它是** robust（稳健）**的。
- 任务 B（点图） 好比将精致微小的糖晶排列成完美的三维雕塑。即使测量值有极微小的四舍五入，整座雕塑也会崩塌成一堆乱糟糟的碎屑。它是极度敏感的。
以往的方法将机器人视为仅在执行单一任务。它们对“搅拌”和“糖晶”一视同仁地应用相同的“四舍五入规则”。
- 结果： “搅拌”（姿态）保持完美，但“糖雕塑”（点图）却被毁了。机器人擅长猜测相机位置，却在重建三维形状方面表现糟糕。
解决方案：“费雪引导”的厨师
作者 Yipu Zhang 及其团队发明了一种名为**FGQ（费雪引导量化）**的新方法。
将 FGQ 想象成一位聪明的副厨，他确切知道食谱的哪些部分脆弱，哪些部分坚固。
“费雪”评分： 在缩减食材之前，副厨会快速测试。它会问：“如果我搞砸了这条特定的信息通道，会对糖雕塑造成多大伤害？对搅拌会造成多大伤害？”
- 事实证明，机器人大脑的不同部分（不同的“块”和“通道”）负责不同的任务。有些通道是“糖晶守护者”，而另一些则只是“搅拌助手”。
定制化缩减： FGQ 不再对所有人使用相同的四舍五入规则，而是利用这个评分，对脆弱部分温柔对待，对坚固部分毫不留情。
- 对于“糖晶”通道，它保持数值的高度精确。
- 对于“搅拌”通道，它则激进地缩减以节省空间。
结果：拯救雕塑
论文在机器人厨师上测试了这种新方法，采用了非常激进的缩减（4 位量化，这好比将高清照片转化为微小的像素画）。
- 旧方法： 三维糖雕塑（点图）看起来模糊且破碎。机器人失去了观察细微细节的能力。
- FGQ 方法： 三维雕塑依然清晰且细节丰富。尽管使用了更少的内存，机器人仍能看清物体的精细边缘。
事实上，论文声称，对于三维形状重建任务，与以往最佳方法相比，他们的方法将结果提升了高达39%。这就像将一张模糊的像素化图像突然变得清晰锐利，仅仅是因为更聪明地决定了在哪里保留细节。
总结
论文指出，当你试图缩减一个多任务 AI 模型时，不能以同样的方式对待其所有部分。有些部分像砖块（难以破坏），有些则像玻璃（容易粉碎）。FGQ 是一种能够识别玻璃并加以保护的工具，它使得整个机器人能够塞进小口袋，同时不丧失其以三维视角观察世界的能力。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。