🤖 AI

Trust the Right Teacher: Quality-Aware Self-Distillation for GUI Grounding

本文提出了质量感知自蒸馏（Quality-Aware Self-Distillation）方法，通过结合软纠错门控（soft correctness-aware gating）与教师概率缩放（teacher-probability scaling），来缓解当学生生成的候选前缀偏离真实坐标时，在在策略自蒸馏（on-policy self-distillation）过程中教师信号发生退化的问题，从而提升 GUI 定位性能。

原作者： Jingyuan Huang, Zuming Huang, Yucheng Shi, Tianze Yang, Xiaoming Zhai, Wei Chu, Ninghao Liu

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jingyuan Huang, Zuming Huang, Yucheng Shi, Tianze Yang, Xiaoming Zhai, Wei Chu, Ninghao Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人根据像“点击设置齿轮”这样的语音指令，在电脑屏幕上寻找特定的按钮。这被称为 GUI Grounding（图形用户界面定位）。机器人需要观察一张截图，理解图像，然后写出该按钮精确的 X 和 Y 坐标。

这个问题极其困难。屏幕分辨率很高，按钮非常微小，而且许多东西看起来非常相似。如果机器人在早期犯了一个微小的错误（例如猜错了行），它可能会陷入完全错误的答案中。

问题所在：“天真型”导师

为了教导机器人，研究人员使用了一种叫做 自我蒸馏（Self-Distillation） 的方法。你可以把它想象成有一个超级聪明的“老师”AI 在帮助训练“学生”AI。

在标准设置下（称为 Naive OPSD），学生尝试回答问题。当它写出答案时，老师会观察学生目前已经写出的内容，并说：“好的，基于你目前输入的内容，这是下一个最佳猜测。”

这里的陷阱在于： 如果学生开始输入错误的坐标（例如，它认为按钮在屏幕左侧，而实际上在右侧），老师被迫不得不顺着这个逻辑演下去。老师看到了学生错误的路径，并生成了一个看似合理的、针对该错误路径的后续内容。

类比： 想象一个学生正在画一张寻找宝藏的地图，但他不小心把路画进了沼泽地。一个天真的老师看到这条通往沼泽的路后，可能会说：“好吧，既然你正走向沼泽，那么下一步就是游泳吧。” 老师本想提供帮助，但实际上却在帮助学生越走越偏。老师的信号变得“不可靠”，因为它在强化一个错误。

解决方案：“质量感知型”导师

作者提出了一种新方法，称为 质量感知自我蒸馏（Quality-Aware Self-Distillation）。与其盲目跟随老师的引导，学生会进行检查：“老师的建议是否仍然有可能达到目标？”

他们使用了两个巧妙的工具来优化教学过程：

1. “软正确性门控”（交通灯）

系统会将老师的下一个猜测与目标按钮的实际位置（即“地面真值/Ground Truth”）进行对比。

检查机制： “如果学生目前指向左侧，而老师建议了一个会导致光标落在屏幕右侧的数字，这是否可能发生？”
结果：
- 绿灯： 如果老师的猜测仍处于目标可能存在的范围内，学生会充分听取。
- 黄灯： 如果老师的猜测是不可能的（已经偏离得太远了），学生并不会完全忽略老师（因为那样太严厉了）。相反，它会调低音量。它会说：“好吧，我听到了，但我只会听取你一半的内容。”
为什么是“软”的？ 即使老师错了，他们可能仍然有一些关于如何从错误中恢复的有用信息。完全丢弃信号就像因为老师的一次失误就开除老师；而调低音量则像是告诉他们：“请小声一点，但请继续说。”

2. “教师概率缩放”（信心计）

即使老师的猜测通过了“绿灯”检查，系统仍会追问：“老师有多确定？”

如果老师有 99% 的把握（“我绝对确定这是下一个数字”），学生会非常仔细地倾听。
如果老师只有 51% 的把握（“我觉得是这个，但也可能是那个”），学生会比较随意地倾听。
类比： 想象一位天气预报员。如果他说：“会下雨，我有 99% 的把握”，你会带上伞。如果他说：“可能会下雨，我也许有 50/50 的把握”，你只会随身带件外套。这种方法根据置信度水平来缩放学习权重。

结合两者的魔力

论文发现了一个令人惊讶的结果：仅使用其中一种工具效果并不理想。

如果你只使用 交通灯，你可能会在无意中让一位虽然有些不确定但其实是对的老师保持沉默。
如果你只使用 信心计，你可能会过度听信一位虽然非常有信心但完全错误的老师（因为他们正自信满满地把你引向沼泽）。

两者结合，才是完美的： 交通灯过滤掉了不可能的建议，而信心计确保你能够更认真地对待那些既可行又确定的建议。

实验结果

研究人员在六个不同的基准测试（如不同的电子游戏或机器人的测试驾驶场景）上测试了该方法。

这种新方法击败了所有之前的“强力”老师。
与标准的训练方法相比，它显著提高了机器人的准确率。
它证明了在可以通过物理方式检查答案是否“在目标范围内”（如坐标任务）的任务中，你可以教会 AI 如何更聪明地判断哪些建议值得信任。

总结

这篇论文告诉我们，在训练 AI 寻找屏幕上的物体时，我们不应该让 AI 盲目地模仿它的老师。我们需要一个系统来检查：

这个建议甚至可能吗？（如果不可能，就调低音量）。
老师是否有信心？（如果有，就调高音量）。

通过这样做，AI 学习得更快，也犯更少的错误，有效地实现了“在正确的时间信任正确的老师”。

技术摘要：信任正确的老师：面向 GUI 定位的质量感知自蒸馏

1. 问题陈述

图形用户界面（GUI）定位要求视觉语言模型（VLM）在高清截图中识别特定的界面元素，并预测精确的屏幕坐标。由于目标元素具有尺寸小、视觉相似度高以及排列密集等特点，这一任务极具挑战性。

现有的后训练方法在处理这种对坐标敏感的领域时面临显著局限：

监督微调 (SFT)： 将标注坐标视为硬目标，除了最终答案外几乎不提供其他信息，且无法利用教师模型对于合理坐标标记（tokens）的确定性或“暗知识”（dark knowledge）。
强化学习 (例如 GRPO)： 虽然优化了任务结果，但依赖于稀疏奖励和多次采样（rollouts），对于细粒度的定位提供了较弱的引导。
朴素在策略自蒸馏 (Naive OPSD)： 虽然在提供密集的教师级标记（token）信号方面具有潜力，但朴素 OPSD 不适用于 GUI 定位。在 OPSD 中，教师模型会对学生生成的序列前缀进行查询。如果学生生成了错误的前缀（错误的候选空间假设），教师随后的逻辑值（logits）可能会成为该错误坐标的一个合理延续，而非指向真实目标的信号。这会导致不可靠的教师信号，从而降低性能。

2. 方法论：质量感知自蒸馏

作者提出了质量感知自蒸馏，该方法通过利用 GUI 定位的空间可验证性来校准坐标标记的监督。该方法结合了两种互补的机制：软纠错门控 (Soft Correctness-Aware Gating) 和 教师概率缩放 (Teacher-Probability Scaling)。

2.1 特权信息构建

遵循前人工作 (GUI-SD)，该方法构建了一个特权教师输入 $(x^+, I^+)$ ，其中目标区域被视觉突出显示，而任务无关区域通过保持布局的区域掩码被抑制。学生基于原始输入 $(x, I)$ 进行条件化，而教师基于特权输入 $(x^+, I^+)$ 生成信号。

2.2 软纠错门控

该机制旨在解决教师基于错误的学生前缀提供看似合理但实际错误的延续的问题。

验证： 对于坐标标记位置 $t$ ，该方法检查教师预测的最高坐标标记 ( $d^*_t$ ) 在给定当前学生生成的前缀下，是否仍能补全为一个位于真实边界框区间 ( $B_{a(t)}$ ) 内的有效坐标。
二值指示器： 如果补全是可能的（兼容），则设置二值指示器 $h_t$ 为 1；否则（不兼容），则为 0。
软门控： 该方法并未完全丢弃不兼容的信号（硬门控），而是应用了一个软门控 $g_t = \alpha + (1-\alpha)h_t$ $g_{t} = α + (1 - α) h_{t}$ 。
- 如果兼容 ( $h_t=1$ )，则 $g_t = 1$ 。
- 如果不兼容 ( $h_t=0$ )，则 $g_t = \alpha$ （实验中设为 0.5）。
- 这种做法是降低不可靠信号的权重，而非消除它们，从而在减少负面影响的同时保留潜在的有用的纠偏信息。

2.3 教师概率缩放

仅靠纠错门控并不能考虑到教师的置信度。两个信号可能都通过了门控，但其中一个可能高度自信，而另一个则处于决策边界附近。

缩放因子： 该方法使用教师对最高坐标标记预测的概率 $p_t = P^T_T(d^*_t)$ 作为缩放因子。
机制： 更高的 $p_t$ （更高的置信度）会导致更强的蒸馏权重，而较低的 $p_t$ （更高的不确定性）则会软化信号。这确保了即使是空间兼容的信号也会根据其可靠性进行加权。

2.4 加权逆向 KL 目标函数

最终的损失函数将这些因素组合成一个标记级权重 $w_t$ ：
$w_t = (1 - r_t) + r_t \cdot g_t \cdot \lambda \cdot p_t$
其中 $r_t$ 是坐标标记的指示器， $\lambda$ 是缩放系数（设为 3）， $g_t$ 是软门控。

非坐标标记以权重 1 进行蒸馏。
兼容的坐标标记权重为 $\lambda p_t$ 。
不兼容的坐标标记权重为 $\alpha \lambda p_t$ 。

3. 核心贡献

质量感知自蒸馏： 一种用于 GUI 定位的新方法，它根据教师信号的可靠性（空间兼容性）和确定性（概率），而非将其视为同等可信，来校准教师信号。
信号可靠性的实证研究： 本文利用 GUI 定位具有空间可验证性的特性，实证研究了在在策略自蒸馏中应如何处理不可靠的教师信号，证明了软降权策略优于硬丢弃或盲目模仿。
互补机制： 作者证明了仅使用门控或仅使用缩放都会导致性能下降，两者的结合是必要的。门控抑制了不可靠信号，而缩放则校准了剩余可靠信号的强度。

4. 实验结果

实验在六个 GUI 定位基准测试集（ScreenSpot-Pro, ScreenSpot-v2, UIEG, OSWorld-G, OSWorld-G-R, 和 MMG）上进行，使用 Qwen3.5-9B 作为骨干网络。

性能： 所提方法实现了 72.23 的宏平均准确率，超过最强的基线 (GUI-SD) 2.16 个百分点。
对比： 它显著优于 SFT (+4.14 点) 和 GRPO (+6.37 点)，也优于 Naive-OPSD 和 Vision-PV-Only 基线。
消融实验：
- 组件协同作用： 仅使用门控或仅使用缩放的结果均低于基线，证实了它们的互补作用。
- 门控强度： 软门控 ( $\alpha=0.5$ ) 的表现优于硬门控 ( $\alpha=0$ )，这表明完全丢弃未通过门控的信号会移除有价值的纠偏引导。
- 缩放系数： 缩放系数 $\lambda=3$ 取得了最优结果，平衡了抑制不可靠信号与对可靠标记进行充分监督之间的关系。

5. 意义与主张

本文主张，空间可验证性是提高自蒸馏中教师信号可靠性的一个关键且被低估的信号。不同于通过间接代理（如熵、困惑度）推断可靠性的通用标记预测任务，GUI 定位允许直接验证预测在给定真实约束下是否仍然可行。

作者认为，他们的方法代表了从“盲目模仿”到“可靠模仿”的转变。通过根据预测与目标区域的兼容性以及教师的置信度对教师信号进行软降权和缩放，该方法减轻了强化错误空间假设的风险，同时保留了使自蒸馏有效的密集、细粒度的学习信号。这项工作表明，对于具有可验证约束的任务，可靠性感知型蒸馏策略可以在不需要复杂强化学习设置的情况下显著提升模型性能。