💻 计算机科学

Gradient Alignment Dynamics in Mixture-of Experts: The Gaussian Attractor, Laminar Flow Regime, and Output-Space Isolation

本文为混合专家模型(MoE)建立了一个统一的理论框架,该框架将跨专家梯度对齐识别为专家崩溃的根本原因,引入了梯度路径假设和雷诺数诊断来表征这些动态过程,并证明了通过 Mosaic Tile 硬路由实现的架构输出空间隔离能有效消除视觉和语言任务中的灾难性遗忘与专家崩溃。

庆君 张2026-07-23
📄 其他

Humans Disengage, Reasoning Models Persist: An Item-Controlled Dissociation in Deliberation Allocation

本文揭示了人类与大型推理模型(LRMs)在决策分配上的一个关键脱节:尽管两者总体上都会在更难的问题上花费更多时间,但人类在最终出错的项目上投入的时间较少(放弃困难任务),而 LRMs 则矛盾地在失败的问题上生成更长的推理轨迹(在不确定性中持续),这凸显了尽管表面相似,但在停止与控制策略方面存在根本性的差异。

Han-yu Wang2026-07-23