Self-Distillation for Multi-Token Prediction
该论文提出了一种名为 MTP-D 的自蒸馏方法及其循环扩展策略,通过以极低的训练成本显著提升多 Token 预测(MTP)的接受率和推理速度,同时有效解决了现有 MTP 方法中接受率低和多头联合训练困难的问题。
13028 篇论文
该论文提出了一种名为 MTP-D 的自蒸馏方法及其循环扩展策略,通过以极低的训练成本显著提升多 Token 预测(MTP)的接受率和推理速度,同时有效解决了现有 MTP 方法中接受率低和多头联合训练困难的问题。
该论文提出了名为 AttentionPack 的自适应优化框架,通过多注意力头压缩和特定 Token 的感知解压机制,显著降低了大型视觉语言模型在长上下文解码过程中的显存占用并提升了推理效率,同时保持了模型输出质量。
该论文提出了一种适用于无限时域马尔可夫决策过程的统一 UCB 风格算法,首次实现了针对平均奖励和-regret 的最优方差依赖 regret 界,并完全刻画了在有/无最优偏置跨度先验知识下对跨度参数的最优依赖关系。
本文提出了名为 ORACLE 的生成模型,通过结合 Transformer、条件变分自编码器(CVAE)和对比学习技术,利用 CASAS 智能家居数据集解决了数据不平衡和样本稀缺等问题,从而生成更逼真、非单调的 NPC 室内日常活动计划以增强数字环境的沉浸感。
该研究探讨了利用大语言模型(如 Gemini 2.5)在医患问诊中生成基于循证医学指南的针对性问题,以辅助医生推理并减轻认知负担,实验结果表明尽管模型尚不完全可靠,但已能生成具有临床意义和指南相关性的问题,展现出在初级医疗场景中落地应用的潜力。
本文提出了 ChargeFlow 模型,这是一种基于流匹配技术的电荷条件电子密度 refinement 方法,它利用 3D U-Net 速度场将原子密度叠加态转化为 DFT 电子密度,在包含多种材料体系的基准测试中显著提升了电荷响应精度,并成功实现了下游化学分析(如 Bader 划分)的可靠应用。
本文提出了一种名为 GRMLR 的知识增强分类框架,通过引入生态知识图谱作为结构先验,利用宏微耦合与微生物共现模式约束特征空间,从而在仅依赖微生物丰度数据的情况下,有效解决了深海冷泉阶段推断中因样本量极小()而导致的过拟合问题,实现了比传统方法更鲁棒的生态评估。
本文提出了一种将无线机器对机器通信与在线调度深度融合的新框架,通过让智能 AGV 交换意图信息来克服部分可观测性挑战,从而在动态智能工厂环境中显著提升了多机器人运输系统的任务分配与路径规划效率。
该论文首次系统性地揭示了“价格反转”现象,即由于推理模型在思考令牌消耗上存在巨大异质性和不可预测的波动,导致按列表价格选择的模型在实际使用中往往成本更高,从而证明当前 API 定价无法准确反映真实推理成本。
本文提出了一种基于基尔霍夫电流定律构建的 Kirchhoff 启发式神经网络(KINN),该架构通过数值稳定的状态变量更新机制,在保持物理一致性和可解释性的同时实现了高阶演化分量的显式解耦与编码,并在偏微分方程求解及图像分类任务中展现出超越现有最先进方法的性能。