Efficient Reasoning at Fixed Test-Time Cost via Length-Aware Attention Priors and Gain-Aware Training
该论文提出了一种仅在训练阶段引入长度感知注意力先验(RPA)和增益感知控制器(Guardian)的方法,在无需增加推理计算成本的前提下,显著提升了中小规模 Transformer 模型在严格算力约束下的长序列推理效率与准确性。
2294 篇论文
该论文提出了一种仅在训练阶段引入长度感知注意力先验(RPA)和增益感知控制器(Guardian)的方法,在无需增加推理计算成本的前提下,显著提升了中小规模 Transformer 模型在严格算力约束下的长序列推理效率与准确性。
该论文提出了一种基于最优传输的分布无关转导泛化界,通过计算编码特征分布间的 Wasserstein 距离,不仅提供了高效可计算且与图节点分类实证泛化性能强相关的理论界,还揭示了 GNN 聚合过程如何通过深度依赖的表征分布变换来解释深度与泛化误差之间的非单调关系。
本文提出了受树突计算机制启发的 DendroNN 模型,通过无梯度的重连机制识别时空脉冲序列,并设计了基于时间轮的异步数字硬件架构,从而在事件驱动数据处理中实现了比现有神经形态硬件高 4 倍的能效。
本文填补了高斯过程汤普森采样(GP-TS)在后悔界分析上的空白,通过证明其下界、二阶矩上界以及期望温和后悔界,并放宽了时间视界 上累积后悔上界的推导条件,从而建立了多项式依赖 的后悔下界及改进的累积后悔上界。
该论文提出了一种基于代理变量的两阶段框架,利用变分自编码器分离潜在的内容与偏差变量,以识别并校正由调查和行政记录中系统性测量误差导致的聚合结果变量偏差。
该论文基于高斯比较定理,建立了机器学习训练动力学与更易分析的对偶动力系统之间的非渐近联系,不仅严格证明了动态平均场理论在渐近场景下的有效性,还提出了一种迭代细化方案以在有限样本域中引入涨落参数从而获得更精确的训练演化描述。
本文提出了 CLoE 框架,通过引入模态专家与区域专家的双重一致性学习目标及可靠性感知特征重校准机制,有效解决了多模态医学图像分割中因模态缺失导致的专家分歧与融合不稳定问题,显著提升了模型在缺失模态场景下的性能及临床关键结构的鲁棒性。
该论文提出了 Reward-Zero,一种利用语言嵌入将自然语言任务描述转化为密集语义进展信号的通用隐式奖励机制,旨在无需特定任务工程的情况下加速强化学习训练、提升泛化能力并解决复杂任务。
该论文针对图异常检测中的跨域泛化难题,提出了一种名为 TA-GGAD 的测试时自适应图基础模型,通过定义并建模“异常异配性”(Anomaly Disassortativity)特征失配问题,实现了仅需单次训练即可在多个不同领域图上达到最先进的检测精度。
本文提出了一种数据驱动框架,通过结合多层感知机回归器与条件生成对抗网络来预测材料挤出增材制造中的表面粗糙度,并开发了交互式 3D 可视化决策支持系统,以在制造前直观评估不同工艺参数和朝向对零件表面质量的影响。
该论文提出了一种结合差分隐私的零阶优化框架,将数据集压缩技术扩展至决策树和 Cox 回归等非可微临床模型,从而在保护患者隐私的同时实现了模型无关的临床数据共享。
本文提出了一种名为 CAHC 的端到端对比学习方法,通过结合节点与超边级别的对比学习目标以及聚类导向的联合优化,实现了属性超图嵌入学习与聚类结果的同步获取,从而在八个数据集上取得了优于现有基线的性能。
本文提出了一种结合 Voronoi 增强传感器优化的物理信息神经网络(VSOPINN),通过可微 Voronoi 构建与端到端传感器布局优化,显著提升了稀疏及故障条件下复杂流场的高保真重构精度与鲁棒性。
本文提出了 SPAARS 框架,通过结合课程学习策略,先在低维潜在空间进行安全高效的探索以规避重建损失带来的性能瓶颈,再无缝过渡到原始动作空间进行精细化利用,从而在离线到在线强化学习中显著提升了样本效率与最终性能。
该论文提出了全卷积扩散模型(FCDM),通过采用类似 ConvNeXt 的骨干网络,在显著降低计算成本、训练步数和硬件需求的同时,实现了与主流 Transformer 架构相媲美的生成性能,从而证明了现代卷积设计是高效扩展扩散模型的有效替代方案。
本文针对稀疏采样 GPS 数据在密集城市环境中匹配路网时存在的效率与精度局限,提出了包含动态缓冲区、自适应观测概率、改进的时间评分函数及行为分析在内的四项算法优化策略,并通过米兰真实数据验证了其在提升计算效率与路径质量方面的显著成效。
本文通过颜色混合任务系统分析了马尔可夫决策过程(MDP)设计要素对强化学习仿真到现实迁移的影响,并验证了基于物理的动力学模型在严格精度约束下能显著提升工业过程控制的实际成功率。
本文针对上下文多臂老虎机中的离线策略评估问题,提出了一种利用非参数模型构建权重以降低方差的非参数加权(NW)方法,并进一步结合奖励预测构建了模型辅助的非参数加权(MNW)估计器,在保持低偏差的同时显著提升了估计精度并优于现有技术。
本文提出了变分混合专家路由(VMoER)框架,通过将贝叶斯推理限制在专家选择阶段,在几乎不增加计算成本的情况下,显著提升了大规模混合专家模型在不确定性量化、路由稳定性及分布外检测方面的表现。
本文提出了一种名为“时间条件归一化流(tcNF)”的新框架,通过利用自回归机制对时间序列中的复杂依赖关系和不确定性进行精确建模,从而实现高效且鲁棒的异常检测。