LoRA-Ensemble: Efficient Uncertainty Modelling for Self-Attention Networks
本文提出了 LoRA-Ensemble,一种基于低秩适应(LoRA)的参数高效隐式集成方法,它通过让多个集成成员共享预训练自注意力网络并仅使用独立的低秩投影矩阵,在显著降低计算和内存成本的同时,实现了超越现有隐式技术、媲美显式集成且校准更优的预测性能。
2325 篇论文
本文提出了 LoRA-Ensemble,一种基于低秩适应(LoRA)的参数高效隐式集成方法,它通过让多个集成成员共享预训练自注意力网络并仅使用独立的低秩投影矩阵,在显著降低计算和内存成本的同时,实现了超越现有隐式技术、媲美显式集成且校准更优的预测性能。
该论文提出了一种名为 FEX 的新框架,通过利用策略梯度方法优化概率分布来生成归因解释,从而在保持高质量和广泛适用性的同时,将推理时间和内存占用分别降低了 97% 和 70%,有效解决了现有解释方法效率低下的问题。
该论文揭示了扩散模型在少样本微调过程中存在的“腐蚀阶段”现象,并通过引入贝叶斯神经网络扩展学习分布,有效缓解了该问题并提升了生成图像的质量与多样性。
本文提出了一种名为 DKDL-Net 的轻量级滚动轴承故障诊断模型,该模型通过解耦知识蒸馏与低秩自适应微调技术,在显著降低参数量(仅 6838 个)的同时实现了 99.48% 的高精度,性能优于现有最先进模型。
该论文针对在线内容平台因算法竞争导致的实验干扰问题,提出了一种结合算法选择与用户响应模型的半参数结构化框架,通过扩展双重机器学习理论来构建无偏估计量,从而准确评估算法全局推广效果并纠正传统估计量的严重偏差。
本文介绍了 LAMBDA,一种基于大语言模型的开源、无代码多智能体数据分析系统,它通过程序员与检查员角色的协同工作、用户直接干预机制以及外部知识集成能力,实现了高效且鲁棒的数据分析,从而降低了数据分析门槛并提升了人机协作效率。
本文提出了一种名为 OTAD 的新型两阶段最优传输诱导防御模型,通过结合最优传输正则化与凸积分问题求解,在确保局部 Lipschitz 连续性的同时实现对训练数据的精确拟合,从而在多种架构和数据集上展现出优于现有方法的鲁棒性。
该论文建立了基于小批量随机梯度下降优化的深度 Cox 模型中“小批量最大偏似然估计量”(mb-MPLE)的统计理论框架,证明了其一致性、最优收敛速率及渐近正态性,并提供了关于学习率与批量比等超参数调优的实用指导,从而解决了大规模数据下标准估计量难以计算的问题。
本文提出了一种结合退火重要性采样与变分推断的算法,通过重参数化证据下界并构建中间分布序列,有效解决了高维复杂数据下高斯过程潜在变量模型中提案分布难以生成的问题,从而实现了更紧的变分界、更高的对数似然及更稳健的收敛。
本文通过引入取值于任意度量空间 的核来定义 -网络,并构建了统一的 -Gromov-Wasserstein 距离框架,该框架不仅涵盖了许多已知变体,还证明了其具备度量性、可分性、完备性和测地性等优良性质,同时提供了适用于实际应用的计算下界与近似方法。
该研究通过对大量文献的综述和模拟实验,指出后验解释工具(如 SHAP 和 LIME)虽能解释模型预测,但因特征相关性和“拉什omon 效应”导致其难以可靠还原真实数据关系,因此警示商业研究不应将其用于假设验证,而应仅作为生成洞察的探索性工具。
本文通过建立公平的量化基准并引入包含数据移动开销的详细能耗模型,重新评估了脉冲神经网络(SNN)的能效,揭示了其在特定低脉冲率及中等时间步长条件下相比量化人工神经网络(QNN)具有显著能效优势,并指出优化后的 SNN 有望使智能手表的电池寿命翻倍。
该论文提出了一种新的耦合振荡器网络(CON)模型,通过赋予其拉格朗日系统结构、证明全局输入 - 状态稳定性并建立输入与潜在空间力的可逆映射,实现了基于原始像素反馈的机械系统高效潜在空间闭环控制。
本文提出了 xTED 框架,利用专门设计的扩散模型在数据层面直接对源域轨迹进行编辑以弥合跨域差距,从而在无需复杂模型架构的情况下显著提升目标域策略学习的性能。
本文提出了一种基于自举去噪能量匹配(BNEM)的新型玻尔兹曼采样器,该方法通过直接学习能量函数并结合自举技术平衡偏差与方差,在二维高斯混合模型和双势阱势等任务中展现了比现有方法更优越的性能和鲁棒性。
该论文针对具有通用状态和动作空间的有限时域马尔可夫决策过程,通过建立政策优化的聚克 - 洛雅斯维奇 - 库尔德卡(PŁK)条件,证明了策略梯度方法能在非凸景观下以非渐近速率收敛至全局最优策略,并首次为多周期库存系统和随机现金平衡问题提供了样本复杂度保证。
该论文提出了一种基于常时滞神经延迟微分方程(NDDEs)的框架,通过借鉴 Mori-Zwanzig 形式体系将隐藏变量转化为记忆项,从而在部分可观测条件下高效地学习非马尔可夫动力学系统。
该论文提出了 LS-Imagine 方法,通过构建长短期世界模型并模拟目标导向的跳跃状态转移,有效扩展了视觉强化学习智能体的想象视野,从而显著提升了 MineDojo 等开放世界环境中长程决策的探索效率。
该论文通过将动量 SGD 对抗训练视为离散时间动力系统并引入 PAC-Bayes 分析框架,从学习动态角度揭示了鲁棒过拟合的机制,并解释了鲁棒权重扰动在抑制损失曲率与优化效率之间的权衡。
该论文表明,在无需测试时梯度更新或显式系统模型的情况下,基于上下文学习的 Transformer 能够隐式推断隐藏状态,从而在从线性高斯到非线性等各种动态系统中实现媲美卡尔曼滤波及粒子滤波等经典方法的输出预测性能。