Randomized Kriging Believer for Parallel Bayesian Optimization with Regret Bounds
该论文提出了一种名为“随机克里金信徒”(Randomized Kriging Believer)的并行贝叶斯优化方法,该方法在保持低计算复杂度、实现简单及适用于异步并行等优势的同时,实现了贝叶斯期望后悔值的理论保证,并通过实验验证了其在合成、基准及真实数据上的有效性。
333 篇论文
该论文提出了一种名为“随机克里金信徒”(Randomized Kriging Believer)的并行贝叶斯优化方法,该方法在保持低计算复杂度、实现简单及适用于异步并行等优势的同时,实现了贝叶斯期望后悔值的理论保证,并通过实验验证了其在合成、基准及真实数据上的有效性。
该论文提出了一种基于划分的函数型岭回归框架,通过将系数函数分解为不同分量并实施差异化惩罚,有效解决了高维函数型线性模型中的多重共线性与过拟合问题,在提升数值稳定性与可解释性的同时实现了偏差与方差的最优权衡。
本文提出了 Co-Diffusion 框架,通过两阶段亲和性感知潜在扩散机制,有效解决了现有深度模型在冷启动场景下的表示崩溃问题,显著提升了药物 - 靶点亲和力预测在未见分子骨架和新蛋白家族上的泛化能力。
该论文提出了一种基于高度增强 ReLU 的三维网络架构,通过高效表示锯齿函数,首次实现了针对解析函数和一般 函数的非渐近高阶定量逼近,显著提升了逼近效率并优化了网络参数设计。
本文提出了一种基于最小误差熵原则的深度学习非参数回归方法,通过建立非惩罚和稀疏惩罚深度神经网络在强混合观测数据下的期望超额风险上界,证明了该方法在满足高斯误差假设时能达到与下界匹配的极小极大最优收敛速率。
该论文通过形式化定义“算法捕获”并分析无限宽 Transformer,揭示了其虽具备通用表达能力,却存在倾向于学习低复杂度算法(如搜索、复制和排序)的归纳偏置,从而无法有效捕捉更高复杂度的算法。
本文提出了一种名为诊断传输映射的方法,通过构建协变量依赖的概率变换来校正基础预测模型在稀有事件中的分布偏差,从而在提供实时局部诊断的同时生成更可信的预测分布,并在热带气旋强度预测中显著优于国家飓风中心的业务预报。
该论文提出了一种名为 RIE-Greedy 的新方法,通过利用基于交叉验证的模型正则化过程中固有的随机性来诱导类汤普森采样的探索行为,从而在无需复杂假设的情况下,使纯贪婪策略在复杂奖励模型和大规模业务场景中也能实现高效探索。
本文提出了一种名为“外伸”(outrigger)的局部多项式估计量,通过利用条件得分函数估计和扩展数据窗口,在无需独立性或对称性等结构假设的情况下,实现了对不同条件误差分布的自适应,并证明了其在 Hölder 类上的极小极大最优性。
该论文提出了一种名为 wcPCA 的统一框架,用于解决多域数据分布偏移下的主成分分析最坏情况优化问题,并证明了其在源域及目标域凸包内的最优性、一致性以及向矩阵补全问题的扩展能力,实验表明该方法在显著改善最坏情况性能的同时仅轻微牺牲了平均性能。
该论文指出,尽管扩散模型在小 误差下能高效采样,但朗之万动力学对得分函数估计误差缺乏鲁棒性,即使在简单高维分布中,任意多项式时间内的采样结果也会因微小的估计误差而与目标分布产生巨大的总变差距离,从而论证了在实际应用中应优先选择扩散模型并慎用基于估计得分的朗之万动力学。
该论文针对在缺失随机标签和空间依赖场景下使用机器学习预测值进行推断时,交叉拟合导致的方差估计失真问题,提出了一种结合双重稳健估计与自助法空间异质自相关一致(HAC)方差校正的新方法,从而实现了更稳健且渐近有效的置信区间。
本文针对决策树模型中因标签随机性导致的观测多重性,提出了叶节点遗憾与结构遗憾两种互补度量并建立理论分解框架,实验表明结构遗憾是多重性的主要驱动因素,且利用该度量进行选择性预测可显著提升模型安全性。
本文提出了一种基于自由能的社会多臂老虎机学习算法,使智能体能够在无需奖励信息或先验规范的情况下,自主评估并有效利用非专家及多样化同伴的行为策略,从而在保持对数遗憾的同时显著提升个体学习性能。
本文证明了在-集半带问题中,结合特定分布(Fréchet 和 Pareto)与几何重采样的 Follow-the-Perturbed-Leader (FTPL) 算法,不仅能在对抗和随机设置下分别达到最优的对数遗憾,实现“双世界”最优性,还将计算复杂度从降低至。
该论文从学习理论视角出发,通过引入“重放对手”模型,精细刻画了生成式语言模型在训练数据混入自身历史输出(即模型崩溃)时的学习极限,揭示了重放机制虽不影响最强的一致性生成,却会破坏较弱的非一致性及极限生成能力,从而从理论上验证了数据清洗等实践策略的有效性及其局限性。
本文旨在为新兴的四元数机器学习领域奠定基础,系统阐述了用于建模四元值随机过程的增强统计理论、利用该统计特性的广泛线性模型、算法推导所需的四元数微积分与代数,以及实际应用中至关重要的均方估计方法。
本文提出了一种基于最大均值差异(MMD)分布等价检验的“先检验后合并”新框架,通过引入部分自助法和置换法来严格控制在异质性历史对照数据融合过程中的第一类错误率,从而在提升统计功效的同时确保因果推断的有效性。
本文提出了 EnTransformer,一种将随机学习范式"engression"与 Transformer 架构相结合的新型深度生成式框架,通过引入随机噪声并优化基于能量的评分目标,在不依赖参数假设的情况下实现了多变量时间序列的相干概率预测,并在多个基准数据集上展现出优于现有模型的校准性能。
本文提出了局部邻接谱嵌入(LASE)方法,通过加权谱分解揭示网络中的局部低维结构,在理论上证明了其能平衡局部化统计成本与截断误差,并在实验中展示了其在局部重建、可视化及构建高保真全局视图方面的优越性。