Beyond ReinMax: Low-Variance Gradient Estimators for Discrete Latent Variables
本文针对 ReinMax 估计器方差过高的问题,提出了结合 Rao-Blackwell 化与控制变量技术的 ReinMax-Rao 和 ReinMax-CV 估计器,在降低方差的同时提升了离散潜变量变分自编码器的训练性能,并从数值积分角度重新审视了 ReinMax 的构建原理。
329 篇论文
本文针对 ReinMax 估计器方差过高的问题,提出了结合 Rao-Blackwell 化与控制变量技术的 ReinMax-Rao 和 ReinMax-CV 估计器,在降低方差的同时提升了离散潜变量变分自编码器的训练性能,并从数值积分角度重新审视了 ReinMax 的构建原理。
该论文通过递归应用 Borell-Tsirelson-Ibragimov-Sudakov 不等式证明高斯过程后验采样强化学习(GP-PSRL)算法在连续控制中的访问状态有界,并利用链式方法推导出了针对无界状态空间的紧贝叶斯后悔界 ,从而解决了现有理论在最大信息增益依赖性和状态空间无界性方面的局限。
本文提出了一种针对时间序列分类问题的新型反事实解释生成方法,通过在输入空间进行梯度优化并结合软动态时间规整(soft-DTW)与k近邻约束,有效生成了兼具有效性、稀疏性、邻近性以及符合真实时间分布结构的高可信度反事实样本。
该论文通过证明在线均值差估计量与带有最优控制变量的离线逆倾向评分估计量等价,以及回归调整方法与双重鲁棒估计的结构一致性,统一了在线实验与离线策略评估中常用的方差缩减方法。
该论文提出了一种基于分数阶微积分中加权分数阶魏尔积分的优化算法,通过引入动态加权的历史梯度记忆机制替代瞬时梯度,有效解决了极度不平衡数据(如金融欺诈检测)中的过拟合问题,并显著提升了模型性能。
该论文提出了一种基于“去校准”(decalibration)技术的高效可信预测方法,通过为每个类别生成概率区间来表征认知不确定性,从而克服了传统集成方法的高计算成本,成功将可信预测应用于 TabPFN 和 CLIP 等复杂基础模型。
该论文针对凹多目标强化学习中因非线性标量化导致的策略梯度偏差问题,提出了一种结合多水平蒙特卡洛估计的自然策略梯度算法,证明了其能以最优的 样本复杂度克服现有方法的偏差瓶颈。
本文提出了生成对抗回归(GAR)框架,通过最小化生成器在对抗性策略下与真实数据在可导出风险泛函(如 VaR 和 ES)上的条件风险差异,从而生成能更好地保留下游风险特征的稳健条件风险场景。
该论文证明了在马尔可夫决策过程中,基于学习到的谱特征进行线性价值函数近似的误差上界与状态图的代数连通性密切相关,并给出了从特征估计到整体误差分解的完整理论分析,且该结论适用于非均匀策略及非对称转移核的通用场景。
本文提出了一种名为 Momentum SVGD-EM 的加速算法,通过在模型参数和概率测度空间中引入 Nesterov 动量,显著提升了基于 Stein 变分梯度下降的最大边际似然估计的收敛速度。
该论文提出了一种名为结构因果瓶颈模型(SCBMs)的新型结构因果模型,其核心假设是高维变量间的因果效应仅依赖于低维的瓶颈统计量,从而为任务特定的降维、可识别性分析及小样本迁移学习中的效应估计提供了灵活且易于估计的框架。
该论文提出了一种基于凸松弛和分支定界的新框架,将低秩矩阵补全问题转化为可证明最优解的凸优化问题,从而在显著缩小最优性间隙的同时,大幅降低了测试集误差。
该论文提出了一种基于最优传输的分布式混合专家模型聚合框架,通过最小化传输散度将本地模型高效整合为全局估计器,仅需单次通信即可在保持模型结构的同时实现媲美集中式训练的性能并显著降低计算成本。
本文针对截尾生存数据,提出了两种分别以截断平均生存时间和缓冲生存概率为目标的鲁棒治疗规则学习准则,开发了基于采样的差凸算法并进行了理论与实证验证。
本文从强化学习视角出发,通过引入随机停止时间和累积剩余熵正则化,将连续时空最优停止问题转化为有限燃料奇异随机控制问题,进而利用动态规划原理确定最优探索策略,并提出了具有策略改进保证且适用于高维场景的模型基与模型无关(Actor-Critic)强化学习算法。
该论文提出了名为 EarthquakeNPP 的基准测试平台,旨在通过引入更严谨的数据集和评估协议来弥补现有神经点过程(NPP)基准的缺陷,实验结果表明当前测试的 NPP 模型在加州地震预测任务中均未能超越经典的 ETAS 模型,暗示其尚未具备实际预报能力。
该论文提出了一种几何记忆理论,揭示扩散模型在训练数据稀缺时会经历从泛化到精确复制的平滑过渡,其过程表现为特征按显著性顺序逐步“冻结”,最终导致模型坍缩至少数低能态配置。
本文提出了一种名为 CLIQUE 的新颖模型无关方法,通过量化期望来捕捉局部依赖关系,从而克服了 LIME 和 SHAP 等现有方法在反映局部变量交互及多分类问题上的局限性,并有效降低了预测偏差。
本文提出了一种不依赖随机传递性假设的广义成对比较统计模型,该模型利用低维斜对称矩阵刻画比较概率,并开发了具备稀疏数据适应性与极小化极大最优性的估计方法,从而在理论与实证上显著超越了传统的 Bradley-Terry 等模型。
该论文提出了一种利用 Cholesky 分解将类内协方差纳入优化问题的算法,以解决传统支持向量机在非欧几里得空间中的次优性问题,并通过实验证明该协方差调整模型在多项性能指标上显著优于传统 SVM 及白化算法。