Projected subgradient methods for paraconvex optimization: Application to robust low-rank matrix recovery
本文研究了基于投影次梯度法的拟凸优化问题,分析了多种步长策略在拟凸性与赫尔德误差界条件下的收敛性,并通过鲁棒低秩矩阵恢复等数值实验验证了该方法的有效性。
342 篇论文
本文研究了基于投影次梯度法的拟凸优化问题,分析了多种步长策略在拟凸性与赫尔德误差界条件下的收敛性,并通过鲁棒低秩矩阵恢复等数值实验验证了该方法的有效性。
该论文通过 2-Wasserstein 梯度流分析,证明了在使用 Lipschitz 连续激活函数训练浅层神经网络时,优化过程中的种群风险衰减速度受限于 (或针对特定局部 Lipschitz 函数的 ),从而揭示了目标函数光滑度与神经网络优化中维度灾难之间的内在联系。
本文提出了一种结合梯度裁剪、动量机制与误差反馈的新算法 Clip21-SGD2M,旨在解决联邦学习中难以同时实现强差分隐私保障与最优优化收敛速度的难题,并在数据异构的非凸问题中证明了其理论优势与实验性能。
本文比较了近年来由单调集刻画和惠特尼延拓性质等动机所提出的、关于卡农群中水平向量非刚性(如可塑性及多指数映射开性)的几种不同概念。
本文提出了一种基于核函数的最大因果熵逆强化学习方法,用于在无限时域平稳平均场博弈中从专家演示推断非线性奖励函数,并通过证明对数似然目标的平滑性建立了理论一致性,同时在有限时域非平稳设定下提出了基于凸对偶的替代算法,显著提升了复杂场景下的策略恢复精度。
本文提出了一种基于时间缩放二阶微分系统离散化的惯性加速原对偶算法,用于求解带线性等式约束的非光滑凸优化问题,并证明了该算法在原始 - 对偶间隙、可行性违反度及目标残差方面具有快速收敛性。
本文提出了一种结合方差缩减技术与自适应步长策略的随机梯度算法(PSGA),用于求解由光滑与非光滑凸函数组成的复合优化问题,并证明了该算法在 Lipschitz 连续条件下的强收敛性、梯度估计误差的收敛性以及 的收敛速率,且通过逻辑回归和 Lasso 回归实验验证了其有效性。
本文提出了一种基于矩阵表述和路径集极值求解的通用框架,用于推导置换流水车间调度问题的上下界,该框架在多项式时间内显著提升了 Taillard 和 VRF 基准测试集上的界限精度,并进一步改进了关于下界质量及算法渐近近似比的理论猜想。
本文提出了一种基于双重通信对称 ADMM 的通信高效去中心化优化算法,通过引入多轮通信机制和最优通信规则,在较弱的假设下实现了线性收敛,并显著降低了回归与分类任务中的总体通信成本。
本文提出了 Deep FlexQP,这是一种基于深度展开的加速非线性规划求解器,它通过引入弹性松弛确保在可行与不可行约束下均能收敛,并利用结合拉格朗日乘子的归一化损失函数及 PAC-Bayes 泛化界,在轨迹优化和安全过滤等任务中显著提升了求解速度与成功率。
本文提出了一种用于无向网络下多智能体约束共识优化的分布式加速原对偶回溯算法(D-APDB),该方法无需预先知道 Lipschitz 常数即可自动适应,并在私有非线性约束下实现了最优的 收敛率。
本文通过一种不依赖限制性假设的直接简化分析,为 Muon 优化器建立了比现有结果更精确且适用范围更广的收敛性保证,显著提升了其非凸优化场景下的理论收敛速率。
该论文提出了一种将 Transformer 层解释为优化算法迭代的变分框架,并基于此设计了名为 YuriiFormer 的 Nesterov 加速架构,其在 TinyStories 和 OpenWebText 数据集上均优于 nanoGPT 基线,证明了优化理论洞察能转化为实际性能提升。
本文证明了在预算不确定性模型下,鲁棒置换流水车间问题可通过求解多项式个名义问题实例来解决,从而得出该问题在双机情况下可多项式时间求解、在任意固定机器数下可多项式时间近似求解的结论,并提供了针对双机和三机情形的运行时间对数级改进。
该论文通过证明在有限群作用下,实像空间在商空间中的相对体积随群阶数超指数衰减,揭示了度量稀有性如何导致非对称临界点统计上可忽略,并驱动优化问题的全局极小值趋向于具有非平凡稳定子群的高余维边界,从而从几何角度解释了 G 不变势函数中对称性涌现及能级排序的机制。
本文提出了一种基于多阶段随机规划与 Fleming-Viot 粒子方法的风险缓解策略,通过生成偏向低风速等罕见事件的场景,优化常规发电厂的调度,以应对高比例间歇性可再生能源接入下因长期能源短缺引发的系统风险。
本文从现代策略优化视角重新审视混合 H2/H∞控制问题,通过扩展凸提升框架证明了其非凸优化景观具有“良性”特性(即所有驻点均为全局最优),从而揭示了该问题的隐藏凸性并为大规模场景下的可扩展策略迭代方法设计奠定了理论基础。
本文提出了一种基于集合成员法的定位方法,通过假设距离测量存在未知但有界的误差,将非凸的可行解集包含在一个由球体交集和多面体构成的“定位集”内,并利用凸规划高效计算该集合的紧外近似(如超矩形或椭球),从而提供具有误差保证的集合值位置估计。
本文在关于动力学系数和约束集正则性的温和条件下,为带有状态约束的线性二次型随机最优控制问题提供了概率解,给出了值函数的概率表示及适应于驱动布朗运动滤过的强形式最优控制,并针对特定案例推导了显式公式。
本文通过新颖的原始 - 对偶分析,证明了在高维随机特征下,梯度下降训练浅层 ReLU 模型时的隐式偏差以高概率逼近最小 L2 范数解,且两者之间的差距为 。