XConv: Low-memory stochastic backpropagation for convolutional layers
XConv 是一种无需修改架构或代码即可无缝集成的卷积层替代方案,它通过存储高度压缩的激活值并利用多通道随机迹估计来近似权重梯度,在显著降低显存占用(减少两倍以上)的同时保持了与精确梯度方法相当的训练性能。
230 篇论文
XConv 是一种无需修改架构或代码即可无缝集成的卷积层替代方案,它通过存储高度压缩的激活值并利用多通道随机迹估计来近似权重梯度,在显著降低显存占用(减少两倍以上)的同时保持了与精确梯度方法相当的训练性能。
该论文提出了一种将量化和稀疏化统一建模为加性噪声的框架,通过引入基于岭回归的去噪反量化变换来构建明确的梯度路径,从而解决了传统直通估计器在超低精度和稀疏训练中的不稳定性问题,实现了任意精度与稀疏度下的鲁棒训练并取得了最先进的性能。
该论文针对非正曲率度量空间(Hadamard 空间)中缺乏线性结构导致次梯度构造困难的问题,提出了一种基于 Busemann 函数的新型次梯度定义,并据此构建了具有复杂度保证的随机及增量次梯度优化算法,成功应用于 BHV 树空间等场景下的 -均值问题求解。
本文利用调和分析推翻了关于 Buvoli 提出的一种高阶显式时间步进格式在精度趋于无穷时仍能保持稳定的猜想,同时证明了该方法相较于传统显式格式具有显著增强的稳定性,并给出了确定特定抛物稳定性半径下最大允许精度的判据及统一的稳定性分析策略。
该论文通过建立随机迭代算子谱半径的新界及其与非交换代数中 Perron-Frobenius 理论的关联,推导出了高斯 - 塞德尔和 Kaczmarz 方法的渐近收敛速率,从而缩小了理论与实践的差距,并量化了松弛参数对性能的提升作用,解决了 Strohmer 和 Vershynin 在 2007 年提出的开放问题。
本文提出了一种基于三场公式和范数等价预条件技术的可扩展鲁棒求解器,用于高效模拟细胞与细胞外空间通过渗透性膜耦合的复杂脑细胞孔隙弹性模型,并通过数值实验验证了其在真实生物结构(如小鼠视觉皮层)中模拟细胞肿胀等生理过程的潜力。
本文提出了一种基于广义多尺度有限元框架的残差驱动多尺度方法,通过速度消除技术将混合系统转化为压力单变量形式,并结合离线谱基函数与自适应在线残差富集策略,实现了在复杂多孔介质中达西流的高效且高精度模拟。
该研究提出了一种针对热力学完全气体的可压缩欧拉方程的新型空间离散方法,该方法在局部守恒框架下不仅保证了离散层面的熵守恒,还同时维持了线性不变量和动能的守恒,并在精度与鲁棒性上优于现有方案。
本文提出并分析了一种积分方程方法,用于求解非周期源在由两个半无限周期结构(如周期性墙壁、传输层或障碍物)组成的二维交界处的散射问题,该方法通过复缩放技术将积分核解析延拓至复平面以实现指数级截断精度,并证明了方程的 Fredholm 性质及解的辐射条件。
本文研究了由加性维纳噪声驱动的有界凸多边形区域上四阶随机伪抛物方程的半离散和全离散有限元逼近,利用有限元法进行空间离散、半隐式法进行时间离散,获得了关于时空网格步数的强收敛率,并通过数值实验验证了理论结果。
本文提出了一种基于代理法低秩近似和分离二叉树划分的快速直接边界元求解器,通过结合 Burton-Miller 与 PMCHWT 积分方程克服了混合基函数下 Calderón 预条件无法应用的难题,从而实现了二维弹性波传输问题的高效、通用求解。
本文提出了两种专为多速率无穷小(MRI)积分方法设计的新型多速率时间步长自适应控制器,并结合新构建的 2 至 5 阶显式多速率指数龙格 - 库塔(MERK)方法的嵌入对,显著提升了处理多时间尺度问题时的计算效率、灵活性与精度。
本文证明了在栅格扫描衍射层析成像中,当使用聚焦光束而非平面波照明时,其导出的傅里叶衍射关系在三维及以上维度能唯一确定散射势的傅里叶系数,而在二维情况下仅有部分频谱区域可被唯一重构。
该论文通过将入射场建模为赫格洛茨波,将衍射层析成像理论扩展至聚焦光束扫描场景,推导了新的傅里叶衍射关系,并系统分析了不同扫描几何对定量重建的影响。
本文提出了一种基于物理信息神经网络(PINN)的框架,能够仅利用部分电压观测数据,在强非线性和多尺度动力学条件下,鲁棒且准确地重建神经元模型中的隐藏状态变量并推断生物物理参数,有效克服了传统数值方法在初始猜测敏感和收敛失败方面的局限。
本文针对耦合了输运辅助场的二维 Navier-Stokes-Cahn-Hilliard 相场模型,构建了一个基于连续数据同化(CDA)的框架,通过引入满足特定逼近性质的线性观测算子,利用基于连续有限元分裂格式的数值方法证明了该系统的适定性,并验证了其在粗网格观测下从强失配初值中恢复轨迹及实现同步的有效性。
本文提出了一种结合正交样条配置有限元方法与变步长预测 - 校正策略的高效算法,用于求解 FitzHugh-Nagumo 系统,该算法在保持无条件稳定性和高阶精度的同时,有效克服了数值振荡并降低了计算成本。
该论文提出了一种用于求解各向异性扩散和对流偏微分方程的量子数值方案,并通过引入向量范数分析证明,相较于传统的算子范数分析,该方法能将扩散和对流方程演化所需的时间步数分别指数级减少 和 倍。
本文提出了一种针对固定多项式阶数 的 -自适应有限元算法,证明了在满足特定后验可验证准则时,该算法具有与 无关的误差收缩性,并在 Dörfler 标记参数低于特定阈值时实现最优代数收敛率。
本文探讨了将重叠 Schwarz 域分解方法作为预条件子应用于机器人位姿图 SLAM 中的大规模稀疏线性方程组,并通过数值实验证明了该方法在求解高斯 - 牛顿线性化系统时具有与问题规模无关的数值可扩展性。