XConv: Low-memory stochastic backpropagation for convolutional layers
XConv は、中間活性化の保存によるメモリ消費を大幅に削減しつつ、既存のコードやアーキテクチャを変更することなく、標準的なバックプロパゲーションと同等の性能を維持する低メモリ確率的バックプロパゲーション手法を提案する。
236 件の論文
XConv は、中間活性化の保存によるメモリ消費を大幅に削減しつつ、既存のコードやアーキテクチャを変更することなく、標準的なバックプロパゲーションと同等の性能を維持する低メモリ確率的バックプロパゲーション手法を提案する。
この論文は、量子化とスパース化の不連続性が勾配伝搬に与える課題を、量子化を付加ノイズとして明示的にモデル化し、リッジ回帰に基づくノイズ除去デ量子化変換を導入することで解決し、任意の精度とスパース性で安定した超効率的なニューラルネットワークの訓練を可能にする統一フレームワークを提案しています。
この論文は、非線形構造を持つハダマード空間における凸最適化の課題を解決するため、ブセマン関数に基づく新たな部分勾配の概念を提案し、これにより確率的および増分部分勾配法の一般化と複雑性保証、ならびに BHV 樹空間におけるメディアン計算などの応用を可能にしています。
本論文は、Buvoli 氏によって提案された高次陽的時間積分スキームの安定性に関する既存の予想(精度が無限大に近づくにつれて安定性が維持されるという仮説)を調和解析の観点から反証し、その代わりに安定性と精度のトレードオフを定量化する基準や、拡散型偏微分方程式に対する統一的な安定性解析戦略を提示しています。
本論文は、ランダム化反復法(ガウス・ザイデル法およびカチャマル法)の理論と実践のギャップを埋める新たな漸近収束率の解析手法を提案し、スペクトル半径の新たな評価法と非可換代数におけるペロン・フロベニウス理論の関連性を用いて、2007 年に Strohmer と Vershynin が提起した緩和パラメータの役割に関する未解決問題を解決する。
本論文は、脳細胞と細胞外空間の機械的相互作用を記述するセル・バイ・セルの多孔質弾性モデルに対して、材料パラメータに依存しない頑健な前処理付きソルバーを提案し、大規模な複雑な幾何学構造における細胞膨張シミュレーションなどの生理学的プロセス解析への応用可能性を実証しています。
この論文は、GMsFEM フレームワーク内で速度変数を排除して圧力のみを扱う定式化を採用し、オフライン基底関数と残差に基づく適応的オンライン基底関数の追加を組み合わせて、複雑な幾何学形状と不均質な透水性を持つ多孔質領域におけるダルシー流れを効率的かつ高精度にシミュレートする新しいマルチスケール手法を提案し、その誤差解析と数値実験による有効性を示しています。
この論文は、熱的に完全な気体の圧縮性オイラー方程式に対して、線形不変量と運動エネルギーの保存を保証しつつ、局所保存形式に基づいて離散レベルでエントロピー保存を達成する新しい空間離散化手法を提案するものである。
この論文は、2 次元における 2 つの半無限周期的構造の接合部からの非周期的な源の散乱問題を、複素平面への解析接続と指数関数的な精度による切断を可能にする積分方程式法を用いて解析し、その解の放射条件の満足と高次ソルバーの効率性を示すものである。
本論文は、加法的ウィーナーノイズを駆動源とする有界凸多角形領域における第四階の確率擬放物方程式の半離散および完全離散有限要素法を解析し、空間・時間メッシュサイズに対する強い収束率を導出するとともに数値実験でこれを裏付けています。
この論文は、埋め込み物体の形状に依存せず、代理法に基づく低ランク近似を用いて変位と応力の混合基底戦略を Calderon 前処理なしで処理し、2 次元弾性波伝播問題に対して線形計算量を実現する高速直接境界要素法を提案するものである。
本論文では、複数の時間スケールを持つ問題の解法において、埋め込み多レート無限小(MRI)時間積分法と組み合わせて使用される新しい多レート時間刻み適応制御器の2 つのファミリーと、2 次から 5 次までの明示的多レート指数 Runge-Kutta(MERK)法に対する新たな埋め込み(5 次埋め込み MRI 法を世界で初めて実現)を提案し、ベンチマーク問題を通じてこれらが競合手法よりも大幅に優れた性能と柔軟性を示すことを実証しています。
この論文は、集束ビームを用いたラスター走査回折トモグラフィにおいて、散乱ポテンシャルのフーリエ係数を復元する線形方程式系を解析し、2 次元以上では一般的に一意に決定可能であるが、2 次元の場合には一部の領域で一意性が失われることを証明している。
この論文は、医療超音波など実用的な走査型焦点ビーム照明を従来の回折トモグラフィの枠組みに統合するため、入射波をヘルグロット波としてモデル化し、新しいフーリエ回折関係式を導出することで、走査データからの定量的再構成を可能にする新たな理論を提案しています。
この論文は、従来の数値解法では困難であった非線形性やマルチスケールダイナミクスを持つニューロンモデルにおいて、物理情報ニューラルネットワーク(PINN)を用いて不完全かつノイズの多い電位観測データから生体物理パラメータと非観測状態変数を同時に高精度に推定する堅牢な手法を提案し、その有効性を示したものである。
本論文は、粗い空間観測データからナビエ・ストークス・カahn・ヒルヤード系(補助場を付加したモデル)の軌道を回復するための連続データ同化フレームワークを提案し、その連続レベルでの構造解析と有限要素法に基づく離散スキームの解析および数値検証を行っている。
本論文は、フィッツフュー・ナグモ系に対して、時間方向では可変ステップと一定ステップを組み合わせた予測・修正法、空間方向では直交スプライン・コロケーション法を用いた効率的かつ高次精度の安定な数値解法を構築し、その理論的安定性と収束性を証明するとともに数値実験でその有効性を示したものである。
この論文は、量子コンピュータにおける異方性拡散・対流方程式の数値解法を提案し、従来の演算子ノルム解析に比べ、時間ステップ数を指数関数的に削減できることをベクトルノルム解析を用いて証明したものである。
この論文は、平衡フラックス推定器に基づくポアソン方程式の適応型有限要素法において、多項式次数 に依存しない収縮率と最適代数収束速度を達成する新しい -適応アルゴリズムを提案し、その理論的保証と数値的有効性を示したものである。
本論文は、ロボティクスにおけるポーズグラフ SLAM の最適化問題に生じる大規模疎行列に対して、加法的オーバーラップ・シュワルツ法を前処理条件子として適用し、反復回数が問題サイズに依存せず有界に保たれることを示すことで、その数値的スケーラビリティを実証しています。