XConv: Low-memory stochastic backpropagation for convolutional layers
XConv は、中間活性化の保存によるメモリ消費を大幅に削減しつつ、既存のコードやアーキテクチャを変更することなく、標準的なバックプロパゲーションと同等の性能を維持する低メモリ確率的バックプロパゲーション手法を提案する。
🤖 Category
cs.LG
2204 件の論文
A Survey on Decentralized Federated Learning
この論文は、中央集権型協調学習の欠点を克服する分散型協調学習（DFL）の手法を体系的にレビューし、従来の分散型とブロックチェーン型に分類して課題を整理するとともに、評価手法の限界を指摘し、トポロジーを考慮した脅威モデルやプライバシー概念、インセンティブ設計、および個人化モデルの必要性など、今後の研究の方向性を提言するものである。
Polynomially Over-Parameterized Convolutional Neural Networks Contain Structured Strong Winning Lottery Tickets
本論文は、多変量版のランダム部分和問題の進展を活用して、ランダムに初期化された畳み込みニューラルネットワークに、学習なしで任意のより小さなネットワークを近似できる構造化された「勝てるくじ」が存在することを証明し、構造化プルーニングにおける強 Lottery Ticket 仮説の最初の準指数関数的な境界を示しました。
Provable Filter for Real-world Graph Clustering
この論文は、現実世界のグラフがホモフィリーとヘテロフィリーの両方の性質を併せ持つという洞察に基づき、隣接情報を用いてエッジを識別し、低域・高域フィルタとスクイーズ・アンド・エキセーションブロックを組み合わせた理論的に裏付けられた新しいグラフクラスタリング手法を提案し、両特性を持つグラフにおいて最先端の手法を上回る性能を実証したものです。
Enhancing Computational Efficiency in Multiscale Systems Using Deep Learning of Coordinates and Flow Maps
この論文は、座標と流れ場のマップを同時に学習する深層学習手法を用いて、マルチスケールシステムの時間発展を高精度かつ低計算コストで予測する新しい枠組みを提案し、フィッツフュー・ナグモモデルやカオス的なKuramoto-Sivashinsky方程式などの大規模システムにおける有効性を示しています。
Sparse Variational Student-t Processes for Heavy-tailed Modeling
本論文は、外れ値や重尾分布に対するロバスト性と大規模データへのスケーラビリティを両立するため、スパース誘導点法を Student-t プロセスに拡張した「スパース変分 Student-t プロセス（SVTP）」を提案し、UCI や Kaggle のデータセットを用いた実験で、スパースガウス過程と比較して外れ値を含むデータにおいて予測誤差を 40% 削減し、収束速度を最大 3 倍向上させることを実証しています。
HYGENE: A Diffusion-based Hypergraph Generation Method
本論文は、複雑な高次関係をモデル化するハイパーグラフの生成課題に対し、拡散モデルを用いて双分グラフ表現に基づき局所的な拡張を反復的に行う「HYGENE」という深層学習ベースの手法を提案し、その有効性を示したものである。
Robust Training of Neural Networks at Arbitrary Precision and Sparsity
この論文は、量子化とスパース化の不連続性が勾配伝搬に与える課題を、量子化を付加ノイズとして明示的にモデル化し、リッジ回帰に基づくノイズ除去デ量子化変換を導入することで解決し、任意の精度とスパース性で安定した超効率的なニューラルネットワークの訓練を可能にする統一フレームワークを提案しています。
ARLBench: Flexible and Efficient Benchmarking for Hyperparameter Optimization in Reinforcement Learning
この論文は、強化学習におけるハイパーパラメータ最適化（HPO）の研究を低コストかつ効率的に促進し、異なる手法間の公平な比較を可能にする新しいベンチマーク「ARLBench」と、その基盤となる大規模データセットを提案しています。
DRUPI: Dataset Reduction Using Privileged Information
本論文は、データセット凝縮において、従来のデータとラベルに加えて特徴量ラベルやアテンションラベルといった「特権情報」を合成して補助的な教師信号として活用する「DCPI」という手法を提案し、既存の手法と組み合わせることで画像認識タスクの性能を大幅に向上させることを示しています。
Unsupervised Representation Learning from Sparse Transformation Analysis
この論文は、潜在変数の変換を回転場とポテンシャル場に分解し、そのスパースな活性化を推論することで、独立した変換プリミティブに基づく新しい形の解離表現を学習する教師なしモデルを提案し、シーケンス変換データにおいてデータ尤度と近似等変性の両面で最先端の性能を達成することを示しています。
Learning responsibility allocations for multi-agent interactions: A differentiable optimization approach with control barrier functions
この論文は、制御バリア関数と微分可能最適化を用いたデータ駆動型アプローチを提案し、自律走行や配送などのマルチエージェント相互作用において、他者の安全を確保するためにエージェントが自身の制御をどの程度調整するか（責任配分）を学習・定量化する手法を提示しています。
Calabi-Yau metrics through Grassmannian learning and Donaldson's algorithm
この論文は、グラスマン多様体上の勾配降下法を用いて効率的な断面部分空間を特定し、ドナルドソンのアルゴリズムと組み合わせることで、カラビ・ヤウ多様体のリッチ平坦な計量を近似する新しい機械学習アプローチを提案し、ドワーフ族の三多様体におけるモジュライ空間での挙動や局所最小値の出現を実証しています。
Adaptive and Stratified Subsampling for High-Dimensional Robust Estimation
この論文は、有限分散の重尾ノイズ、ε-汚染、およびα-混合依存性を伴う高次元スパース回帰問題に対し、適応的インポートランスサンプリングと層別サンプリングという 2 つの手法を提案し、理論的な最適性を証明するとともに、デバイアス処理による信頼区間の構築や実データでの有効性を示したものである。
Scalable Message Passing Neural Networks: No Need for Attention in Large Graph Representation Learning
この論文は、アテンション機構を標準的な畳み込みメッセージパッシングに置き換え、プリレイヤー正規化トランスフォーマースタイルのブロックに統合することで、大規模グラフ表現学習において既存のグラフトランスフォーマーと競合する性能を達成しつつ、オーバースムーシングの問題を克服して深層学習を可能にする「スケーラブルなメッセージパッシングニューラルネットワーク（SMPNN）」を提案し、その理論的根拠を普遍近似の観点から示したものである。
SPDIM: Source-Free Unsupervised Conditional and Label Shift Adaptation in EEG
この論文は、ラベル分布のシフトを含む EEG のドメイン適応問題に対し、情報最大化の原理に基づきターゲットドメインごとに SPD 多様体上の単一パラメータを最適化する効率的な手法「SPDIM」を提案し、既存の手法を上回る性能を実証したものである。
Prognostics for Autonomous Deep-Space Habitat Health Management under Multiple Unknown Failure Modes
この論文は、ラベル付けされていない故障データから潜在的な故障モードを同定し、センサーを選択する非教師あり予知フレームワークを提案し、深宇宙居住区の安全な自律運用における残存有用寿命（RUL）予測の精度向上を実現するものである。
Morphological-Symmetry-Equivariant Heterogeneous Graph Neural Network for Robotic Dynamics Learning
本論文は、ロボットの運動構造と形態的対称性を単一のグラフネットワークに統合し、高い汎用性と効率性を実現する「MS-HGNN」と呼ばれる新しい異種グラフニューラルネットワークを提案し、その対称性等変性を実証的に検証したものである。
CuriousBot: Interactive Mobile Exploration via Actionable 3D Relational Object Graph
この論文は、従来の能動知覚に依存する移動ロボット探索の限界を克服し、多様な物体間関係を符号化する「3D 関係オブジェクトグラフ」を導入することで、大規模かつ複雑な環境下での能動的な物体操作を伴う探索を可能にするシステムを提案し、その有効性と汎用性を検証したものである。
Molecular Fingerprints Are Strong Models for Peptide Function Prediction
この論文は、複雑な長距離相互作用のモデル化が不要であり、単純で解釈性の高い局所的な分子フィンガープリントとLightGBMの組み合わせが、ペプチド機能予測においてグラフニューラルネットワークやトランスフォーマーベースの手法を上回る性能を発揮することを、132のデータセットを用いた大規模な検証を通じて実証しています。