An Optimal Control Approach To Transformer Training
本論文は、トランスフォーマーの訓練を離散時間制御粒子系として定式化し、確率測度へのリフティングを通じてマルコフ決定過程を構築することで、勾配法に依存せず滑らかさや凸性を仮定せずに大域的最適な方策を達成する最適制御アプローチを提案するものである。
🤖 Category
cs.LG
5557 件の論文
SCDP: Learning Humanoid Locomotion from Partial Observations via Mixed-Observation Distillation
本論文は、完全な状態推定を不要とし、オンボードセンサーのみの観測から拡散モデルを用いて特権的な状態情報を推論する「SCDP」を提案し、シミュレーションおよび実機（G1）において、外部センサーや状態推定なしで人間型ロボットの堅牢な歩行制御を実現したことを報告しています。
Routing without Forgetting
本論文は、オンライン継続学習の課題に対処するため、現代ホップフィールドネットワークに着想を得たエネルギーベースの連想検索層をトランスフォーマーに統合し、反復的な勾配最適化なしに動的にタスク固有の表現部分空間を選択する「Routing without Forgetting（RwF）」という新しいアーキテクチャを提案し、クラス増加ベンチマークにおいて既存のプロンプトベース手法を大幅に上回る性能を示したことを報告しています。
Towards Understanding Adam Convergence on Highly Degenerate Polynomials
この論文は、外部スケジューラなしで自動的に収束する高度に退化した多項式という特定のクラスにおいて、Adam 最適化アルゴリズムが勾配降下法やモーメンタムよりも優れた局所線形収束性を示す理論的根拠とメカニズムを解明し、そのハイパーパラメータの振る舞い領域を分類したものである。
Nonparametric Variational Differential Privacy via Embedding Parameter Clipping
本論文は、非パラメトリック変分差分プライバシーの枠組みにおいて、レニーダイバージェンスの上限最小化に基づいて導出されたパラメータクリッピング戦略を導入することで、プライバシー保証の強化と下流タスクでの性能向上を両立させる手法を提案しています。
Memorization capacity of deep ReLU neural networks characterized by width and depth
この論文は、ReLU 活性化関数を持つ深層ニューラルネットワークが任意の個のデータ点を記憶するために必要な幅と深さの関係を明らかにし、がとの積に比例することが必要十分条件であることを示すことで、記憶容量における幅と深さのトレードオフを明示的に特徴づけています。
MM-algorithms for traditional and convex NMF with Tweedie and Negative Binomial cost functions and empirical evaluation
この論文は、過分散や複雑な平均分散関係を持つデータに対応するため、Tweedie 分布や負の二項分布などの広範な分布仮定に基づき、従来の NMF と凸 NMF の両方に対して Majorize-Minimisation 法を用いた統一的な乗法更新アルゴリズムを開発し、実データを用いた評価を通じてノイズモデルの選択の重要性と凸 NMF の有効性を示したものです。
Learning the Hierarchical Organization in Brain Network for Brain Disorder Diagnosis
この論文は、事前定義されたサブネットワークに依存せず、内在的な特徴に基づいて脳ネットワークの階層的依存関係を学習する「BrainHO」という手法を提案し、ABIDE や REST-meta-MDD データセットにおける脳障害診断の精度向上と、解釈可能なバイオマーカーの特定を実現したことを示しています。
Multi-DNN Inference of Sparse Models on Edge SoCs
本論文は、再学習なしにスパースモデルのサブグラフを再構成する「モデルステッチング」手法と、それをエッジ SoC に実装した実証システム「SparseLoom」を提案し、既存のマルチ DNN 推論システムと比較して SLO 違反率の大幅な削減、スループットの向上、およびメモリオーバーヘッドの低減を実現することを示しています。
Evolution of Photonic Quantum Machine Learning under Noise
本論文は、光量子機械学習におけるノイズ源の体系的な分析、アルゴリズムへの影響評価、ノイズ特性評価手法と軽減戦略の概観、および将来の研究展望を通じて、現実的なノイズ条件下での堅牢かつスケーラブルなシステムの開発を論じています。
Well Log-Guided Synthesis of Subsurface Images from Sparse Petrography Data Using cGANs
本論文は、カーボンナノチューブなどの新材料ではなく、井戸ログデータと条件付き生成敵対ネットワーク（cGAN）を組み合わせることで、限られた岩石薄片データから堆積岩の多孔質構造を連続的に合成し、炭素回収や地下水素貯蔵などのエネルギー転換分野における貯留層評価を革新する手法を提案しています。 ※注：上記の日本語要約は、提供された英語の要旨の内容（cGAN、井戸ログ、炭酸塩岩、孔隙率、エネルギー転換応用など）に基づき、自然な日本語として再構成したものです。ただし、元の英語要旨に「カーボンナノチューブ」や「新材料」といった記述は含まれておらず、これは私の誤った推測（ハルシネーション）を含んでしまったため、以下に**正確な内容に基づいた修正版**を提示します。 **修正版（正確な要約）：** 本論文は、井戸ログから得られる孔隙率データと条件付き生成敵対ネットワーク（cGAN）を組み合わせることで、限られた岩石薄片データから地質学的に整合性の高い孔隙スケールの画像を連続的に合成し、炭素回収や地下水素貯蔵などのエネルギー転換分野における貯留層評価を革新する手法を提案しています。
FreqCycle: A Multi-Scale Time-Frequency Analysis Method for Time Series Forecasting
本論文は、時間領域での共有周期性の学習と周波数領域での適応的重み付けによる中・高周波成分の強化、ならびに階層的な多スケール相互作用による複合周期性の解離を実現する「FreqCycle」を提案し、時系列予測において最先端の精度と高速な推論速度を両立させることを示しています。
No evaluation without fair representation : Impact of label and selection bias on the evaluation, performance and mitigation of classification models
この論文は、ラベルバイアスや選択バイアスが分類モデルの評価・性能・バイアス軽減手法に与える影響を、制御されたバイアスを導入した新たなフレームワークを用いて実証的に分析し、偏りのないテストセットによる評価の重要性や公平性と精度のトレードオフの不存在、および軽減手法の効果がバイアスの種類に依存することを明らかにしています。
GNNs for Time Series Anomaly Detection: An Open-Source Framework and a Critical Evaluation
この論文は、時系列異常検出におけるグラフニューラルネットワーク（GNN）の応用を促進し、再現性のある実験と評価を可能にするオープンソースフレームワークを提案するとともに、その有効性と解釈性の向上、および評価手法に関する重要な課題を明らかにしています。
EsoLang-Bench: Evaluating Genuine Reasoning in Large Language Models via Esoteric Programming Languages
LLM が既存のコード生成ベンチマークで示す高い性能が単なる暗記に過ぎない可能性を指摘し、学習データとして希少なエソテリック言語を用いた新規ベンチマーク「EsoLang-Bench」を提案し、先行モデルが真の推論能力において著しく劣ることを実証した。
On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning
本論文は、低ランク分解に基づくパラメータ効率型微調整（PEFT）において、連続学習時の忘却が更新部分空間の幾何学的構造やパラメータ化に強く依存しており、行列分解の制約が干渉を引き起こす一方、テンソル分解や構造的整合性を持つ手法が忘却を抑制することを示す実証研究である。
ActiveUltraFeedback: Efficient Preference Data Generation using Active Learning
RLHF における高コストな選好データ収集の課題を解決するため、不確実性推定と新しい探索手法を用いて最も有益な回答を動的に特定するアクティブラーニングパイプライン「ActiveUltraFeedback」を提案し、従来の手法の 6 分の 1 のデータ量で同等以上の性能向上を実現したことを示しています。
Physics-informed neural operator for predictive parametric phase-field modelling
この論文は、物理的制約を損失関数に組み込むことで、従来の Fourier 神経作用素よりも精度、汎化能力、長期安定性が向上した新しい「PF-PINO」と呼ばれる物理情報神経作用素を開発し、相場モデルの高速な予測を実現したことを報告しています。
Mousse: Rectifying the Geometry of Muon with Curvature-Aware Preconditioning
本論文は、Muon 最適化アルゴリズムが抱く等方的な制約の限界を克服し、Shampoo 由来の統計量を用いた曲率感知の事前条件付けを導入することで、大規模言語モデルの学習効率を大幅に向上させる新しい最適化手法「Mousse」を提案する。
A Multi-Prototype-Guided Federated Knowledge Distillation Approach in AI-RAN Enabled Multi-Access Edge Computing System
本論文は、AI 搭載無線アクセスネットワーク（AI-RAN）を備えたマルチアクセスエッジコンピューティングシステムにおいて、非独立同一分布（non-IID）データによる課題を解決し、単一プロトタイプ手法の欠点を克服するため、条件付き階層的凝集クラスタリングやプロトタイプ整合スキームを用いた「多プロトタイプ誘導型連合知識蒸留（MP-FedKD）」アプローチを提案し、その有効性を検証したものです。