Towards Reliable Simulation-based Inference
この論文は、シミュレーションに基づく推論における機械学習モデルの過信を軽減し、推論の信頼性を向上させるために、「バランス化」という正則化手法と、新しい事前分布を採用したベイズ型ニューラルネットワークという 2 つのアプローチを提案・検証するものです。
📊 Category
stat.ML
309 件の論文
Estimation of heterogeneous principal effects under principal ignorability
この論文は、主無視仮定の下で二値の処置と中間変数を扱う場合の異質的主因果効果を推定・推測するための枠組みを提案し、二重頑健性やその中間的な頑健性を持つ複数の推定量を開発するとともに、非パラメトリックな滑らかさの条件や高次元設定における大標本理論を確立し、Camden Coalition のランダム化試験を用いた実証分析を通じてこれらの手法の有用性を示しています。
Data-driven robust Markov decision processes on Borel spaces: performance guarantees via an axiomatic approach
本論文は、未知の擾乱分布を持つマルコフ決定過程に対して、経験分布からの距離関数の副レベル集合を曖昧集合として定義するデータ駆動型のロバストアプローチを提案し、その最適値関数が真の最適値関数に収束することや、有限サンプル数においてアウトオブサンプル性能の確率的な上界となることを証明しています。
Statistical Inference via Generative Models: Flow Matching and Causal Inference
この論文は、フローマッチングを中核的な例として生成 AI を統計的推論の文脈で再解釈し、欠損値補完や因果推論など、高次元の構造化問題における推論の妥当性を保ちつつ生成モデルを統合するための統計的枠組みを提案しています。
Verifying Good Regulator Conditions for Hypergraph Observers: Natural Gradient Learning from Causal Invariance via Established Theorems
この論文は、コンタント・アシュビーの良き調節器定理、情報幾何学、およびアマリの定理といった確立された定理を用いて、ワルフラムの超グラフ物理学とバンチュリンの神経網宇宙論を統合し、因果不変な超グラフ基盤における持続的観測者が自然勾配学習に従うことを示し、観測者がフィッシャー計量の固有方向ごとに異なるバンチュリンのレジームに同時に存在し得ることを明らかにしています。
Better Bounds for the Distributed Experts Problem
この論文は、分散エキスパート問題において、通信量を最小化しつつ regret を改善する新しいプロトコルを提案し、既存の研究を上回る性能を示しています。
A Generative Sampler for distributions with possible discrete parameter based on Reversibility
この論文は、詳細平衡条件に基づく時間反転対称性を統計的制約として利用し、目標分布の勾配や連続緩和を必要とせずに、連続・離散・混合変数を含む多様な状態空間における平衡サンプリングを可能にする統一的な生成サンプリング枠組みを提案するものである。
Transductive Generalization via Optimal Transport and Its Application to Graph Node Classification
この論文は、最適輸送を用いて学習済み表現間のワッサーシュタイン距離に基づく新しい転移学習汎化誤差 bound を導出し、グラフノード分類において従来の複雑性尺度よりも実証的な汎化性能と強く相関し、GNN の深さと汎化誤差の非単調な関係を説明する理論的枠組みを提案しています。
On Regret Bounds of Thompson Sampling for Bayesian Optimization
この論文は、ベイズ最適化におけるガウス過程トンプソンサンプリング（GP-TS）の解析を補完し、確率依存の多項式下限、累積後悔の二乗期待値の上限、緩和された期待後悔の上限、および時間 horizon に関する改善された累積後悔の上限など、新たな後悔境界を導出する。
A Gaussian Comparison Theorem for Training Dynamics in Machine Learning
この論文は、ゴードンの比較定理を用いてガウス混合モデルに基づく機械学習の訓練アルゴリズムの進化を解析しやすい擬似動力学系と結びつける非漸近的な定理を提示し、動的平均場理論の正当性を厳密に証明するとともに、非漸近領域におけるより高精度な近似手法を提案するものです。
Robust Regularized Policy Iteration under Transition Uncertainty
この論文は、オフライン強化学習における分布シフトと遷移の不確実性を統一的に扱うため、最悪ケースのダイナミクスに対するロバストな方策最適化を提案し、KL 正則化を用いた実用的な反復アルゴリズム「RRPI」を開発して D4RL ベンチマークで優れた性能とロバスト性を示したことを述べています。
Variational Routing: A Scalable Bayesian Framework for Calibrated Mixture-of-Experts Transformers
この論文は、大規模な基礎モデルにおける不確実性の定量化と計算コストの両立を実現するため、混合専門家（MoE）層のルーティング段階にベイズ推論を限定した「変分混合専門家ルーティング（VMoER）」を提案し、較正誤差の大幅な削減と分布外データに対する性能向上を、計算コストの増加を最小限に抑えながら達成することを示しています。
What Do We Care About in Bandits with Noncompliance? BRACE: Bandits with Recommendations, Abstention, and Certified Effects
この論文は、非遵守（noncompliance）が存在するバンドット問題において推奨と処置の目的が一致しない課題を定式化し、IV 推定量の信頼性を保証する「BRACE」というパラメータフリーのアルゴリズムを提案するとともに、その理論的保証と多様なシナリオにおける実証的有効性を示しています。
a-TMFG: Scalable Triangulated Maximally Filtered Graphs via Approximate Nearest Neighbors
この論文は、従来の TMFG 手法の大規模データへの適用限界を克服するため、近似近傍法とメモリ管理戦略を活用して、数百万の観測値を持つデータセットから効率的にグラフを構築する新しいアルゴリズム「a-TMFG」を提案し、その頑健性とスケーラビリティを実証したものである。
MM-algorithms for traditional and convex NMF with Tweedie and Negative Binomial cost functions and empirical evaluation
この論文は、過分散や複雑な平均分散関係を持つデータに対応するため、Tweedie 分布や負の二項分布などの広範な分布仮定に基づき、従来の NMF と凸 NMF の両方に対して Majorize-Minimisation 法を用いた統一的な乗法更新アルゴリズムを開発し、実データを用いた評価を通じてノイズモデルの選択の重要性と凸 NMF の有効性を示したものです。
Murmurations: a case study in AI-assisted mathematics
この論文は、機械学習の解釈可能性ツールを用いて発見された新たな算術現象「さざめき（murmurations）」を紹介し、それが楕円曲線の Birch と Swinnerton-Dyer 予想やランダム行列理論と深く関連する数論的な事実であることを示しています。
Upper Generalization Bounds for Neural Oscillators
本論文は、Rademacher 複雑性を用いて第二階 ODE と MLP からなるニューラル振動子の PAC 一般化誤差上限を導出・解析し、誤差がパラメータ数に対して多項式的に増加することや、MLP のリプシッツ定数を正則化することで一般化性能が向上することを理論的に示し、Bouc-Wen 非線形系を用いた数値実験でその有効性を検証したものである。
A Unified Hierarchical Multi-Task Multi-Fidelity Framework for Data-Efficient Surrogate Modeling in Manufacturing
本論文は、製造システムにおける異質な多忠実度データを活用し、タスク間の類似性と忠実度依存の不確実性を統合的に学習することで予測精度を大幅に向上させる、階層的なマルチタスク・マルチ忠実度ガウス過程代理モデル枠組みを提案しています。
On the Width Scaling of Neural Optimizers Under Matrix Operator Norms I: Row/Column Normalization and Hyperparameter Transfer
この論文は、行列演算子ノルムの幾何学的解釈に基づき、層ごとの合成性と幅に依存しない滑らかさの保証を実現する新しい平均正規化ノルムを導入し、これによりモデル幅を超えた学習率の安定した転送を可能にする新しい最適化手法「MOGA」を提案し、大規模な事前学習実験で Muon と同等以上の性能と高速性を示したことを報告しています。
Online Neural Networks for Change-Point Detection
この論文では、大規模な時系列データに対して線形計算量で実行可能かつ最適解への収束が証明された、ニューラルネットワークとオンライン学習に基づく 2 つの新しい変化点検出手法を提案し、既存の手法を上回る性能を実証するとともに、オフライン手法よりも優れる条件を明らかにしています。