On-Average Stability of Multipass Preconditioned SGD and Effective Dimension
本論文は、データ再利用による相関を扱う新たな平均安定性解析手法を開発し、多パス前処理付き確率勾配降下法（PSGD）の汎化性能が、人口リスクの曲率と勾配ノイズの幾何学的な不一致によって決まる「有効次元」に依存することを示し、不適切な前処理が最適化と汎化の両面で性能を劣化させることを証明しています。
📊 Category
stat.ML
335 件の論文
BTZSC: A Benchmark for Zero-Shot Text Classification Across Cross-Encoders, Embedding Models, Rerankers and LLMs
本論文は、従来の NLI ベースのモデルに加え、埋め込みモデルやリランカー、大規模言語モデルを含む多様なゼロショットテキスト分類アプローチを公平に評価するための包括的ベンチマーク「BTZSC」を提案し、最新の 8B パラメータのリランカーが最高性能を達成しつつ、埋め込みモデルが精度と遅延のバランスにおいて優位であることを示しています。
Chemical Reaction Networks Learn Better than Spiking Neural Networks
この論文は、隠れ層を持たない化学反応ネットワークが、隠れ層を必要とするスパイクニューラルネットワークよりも優れた学習能力と分類精度を数学的に証明し、生化学的反応ネットワークが生物学的学習においてより効率的である可能性を示唆しています。
Wasserstein Gradient Flows for Batch Bayesian Optimal Experimental Design
本論文は、バッチベイズ最適実験設計における非凸な最適化課題に対処するため、設計測度空間への確率的リフティングとエントロピー正則化を導入し、Wasserstein 勾配流に基づく粒子アルゴリズムを提案して、多峰性の最適化 landscapes を探索し高効用な実験バッチを効率的に生成する手法を確立したものである。
A Quantitative Characterization of Forgetting in Post-Training
この論文は、二成分混合モデルを用いた理論的枠組みを構築し、KL 発散の方向性、幾何学的な行動の重なり、サンプリング戦略、および過去の行動の可視性が、生成モデルの継続的学習における「質量の消失」と「成分のドリフト」という 2 種類の忘却をどのように定量的に決定するかを明らかにしています。
Riemannian Laplace Approximation with the Fisher Metric
この論文は、フィッシャー計量を用いたリーマン・ラプラス近似が無限データ極限においてもバイアスや過剰な狭さという欠点を持つことを示し、これを修正する 2 つの新しい変法を開発して理論的解析を深め、実験を通じてその実用性の向上を実証しています。
Logarithmic Regret for Online KL-Regularized Reinforcement Learning
本論文は、KL 正則化がもたらす最適化の利点と楽観的報酬推定を巧みに組み合わせることで、オンライン文脈付きバンドットおよび強化学習において対数 regret 境界を達成する新しいアルゴリズムとその理論的解析を提案しています。
Geopolitics, Geoeconomics, and Sovereign Risk: Different Shocks, Different Channels
この論文は、地政学的ショックが直接デフォルトリスクを通じて、地経済的ショックが金融サイクルや政策期待を通じてそれぞれ異なる経路で主権リスクに影響を与える「ハサミ型」のパターンを、2018 年から 2025 年の 42 カ国のデータと機械学習を用いた分析によって実証し、両者のメカニズムの区別が流動性供給の効果範囲を決定づけることを明らかにしている。
A Bandit-Based Approach to Educational Recommender Systems: Contextual Thompson Sampling for Learner Skill Gain Optimization
この論文は、オンライン数学チューティングプラットフォームのデータを用いて、学習者のスキル向上を最大化する個人向け演習シーケンスを生成する文脈的トンプソンサンプリングに基づくバンドットアプローチを提案し、その有効性とスケーラブルな個人化学習の可能性を実証しています。
SSRCA: a novel machine learning pipeline to perform sensitivity analysis for agent-based models
本論文では、計算コストが高く複雑なエージェントベースモデルの感度分析を容易にするため、機械学習に基づく「SSRCA」という新規パイプラインを開発し、腫瘍球成長モデルを用いた実証により、従来のソボル法よりもロバストな感度パラメータの特定と出力パターンの分類が可能であることを示しています。
Accounting for shared covariates in semi-parametric Bayesian additive regression trees
この論文は、線形予測子と BART 成分の共分散を共有する際に生じる識別不能性やバイアスを、木生成の移動を改良することで解決し、主要な共変量間の複雑な相互作用をモデル化可能にする半パラメトリック・ベイズ加性回帰木（BART）の拡張手法を提案し、教育評価データやベンチマークデータを用いた検証でその有効性を示したものである。
Convergence and complexity of block majorization-minimization for constrained block-Riemannian optimization
本論文は、リーマン多様体上の制約付きブロック最適化問題に対するブロック主要化最小化法（BMM）の収束性と複雑さを解析し、非凸目的関数に対して定常点への収束と の反復回数による -定常点の到達を保証するとともに、多様なアルゴリズムへの適用性と標準的なユークリッド法に対する実験的な優位性を示しています。
Zeroth-Order primal-dual Alternating Projection Gradient Algorithms for Nonconvex Minimax Problems with Coupled linear Constraints
本論文は、機械学習や信号処理などの分野で注目されている連束線形制約付き非凸最小最大問題に対し、決定論的および確率的設定において反復複雑性の保証を持つ初のゼロ次順序アルゴリズム（ZO-PDAPG および ZO-RMPDPG）を提案し、その収束性を証明するとともに、既存の手法を上回る性能を達成したことを示しています。
Towards a Fairer Non-negative Matrix Factorization
この論文は、非負行列因子分解（NMF）の目的関数を min-max 定式化に修正することで集団間の公平性を向上させる可能性を示しつつ、その実装手法を提案し、公平性の向上が必ずしも全個人のエラー低減を伴わないことや、手法の選択は応用分野に依存すべきであることを実証実験を通じて論じています。
An Experimental Study on Fairness-aware Machine Learning for Credit Scoring Problems
本論文は、金融データセット、予測モデル、公平性指標を対象とした包括的な実験研究を通じて、従来の分類モデルと比較して公平性配慮型機械学習モデルが予測精度と公平性のバランスをより効果的に達成できることを実証しています。
Curse of Dimensionality in Neural Network Optimization
本論文は、滑らかな活性化関数を持つ浅いニューラルネットワークの勾配流による最適化において、目標関数の滑らかさと次元数が学習速度に決定的な影響を与え、高次元空間における最適化計算に「次元の呪い」が存在することを、パラメータ分布の進化（2-ワッセルシュタイン勾配流）を通じて示しています。
Generalization Bounds for Markov Algorithms through Entropy Flow Computations
本論文は、時間斉一マルコフ過程で記述される学習アルゴリズムの一般化誤差を、新たな連続時間近似と正確なエントロピー流の式、および修正対数ソボレフ不等式を用いて統一的に解析し、既存手法の限界を克服した新しい一般化 bound を導出するものである。
Double Momentum and Error Feedback for Clipping with Fast Rates and Differential Privacy
本論文は、連合学習において任意のデータ異質性を仮定しつつも、強差分プライバシーと最適収束速度を両立させる新たな手法「Clip21-SGD2M」を提案し、その理論的保証と実証的な優位性を示すものである。
Variational Formulation of Particle Flow
本論文は、変分推論の観点から対数ホモトピー粒子流を定式化し、フィッシャー・ラオ勾配流を連続時間アルゴリズムとして導出することで、ガウス近似やガウス混合モデルを用いた粒子流の新しい手法を提案し、線形ガウス仮定下での既存手法との整合性や高次元推定問題における有効性を示しています。
Ice Cream Doesn't Cause Drowning: Benchmarking LLMs Against Statistical Pitfalls in Causal Inference
本論文は、因果推論における統計的落とし穴（例えば Simpson のパラドックスや選択バイアスなど）を LLM が克服できるかを厳密に評価するための新しいベンチマーク「CausalPitfalls」を提案し、その評価を通じて現在の LLM が統計的因果推論において重大な限界を抱えていることを明らかにしています。