Beyond ReinMax: Low-Variance Gradient Estimators for Discrete Latent Variables
本論文は、離散潜在変数を持つ機械学習モデルにおける勾配推定量の分散を低減するため、ReinMax にラオ・ブラックウェル化と制御変量法を統合した「ReinMax-Rao」と「ReinMax-CV」を提案し、変分オートエンコーダの訓練における優れた性能を実証するとともに、数値積分の観点から勾配近似の新たな解釈を提示しています。
📊 Category
stat.ML
329 件の論文
Posterior Sampling Reinforcement Learning with Gaussian Processes for Continuous Control: Sublinear Regret Bounds for Unbounded State Spaces
本論文は、状態空間が非有界である連続制御問題におけるガウス過程を用いた事後サンプリング強化学習（GP-PSRL）アルゴリズムのベイズ後悔を解析し、Borell-Tsirelson-Ibragimov-Sudakov 不等式の再帰的適用とチェイニング法を用いて、最大情報利得に依存する tight な の後悔上限を導出することで、既存理論の限界を克服したことを示しています。
Towards plausibility in time series counterfactual explanations
この論文は、時間系列分類問題に対して、入力空間における勾配ベースの最適化とソフトDTWに基づくk近傍法を統合することで、妥当性と分布の整合性を両立し、現実的な時間的構造を持つ反事実的説明を生成する新しい手法を提案し、その有効性を示したものである。
Unifying On- and Off-Policy Variance Reduction Methods
この論文は、オンラインの差の平均推定量と最適な制御変量を用いたオフポリシー逆確率重み付け推定量、そして回帰調整手法と二重頑健推定量の間に形式的な等価性を確立し、A/B テストとオフポリシー評価の分野を統一的な視点で結びつけることで、両分野の実践者や研究者の理解を深めることを目指しています。
Beyond the Markovian Assumption: Robust Optimization via Fractional Weyl Integrals in Imbalanced Data
この論文は、不均衡データにおける過学習やノイズへの耐性を高めるため、局所的な勾配更新に代わって動的に重み付けされた過去の勾配履歴を統合する「重み付き分数ウェイリー積分」に基づく新たな最適化アルゴリズムを提案し、医療診断や金融詐欺検出において従来の最適化手法を大幅に凌駕する性能向上を実証したものである。
Efficient Credal Prediction through Decalibration
本論文は、信頼性の高い不確実性表現を必要とする安全クリティカルな環境において、従来のアンサンブル手法に比べて計算コストが大幅に低く、TabPFN や CLIP などの大規模モデルにも適用可能な「デキャリブレーション」と呼ばれる効率的な手法を提案し、これにより_credal_集合（確率分布の凸集合）を用いた予測を可能にしたものである。
Breaking the Bias Barrier in Concave Multi-Objective Reinforcement Learning
この論文は、多目的強化学習における非線形スカラー化の勾配推定に内在するバイアス問題を解決し、マルチレベル・モンテカルロ推定器を備えた自然方策勾配法によって、-最適方策の計算に必要なサンプル複雑度を理論的に最適なに改善することを示しています。
Generative Adversarial Regression (GAR): Learning Conditional Risk Scenarios
この論文は、下流のリスク目的と整合する生成器を学習し、敵対的なポリシーを用いたミニマックス定式化を通じてロバストな条件付きリスクシナリオを生成する「Generative Adversarial Regression (GAR)」という枠組みを提案し、S&P 500 データを用いた実験で既存手法を上回るリスク保存性能を実証しています。
Impact of Connectivity on Laplacian Representations in Reinforcement Learning
本論文は、マルコフ決定過程における状態グラフの代数連結性が学習されたラプラシアン特徴量を用いた線形価値関数近似の誤差にどのように影響するかを理論的に証明し、推定誤差を含めたエンドツーエンドの誤差分解を示すとともに、非対称な遷移核を持つ一般の方策に対しても有効な結果を数値シミュレーションで検証したものである。
Momentum SVGD-EM for Accelerated Maximum Marginal Likelihood Estimation
本論文は、Nesterov 加速をモデルパラメータと確率測度の両方に導入することで、最大周辺尤度推定を高速化する「Momentum SVGD-EM」と呼ばれる新しいアルゴリズムを提案し、低次元から高次元の多様なタスクにおいて収束を著しく改善することを示しています。
Structural Causal Bottleneck Models
この論文では、高次元変数間の因果効果が低次元の要約統計量（ボトルネック）に依存するという仮定に基づき、タスク固有の次元削減を柔軟に実現しつつ、標準的な学習アルゴリズムで推定可能な新しい構造因果モデル「構造因果ボトルネックモデル（SCBMs）」を提案し、その同定性や情報ボトルネックとの関連、および低サンプル転移学習における効果推定の利点を示しています。
Disjunctive Branch-and-Bound for Certifiably Optimal Low-Rank Matrix Completion
この論文は、既存のヒューリスティック手法では得られなかった最適性の証明を可能にするため、低ランク行列補完問題を射影行列の非凸集合上の凸問題として再定式化し、離散的な分枝限定法と新たな凸緩和法を組み合わせることで、大規模な問題においても証明可能な最適解またはそれに極めて近い解を効率的に導出する手法を提案しています。
Optimal Transport Aggregation for Distributed Mixture-of-Experts
この論文は、分散環境で個別に学習されたミクスチャ・オブ・エキスパート（MoE）モデルを、標準的な平均化ではなく最適輸送に基づく枠組みで効率的に集約し、通信コストを最小化しながら中央集権的な訓練と同等の性能を実現する手法を提案しています。
Learning Robust Treatment Rules for Censored Data
この論文は、打ち切り生存データに対して、指定された分位数に基づく打ち切り平均生存時間の最大化、および打ち切り平均生存時間を考慮した調整閾値を用いたバッファード生存確率の最大化という 2 つの頑健な基準を提案し、サンプリングに基づく差の凸アルゴリズムを開発して理論的裏付けとシミュレーション、AIDS 臨床試験データによる実証を行うことを目的としています。
Exploratory Optimal Stopping: A Singular Control Formulation
この論文は、ランダム化停止時間と累積残差エントロピー正則化を用いて最適停止問題を特異制御問題として定式化し、その解を導出するモデルベースおよびモデルフリーの強化学習アルゴリズムを提案し、その収束保証と高次元への拡張性を示しています。
EarthquakeNPP: A Benchmark for Earthquake Forecasting with Neural Point Processes
この論文は、データ漏洩や主要な地震列の欠落などの課題を解決し、地震学コミュニティの標準的な評価基準を用いてニューラル・ポイント・プロセス（NPP）と古典的な ETAS モデルを比較した新たなベンチマーク「EarthquakeNPP」を提案し、その結果、現状の NPP は ETAS よりも優れた地震予測性能を示さなかったことを報告しています。
Losing dimensions: Geometric memorization in generative diffusion
この論文は、拡散モデルが学習データを記憶する過程が急激な変化ではなく、データ不足に伴い潜在次元が滑らかに減少し、重要な特徴から順に詳細が凍結して最終的に点ごとの複製に至る「幾何学的記憶」と呼ばれる段階的現象であることを理論的・実験的に明らかにしたものである。
Conditional Local Importance by Quantile Expectations
この論文は、LIME や SHAP などの既存手法が抱える局所的な変数依存関係の反映不足や多クラス分類への非適応性といった課題を克服し、変数間の局所的な依存関係や相互作用を捉えながら多クラス分類問題にも直接適用可能な新しいモデルアノニマな局所変数重要度測定手法「CLIQUE」を提案するものである。
Pairwise Comparisons without Stochastic Transitivity: Model, Theory and Applications
この論文は、従来のブラッドレー・テリーモデルなどが前提とする確率的推移性を不要とし、低次元の歪対称行列を用いてペア比較データをモデル化することで、多様なスキルや戦略が関わる実世界のシナリオにおいて最適な予測性能と推定理論的保証を実現する新しい統計モデルを提案しています。
An Algorithm to perform Covariance-Adjusted Support Vector Classification in Non-Euclidean Spaces
この論文は、非ユークリッド空間における従来の最大マージン分類の限界を指摘し、クラス共分散構造をチョレスキー分解を用いて最適化問題に組み込むことで、精度や F1 スコアなどの性能を向上させる共分散調整型サポートベクター分類アルゴリズムを提案しています。