Saddle-to-Saddle Dynamics Explains A Simplicity Bias Across Neural Network Architectures

この論文は、全結合・畳み込み・アテンションを含む多様なニューラルネットワークにおいて、勾配降下法が鞍点から鞍点へ遷移するダイナミクスを通じて、表現に必要な隠れユニット数(ランク、カーネル数、アテンションヘッド数など)が時間とともに増加する「単純性バイアス」が生じることを統一的に説明する理論的枠組みを提示しています。

Yedi Zhang, Andrew Saxe, Peter E. Latham2026-03-12🤖 cs.LG

Data relativistic uncertainty framework for low-illumination anime scenery image enhancement

この論文は、自然画像とは異なるアニメ風景の低照度環境におけるデータ不足と不確実性に対処するため、相対的GANの概念を応用して照明の不確実性を定量化・活用する「データ相対的不確実性(DRU)フレームワーク」を提案し、既存手法を上回る視覚的・審美的な画質向上を実現したことを示しています。

Yiquan Gao, John See2026-03-12🤖 cs.LG

The Bayesian Geometry of Transformer Attention

本論文は、真の事後分布が既知で記憶化が不可能な「ベイズ風洞」と呼ばれる制御環境を構築し、トランスフォーマーがアーキテクチャの幾何学的設計(残差ストリーム、フィードフォワードネットワーク、アテンションの役割分担)によって厳密にベイズ推論を実現することを示し、これが平坦なアーキテクチャとの決定的な違いであることを明らかにした。

Naman Agarwal, Siddhartha R. Dalal, Vishal Misra2026-03-12📊 stat

Gradient Dynamics of Attention: How Cross-Entropy Sculpts Bayesian Manifolds

本論文は、クロスエントロピー損失による勾配降下法がアテンションスコアと値ベクトルを共進化的に更新するメカニズムを解析し、これが変分推論的な EM 手順に相当する動的過程を通じて、トランスフォーマーがベイズ推論を実行するための低次元多様体を形成することを明らかにしています。

Naman Agarwal, Siddhartha R. Dalal, Vishal Misra2026-03-12📊 stat

Geometric Scaling of Bayesian Inference in LLMs

本論文は、小規模な「風洞」設定で確立されたベイズ推論の幾何学的基盤(低次元多様体や確率的エントロピーと相関する軸)が、Pythia や Llama-3 などの大規模言語モデルにおいても保存されており、不確実性の読み取りに寄与しているが、単一の層への介入だけでベイズ的な挙動が決定的に阻害されるわけではないことを示しています。

Naman Agarwal, Siddhartha R. Dalal, Vishal Misra2026-03-12🤖 cs.LG

Inferring Clinically Relevant Molecular Subtypes of Pancreatic Cancer from Routine Histopathology Using Deep Learning

この論文は、パナスネット(PanSubNet)と呼ばれる解釈可能な深層学習フレームワークを開発し、標準的なヘマトキシリン・エオシン染色の病理画像から膵がんの分子サブタイプを直接予測することで、コストや時間のかかる遺伝子解析に代わる臨床実用可能なツールを提供することを報告しています。

Abdul Rehman Akbar, Alejandro Levya, Ashwini Esnakula, Elshad Hasanov, Anne Noonan, Lingbin Meng, Susan Tsai, Vaibhav Sahai, Midhun Malla, Sarbajit Mukherjee, Upender Manne, Anil Parwani, Wei Chen, Ashish Manne, Muhammad Khalid Khan Niazi2026-03-12⚡ eess

Sampling via Stochastic Interpolants by Langevin-based Velocity and Initialization Estimation in Flow ODEs

この論文は、線形確率補間に基づく確率流 ODE を用いて非正規化ボルツマン分布からサンプリングする新規手法を提案し、中間時刻におけるランジュバン・サンプラーの活用と速度場推定によって、多峰性分布やベイズ推論タスクにおける効率的なサンプリングと理論的な収束保証を実現したものである。

Chenguang Duan, Yuling Jiao, Gabriele Steidl, Christian Wald, Jerry Zhijian Yang, Ruizhe Zhang2026-03-12📊 stat

Breaking the Stochasticity Barrier: An Adaptive Variance-Reduced Method for Variational Inequalities

この論文は、確率的変分不等式における「確率性バリア」を打破し、STORM 法と同一バッチ曲率検証を統合した新しいアルゴリズム「VR-SDA-A」を提案することで、非凸非凹最適化問題において最適なオラクル複雑度 O(ε⁻³) を達成しつつ、手動学習率調整なしで自動ステップサイズ適応を可能にする手法を確立したものである。

Yungi Jeong, Takumi Otsuka2026-03-12🤖 cs.LG

Grounding Generated Videos in Feasible Plans via World Models

本論文は、物理的制約や時間的整合性を欠く場合が多いゼロショット動画生成モデルによる計画を、学習されたアクション条件付き世界モデルを用いた潜在空間軌道最適化によって実行可能な動作系列に接地する手法「GVP-WM」を提案し、ナビゲーションや操作タスクにおいて長期的な実行可能計画の回復を実証しています。

Christos Ziakas, Amir Bar, Alessandra Russo2026-03-12🤖 cs.LG

A Bandit-Based Approach to Educational Recommender Systems: Contextual Thompson Sampling for Learner Skill Gain Optimization

この論文は、オンライン数学チューティングプラットフォームのデータを用いて、学習者のスキル向上を最大化する個人向け演習シーケンスを生成する文脈的トンプソンサンプリングに基づくバンドットアプローチを提案し、その有効性とスケーラブルな個人化学習の可能性を実証しています。

Lukas De Kerpel, Arthur Thuy, Dries F. Benoit2026-03-12📊 stat

BLITZRANK: Principled Zero-shot Ranking Agents with Tournament Graphs

この論文は、k 項比較から得られる情報をペアワイズ比較の完全なトーナメントグラフとして集約し、推移閉包を計算することで追加のクエリなしに順位を導出する「BLITZRANK」という枠組みを提案し、LLM 再ランク付けにおいて既存手法を精度維持または向上させながらトークン使用量を大幅に削減する結果を示しています。

Sheshansh Agrawal, Thien Hang Nguyen, Douwe Kiela2026-03-12🤖 cs.LG