Scaling Machine Learning Interatomic Potentials with Mixtures of Experts
本論文は、混合専門家（MoE）および混合線形専門家（MoLE）アーキテクチャを原子間ポテンシャルに適用し、共有専門家と非線形性の組み合わせ、および元素ごとのルーティング戦略が、化学的に解釈可能な専門分化を実現しながら、OMol25、OMat24、OC20M 各ベンチマークで最先端の精度を達成することを示しています。
🤖 Category
cs.LG
8729 件の論文
\$OneMillion-Bench: How Far are Language Agents from Human Experts?
この論文は、法律や金融などの専門分野における経済的に重要なシナリオを評価し、既存のベンチマークでは捉えきれない言語エージェントの実務能力を測定するために、専門家が作成した 400 件のタスクと厳格な評価基準を備えた新しいベンチマーク「\$OneMillion-Bench」を提案しています。
MJ1: Multimodal Judgment via Grounded Verification
本論文は、視覚的証拠に基づく構造化検証チェーンと反事実的一貫性報酬を導入した強化学習により、30 億パラメータの MJ1 が Gemini-3-Pro などの大規模モデルを上回る高精度なマルチモーダル判断を実現し、モデル規模の増大なしに判断の信頼性を向上させる手法を提案しています。
SmartThinker: Progressive Chain-of-Thought Length Calibration for Efficient Large Language Model Reasoning
この論文は、大規模推論モデルにおける冗長な思考プロセスを解決し、動的な長さ推定と報酬係数調整により、推論の短縮と精度向上を両立させる新しい手法「SmartThinker」を提案するものである。
Amortizing Maximum Inner Product Search with Learned Support Functions
この論文は、最大内積検索（MIPS）の計算コストを削減するため、キー集合の支持関数の性質を利用し、入力凸ニューラルネットワーク（SupportNet）または勾配計算を不要なベクトル値ネットワーク（KeyNet）を用いてクエリに対する最適キーを直接予測する「アモルタイズド MIPS」と呼ばれる学習ベースのアプローチを提案しています。
FedMomentum: Preserving LoRA Training Momentum in Federated Fine-Tuning
FedMomentum は、SVD を用いて LoRA 更新の主要な方向性を抽出・再構成する新しいフェデレーティング学習フレームワークを提案し、既存手法が抱える数学的誤りや構造的表現性の低下を解決することで、収束速度と最終精度の両方を向上させる。
Capacity-Aware Mixture Law Enables Efficient LLM Data Optimization
本論文は、モデル容量とデータ混合の非線形な相互作用を考慮した「CAMEL」という法則と損失からベンチマーク精度を予測する手法を提案し、大規模言語モデルのデータ混合最適化コストを半減させつつ、下流タスクの性能を最大 3% 向上させる効率的なパイプラインを確立した。
GCGNet: Graph-Consistent Generative Network for Time Series Forecasting with Exogenous Variables
この論文は、時系列データと外生変数の時間的・チャネル間の相関をノイズに強く統合的にモデル化し、変分生成器、グラフ構造アライナー、グラフリファイナーの 3 段階のプロセスを通じて予測精度を向上させる「GCGNet」という新しい手法を提案し、12 の実世界データセットで最先端の手法を上回る性能を実証しています。
CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling
本論文は、対照的なプロファイリングと要約を組み合わせた新たなパラダイム「CDRRM」を提案し、高品質な評価基準の自動生成を通じて、大規模言語モデルの報酬モデリングにおける解釈性、バイアス低減、およびデータ効率を飛躍的に向上させることを示しています。
Stabilized Fine-Tuning with LoRA in Federated Learning: Mitigating the Side Effect of Client Size and Rank via the Scaling Factor
本論文は、連合学習における LoRA の不安定性、特にクライアント数とランクに依存する勾配崩壊を解消するため、集約プロセスを考慮した最適スケーリング因子を導入し、高ランク適応の安定性と収束性を大幅に向上させる「Stabilized Federated LoRA (SFed-LoRA)」を提案するものです。
Adversarial Domain Adaptation Enables Knowledge Transfer Across Heterogeneous RNA-Seq Datasets
この論文は、異なる前処理パイプラインやターゲット表現型を持つ異質な RNA-seq データセット間で、敵対的ドメイン適応を用いた深層学習フレームワークを提案し、限られたデータ条件下でもがんタイプや組織タイプの分類精度を向上させることを示しています。
Deterministic Differentiable Structured Pruning for Large Language Models
本論文は、LLM の推論コスト削減に向けた構造化プルーニングにおいて、既存の確率的な手法が抱える訓練・推論の不一致や表現力の限界を克服するため、離散的なノルムの目的関数を直接最適化する決定論的なソフトな代替関数を用いた「決定論的微分可能プルーニング（DDP）」を提案し、Qwen3 などの大規模モデルにおいて既存手法を上回る高スパース性と低性能損失を達成したことを報告しています。
Hybrid Quantum Neural Network for Multivariate Clinical Time Series Forecasting
本論文は、心拍数や酸素飽和度などの生理学的時系列データを予測するために、GRU エンコーダーと変分量子回路（VQC）を統合したハイブリッド量子・古典ニューラルネットワークを提案し、小規模な臨床データセットにおいて高い精度とノイズ耐性を示すことを実証しています。
Tiny Autoregressive Recursive Models
本論文は、標準的なトランスフォーマーを段階的に変形して評価した結果、計算リソースを同等に設定した条件下では、完全な自己回帰型 TRM アーキテクチャが必ずしも性能向上をもたらさないことを示し、2 段階の洗練メカニズム自体には可能性が残るものの、特定の自己回帰型 TRM への投資には慎重であるべきだと結論付けています。
EAGLE-Pangu: Accelerator-Safe Tree Speculative Decoding on Ascend NPUs
この論文は、Ascend NPU 上のパングモデル向けに、キャッシュ管理や構造的不変性の保証、融合カーネル対応などによりアクセラレータ環境での安定性を確保した木構造スペキュレイティブデコーディングシステム「EAGLE-Pangu」を提案し、教師モデル単独のデコーディングと比較して最大 2.46 倍の処理スループット向上を実現したことを報告しています。
DC-W2S: Dual-Consensus Weak-to-Strong Training for Reliable Process Reward Modeling in Biological Reasoning
この論文は、生物学的推論におけるプロセス報酬モデルの信頼性を高めるため、自己一致と近傍一致の二重合意に基づいてノイズの多い弱い教師信号を選別し、戦略的なデータキュレーションを通じて専門家の完全な注釈なしで堅牢なモデルを訓練する「DC-W2S」フレームワークを提案しています。
Invisible Safety Threat: Malicious Finetuning for LLM via Steganography
この論文は、LLM をステガノグラフィ技術で微調整し、表面上は安全な応答を示しつつ内部に悪意のあるコンテンツを隠蔽する「見えない安全脅威」を提唱し、GPT-4.1 や複数のオープンソースモデルにおいて、人間や既存の安全フィルタが検知できない状態で悪意ある出力を生成できることを実証したものである。
Tau-BNO: Brain Neural Operator for Tau Transport Model
アルツハイマー病などのタウタンパク質の拡散を記述する複雑な生体物理モデル（NTM）の計算負荷を解決するため、従来の手法に比べて精度と速度を大幅に向上させたニューラルオペレーター基盤の代理モデル「Tau-BNO」を提案し、パラメータ推論やメカニズムの発見を可能にする研究です。
Model-based Offline RL via Robust Value-Aware Model Learning with Implicitly Differentiable Adaptive Weighting
本論文は、モデルベースのオフライン強化学習におけるモデルの過剰利用や不安定な更新を解決するため、Q 値の過小評価を防ぐロバストな価値意識モデル学習と、implicitly differentiable な適応的重み付けを導入した新手法「ROMI」を提案し、D4RL や NeoRL などのベンチマークで既存の最良手法を凌駕する性能を実証したものである。
SaiVLA-0: Cerebrum--Pons--Cerebellum Tripartite Architecture for Compute-Aware Vision-Language-Action
この論文は、大脳・橋・小脳という神経科学に着想を得た三層アーキテクチャを採用し、計算効率とモジュール性を向上させながら、LIBERO ベンチマークで 99.0% の高い成功率を達成する新しいビジョン・言語・アクションモデル「SaiVLA-0」を提案する概念とプロトコルの論文です。