OptiRoulette Optimizer: A New Stochastic Meta-Optimizer for up to 5.3x Faster Convergence
本論文は、トレーニング中に最適化手法を動的に選択する新しい確率的メタ最適化手法「OptiRoulette」を提案し、複数の画像分類タスクにおいて単一の AdamW ベースラインと比較して最大 5.3 倍の収束速度向上と高精度達成を実現したことを報告しています。
🤖 Category
cs.LG
8581 件の論文
Correlation Analysis of Generative Models
この論文は、拡散モデルとフローマッチングを統一的な線形方程式で表現し、既存モデルにおけるノイズデータと予測ターゲット間の相関が弱いことが学習プロセスに悪影響を及ぼす可能性を理論的に示しています。
Annealed Co-Generation: Disentangling Variables via Progressive Pairwise Modeling
この論文は、高次元拡散モデルの代わりに低次元拡散モデルを組み合わせる「Annealed Co-Generation（ACG）」フレームワークを提案し、因果変数をペアごとに学習して共有変数を介して結合する三段階のアニーリングプロセスにより、科学的タスクにおける多変量共生成の計算負荷とデータ不均衡を解決し、一貫性のある生成を実現することを示しています。
RACER: Risk-Aware Calibrated Efficient Routing for Large Language Models
この論文は、マルチモデルシステムにおけるコストと性能のトレードオフを最適化するため、誤分類リスクを厳密に制御しつつ最適な大規模言語モデルの集合を動的に選択する新しい手法「RACER」を提案し、その理論的保証と高い精度を実証しています。
Evo: Autoregressive-Diffusion Large Language Models with Evolving Balance
この論文は、自己回帰モデルと拡散モデルを連続的な潜在軌道として統合し、生成の確信度に応じて両者のバランスを動的に調整することで、推論速度を維持しつつ高い生成品質と推論能力を実現する新しい大規模言語モデル「Evo」を提案しています。
Distilling and Adapting: A Topology-Aware Framework for Zero-Shot Interaction Prediction in Multiplex Biological Networks
この論文は、ドメイン固有の基盤モデル、トポロジー意識型グラフトークナイザー、教師-生徒型知識蒸留を組み合わせることで、未見のエンティティに対するゼロショット相互作用予測を可能にする新しいマルチプレックス生物ネットワーク用フレームワークを提案し、最先端の手法を上回る性能を実証したものである。
Not all tokens are needed(NAT): token efficient reinforcement learning
この論文は、大規模言語モデルの強化学習において、Horvitz-Thompson 再重み付けを用いて生成トークンの一部のみで偏りのない勾配を推定する「NAT（Not All Tokens Are Needed）」フレームワークを提案し、計算コストやメモリ使用量を削減しながらフルトークン学習と同等の性能を達成することを示しています。
GraphSkill: Documentation-Guided Hierarchical Retrieval-Augmented Coding for Complex Graph Reasoning
この論文は、技術文書の階層構造を活用した階層的検索と自動テストケース生成による自己デバッグを組み合わせたエージェント型フレームワーク「GraphSkill」を提案し、複雑なグラフ推論タスクにおけるコード生成の精度向上と推論コストの削減を実現するものです。
Reward Under Attack: Analyzing the Robustness and Hackability of Process Reward Models
本論文は、LLM 推論パイプラインの中核を担うプロセス報酬モデル（PRM）が、敵対的攻撃に対して脆弱であり、実際には推論の正しさを検証するのではなく文章の流暢さを検出する傾向にあることを示し、その脆弱性を定量化するための診断フレームワークと評価ツールキットを提案しています。
From ARIMA to Attention: Power Load Forecasting Using Temporal Deep Learning
本論文は、PJM の電力消費データを用いた短期負荷予測の比較検討を通じて、ARIMA、LSTM、BiLSTM、Transformer 各モデルの性能を評価し、自己注意機構に基づく Transformer モデルが MAPE 3.8% の最高精度と堅牢性を示したことを報告しています。
Advances in GRPO for Generation Models: A Survey
この論文は、生成モデルの人間嗜好やタスク目標への整合を可能にする「Flow-GRPO」の手法論的進歩と、画像・動画・音声・3D など多様な生成タスクへの応用展開を包括的にレビューし、その将来の課題を概説する調査論文である。
Exploration Space Theory: Formal Foundations for Prerequisite-Aware Location-Based Recommendation
この論文は、知識空間理論を位置情報推薦に応用し、訪問地点間の前提依存関係を格子論的に定式化した「探索空間理論（EST）」を提案し、その数学的構造に基づいて構造的妥当性が保証された推薦システム（ESRS）を構築することを目的としています。
Pavement Missing Condition Data Imputation through Collective Learning-Based Graph Neural Networks
本論文は、センサー誤差や非定期的な点検により生じる舗装状態データの欠損を、隣接区間の特性と観測区間間の依存関係の両方を学習する集団学習ベースのグラフ畳み込みネットワークを用いて高精度に補完する手法を提案し、テキサス州交通省のデータを用いた実証実験でその有効性を示したものである。
Grouter: Decoupling Routing from Representation for Accelerated MoE Training
この論文は、MoE（Mixture-of-Experts）モデルの構造最適化と重みの更新を分離する「Grouter」という事前ルーティング手法を提案し、高品質な構造を固定ルーターとして活用することで、トレーニングの収束速度と品質を大幅に向上させ、スケーラブルな MoE 訓練のパラダイムを確立したことを示しています。
T-REX: Transformer-Based Category Sequence Generation for Grocery Basket Recommendation
本論文は、オンライン生鮮食品ショッピングにおける反復的な購入パターンや複雑なアイテム関係といった課題に対処するため、動的シーケンス分割、適応的ポジショナルエンコーディング、カテゴリレベルモデリングという 3 つの革新を導入し、BERT4Rec などの既存手法よりも優れた次回の買い物かご予測を実現するトランスフォーマーベースのモデル「T-REX」を提案するものである。
Leakage Safe Graph Features for Interpretable Fraud Detection in Temporal Transaction Networks
この論文は、時間的漏洩を防止する因果的なグラフ特徴量抽出プロトコルを提案し、Elliptic データセットを用いた時系列取引ネットワークにおける詐欺検出において、トランザクション属性を補完する解釈可能な構造的指標の有用性と実用性を検証したものです。
A new Uncertainty Principle in Machine Learning
機械学習における多項式近似の課題は、ヘヴィサイド関数やシグモイド関数の展開に起因する特異な「不確定性原理」（極小値が鋭いほど谷が滑らかになる性質）によって説明され、これは物理学の観点から従来のフーリエ解析における不確定性原理を拡張する新たな概念である。
Graph Property Inference in Small Language Models: Effects of Representation and Inference Strategy
本論文は、小規模言語モデルにおけるグラフ特性推論の精度が、モデルの規模だけでなく、近隣構造を保持する入力表現や多分岐推論戦略といった表現方法と推論設計に強く依存することを示しています。
SmartBench: Evaluating LLMs in Smart Homes with Anomalous Device States and Behavioral Contexts
この論文は、スマートホームにおける異常なデバイス状態や行動文脈を検知・対応する能力を評価するための初のデータセット「SmartBench」を提案し、13 の主要な大規模言語モデル（LLM）のテスト結果から、現状の最先端モデルでも異常検知の精度が十分でなく、次世代のスマートホームアシスタントの実用化にはまだ課題が多いことを明らかにしています。
HEARTS: Benchmarking LLM Reasoning on Health Time Series
この論文は、大規模言語モデル（LLM）の健康時系列データに対する推論能力を包括的に評価し、その限界を明らかにするための新しいベンチマーク「HEARTS」を提案するものです。