Not all tokens are needed(NAT): token efficient reinforcement learning
この論文は、大規模言語モデルの強化学習において、Horvitz-Thompson 再重み付けを用いて生成トークンの一部のみで偏りのない勾配を推定する「NAT（Not All Tokens Are Needed）」フレームワークを提案し、計算コストやメモリ使用量を削減しながらフルトークン学習と同等の性能を達成することを示しています。
🤖 Category
cs.LG
11291 件の論文
GraphSkill: Documentation-Guided Hierarchical Retrieval-Augmented Coding for Complex Graph Reasoning
この論文は、技術文書の階層構造を活用した階層的検索と自動テストケース生成による自己デバッグを組み合わせたエージェント型フレームワーク「GraphSkill」を提案し、複雑なグラフ推論タスクにおけるコード生成の精度向上と推論コストの削減を実現するものです。
Reward Under Attack: Analyzing the Robustness and Hackability of Process Reward Models
本論文は、LLM 推論パイプラインの中核を担うプロセス報酬モデル（PRM）が、敵対的攻撃に対して脆弱であり、実際には推論の正しさを検証するのではなく文章の流暢さを検出する傾向にあることを示し、その脆弱性を定量化するための診断フレームワークと評価ツールキットを提案しています。
From ARIMA to Attention: Power Load Forecasting Using Temporal Deep Learning
本論文は、PJM の電力消費データを用いた短期負荷予測の比較検討を通じて、ARIMA、LSTM、BiLSTM、Transformer 各モデルの性能を評価し、自己注意機構に基づく Transformer モデルが MAPE 3.8% の最高精度と堅牢性を示したことを報告しています。
Advances in GRPO for Generation Models: A Survey
この論文は、生成モデルの人間嗜好やタスク目標への整合を可能にする「Flow-GRPO」の手法論的進歩と、画像・動画・音声・3D など多様な生成タスクへの応用展開を包括的にレビューし、その将来の課題を概説する調査論文である。
Exploration Space Theory: Formal Foundations for Prerequisite-Aware Location-Based Recommendation
この論文は、知識空間理論を位置情報推薦に応用し、訪問地点間の前提依存関係を格子論的に定式化した「探索空間理論（EST）」を提案し、その数学的構造に基づいて構造的妥当性が保証された推薦システム（ESRS）を構築することを目的としています。
Pavement Missing Condition Data Imputation through Collective Learning-Based Graph Neural Networks
本論文は、センサー誤差や非定期的な点検により生じる舗装状態データの欠損を、隣接区間の特性と観測区間間の依存関係の両方を学習する集団学習ベースのグラフ畳み込みネットワークを用いて高精度に補完する手法を提案し、テキサス州交通省のデータを用いた実証実験でその有効性を示したものである。
Grouter: Decoupling Routing from Representation for Accelerated MoE Training
この論文は、MoE（Mixture-of-Experts）モデルの構造最適化と重みの更新を分離する「Grouter」という事前ルーティング手法を提案し、高品質な構造を固定ルーターとして活用することで、トレーニングの収束速度と品質を大幅に向上させ、スケーラブルな MoE 訓練のパラダイムを確立したことを示しています。
T-REX: Transformer-Based Category Sequence Generation for Grocery Basket Recommendation
本論文は、オンライン生鮮食品ショッピングにおける反復的な購入パターンや複雑なアイテム関係といった課題に対処するため、動的シーケンス分割、適応的ポジショナルエンコーディング、カテゴリレベルモデリングという 3 つの革新を導入し、BERT4Rec などの既存手法よりも優れた次回の買い物かご予測を実現するトランスフォーマーベースのモデル「T-REX」を提案するものである。
Leakage Safe Graph Features for Interpretable Fraud Detection in Temporal Transaction Networks
この論文は、時間的漏洩を防止する因果的なグラフ特徴量抽出プロトコルを提案し、Elliptic データセットを用いた時系列取引ネットワークにおける詐欺検出において、トランザクション属性を補完する解釈可能な構造的指標の有用性と実用性を検証したものです。
A new Uncertainty Principle in Machine Learning
機械学習における多項式近似の課題は、ヘヴィサイド関数やシグモイド関数の展開に起因する特異な「不確定性原理」（極小値が鋭いほど谷が滑らかになる性質）によって説明され、これは物理学の観点から従来のフーリエ解析における不確定性原理を拡張する新たな概念である。
Graph Property Inference in Small Language Models: Effects of Representation and Inference Strategy
本論文は、小規模言語モデルにおけるグラフ特性推論の精度が、モデルの規模だけでなく、近隣構造を保持する入力表現や多分岐推論戦略といった表現方法と推論設計に強く依存することを示しています。
SmartBench: Evaluating LLMs in Smart Homes with Anomalous Device States and Behavioral Contexts
この論文は、スマートホームにおける異常なデバイス状態や行動文脈を検知・対応する能力を評価するための初のデータセット「SmartBench」を提案し、13 の主要な大規模言語モデル（LLM）のテスト結果から、現状の最先端モデルでも異常検知の精度が十分でなく、次世代のスマートホームアシスタントの実用化にはまだ課題が多いことを明らかにしています。
HEARTS: Benchmarking LLM Reasoning on Health Time Series
この論文は、大規模言語モデル（LLM）の健康時系列データに対する推論能力を包括的に評価し、その限界を明らかにするための新しいベンチマーク「HEARTS」を提案するものです。
RECAP: Local Hebbian Prototype Learning as a Self-Organizing Readout for Reservoir Dynamics
本論文は、誤差逆伝播を用いずに、学習済みのリザーバの動的応答とヘッビアン学習に基づく自己組織化プロトタイプ読み出しを組み合わせた「RECAP」という画像分類手法を提案し、汚染データに曝されなくても MNIST-C における多様なノイズに対して高い頑健性を示すことを実証しています。
Roots Beneath the Cut: Uncovering the Risk of Concept Revival in Pruning-Based Unlearning for Diffusion Models
本論文は、拡散モデルから不要な概念を削除する剪定ベースの学習忘却手法において、剪定された重みの位置が側面チャネルとして機能し、追加データや再学習なしで削除された概念を完全に復元できる脆弱性があることを発見し、より安全な剪定メカニズムの必要性を提唱しています。
SR-TTT: Surprisal-Aware Residual Test-Time Training
この論文は、テスト時トレーニング（TTT）モデルが持つ文脈圧縮による「針の干し草」タスクでの失敗を解決するため、驚異的なトークンのみを従来の注意機構に動的にルーティングする「SR-TTT」という新しいアーキテクチャを提案し、O(1) メモリ効率を維持しながら完全な文脈記憶を実現することを示しています。
Quantum Deep Learning: A Comprehensive Review
この論文は、量子深層学習（QDL）の定義と分類を確立し、理論からハードウェア実装、応用分野、そして古典的アルゴリズムとの公平な比較までを包括的にレビューするとともに、将来の拡張可能な実装に向けたロードマップを提示する包括的な総説である。
Trust Aware Federated Learning for Secure Bone Healing Stage Interpretation in e-Health
本論文は、分散医療センシング環境における信頼性の低いまたは敵対的な参加者の影響を軽減し、骨治癒段階の解釈精度と訓練の安定性を向上させるために、適応型信頼スコア管理メカニズムを組み込んだ信頼性感知連合学習フレームワークを提案するものである。
HURRI-GAN: A Novel Approach for Hurricane Bias-Correction Beyond Gauge Stations using Generative Adversarial Networks
本論文は、物理シミュレーションモデルの計算時間を短縮しつつ精度を維持するために、時間系列生成敵対的ネットワーク（TimeGAN）を用いて観測地点を超えた地域におけるハリケーンによる高潮のバイアス補正を行う新しい手法「HURRI-GAN」を提案し、その有効性を示したものです。