In-Run Data Shapley for Adam Optimizer
この論文は、従来の SGD ベースの手法では Adam 最適化器の複雑な動的挙動を捉えられないという課題を解決するため、固定状態仮説に基づく閉形式近似と「線形化ゴースト近似」を導入し、Adam 最適化器に対応した高速かつ高精度なデータ寄与度評価手法「Adam-Aware In-Run Data Shapley」を提案するものである。
🤖 Category
cs.LG
6883 件の論文
Do Schwartz Higher-Order Values Help Sentence-Level Human Value Detection? A Study of Hierarchical Gating and Calibration
シュワルツの高次価値カテゴリーは、単一の文から人間の価値を検出するタスクにおいて、厳密な階層的ゲートリングやスタンドアロンのコンパクト LLM としてよりも、閾値調整やアンサンブルによる校正、あるいは帰納的バイアスとして活用する方が、限られた計算資源下でより効果的であることが示されました。
LatentMem: Customizing Latent Memory for Multi-Agent Systems
本論文は、LLM 駆動のマルチエージェントシステムにおける記憶の均質化と情報過多という課題を解決するため、エージェント固有の文脈に合わせたコンパクトな潜在記憶を生成する学習可能なフレームワーク「LatentMem」と、その最適化手法「LMPO」を提案し、既存のアーキテクチャを改変せずにも大幅な性能向上を実現したことを示しています。
Thickening-to-Thinning: Reward Shaping via Human-Inspired Learning Dynamics for LLM Reasoning
本論文は、人間の学習プロセスに着想を得た「厚み化から薄み化（T2T）」という動的報酬枠組みを提案し、誤答時には探索を促す「厚み化」、正解時には冗長性を抑制する「薄み化」を段階的に適用することで、大規模言語モデルの推論能力を大幅に向上させることを示しています。
Inference-Time Backdoors via Hidden Instructions in LLM Chat Templates
この論文は、モデルの重みや訓練データを改変せず、LLM の推論時に実行されるチャットテンプレート（Jinja2 プログラム）を悪用することで、モデルの重みを変更することなく推論時にバックドアを仕込む新たな攻撃手法を提案し、その有効性と既存のセキュリティスキャンによる検出の難しさを示したものである。
Hinge Regression Tree: A Newton Method for Oblique Regression Tree Splitting
本論文は、オブリク回帰木のスプリット学習を非線形最小二乗問題として再定式化し、減衰ニュートン法に基づく高速かつ収束が保証された最適化手法「Hinge Regression Tree (HRT)」を提案し、その普遍近似性と実データにおける高性能な予測精度を実証するものである。
Radial Müntz-Szász Networks: Neural Architectures with Learnable Power Bases for Multidimensional Singularities
この論文は、座標分離型ニューラルネットワークが や などの放射状特異性をモデル化できないことを理論的に示し、学習可能な放射冪 と対数項を組み合わせた「Radial Müntz-Szász Networks (RMN)」を提案することで、極めて少ないパラメータ数で高精度かつ物理的に整合性のある解を可能にしたことを報告しています。
SDFed: Bridging Local Global Discrepancy via Subspace Refinement and Divergence Control in Federated Prompt Learning
本論文は、データ分布やリソースの多様性に対応し、ローカルとグローバルな知識の矛盾を解消するため、固定長のグローバルプロンプトと可変長のローカルプロンプトを組み合わせ、部分空間微調整と発散制御を導入した新しいフェデレーティドプロンプト学習フレームワーク「SDFed」を提案し、その有効性を示すものである。
Retrieval Pivot Attacks in Hybrid RAG: Measuring and Mitigating Amplified Leakage from Vector Seeds to Graph Expansion
この論文は、ベクトル検索と知識グラフを組み合わせたハイブリッド RAG システムにおいて、個別のコンポーネントが安全であっても結合点での権限確認が欠如すると、意図しないデータ漏洩を引き起こす「リトリーバル・ピボット攻撃」の存在を明らかにし、グラフ拡張の境界でアクセス制御を再適用することでこのリスクを低コストで解消できることを示しています。
Diffusion-Guided Pretraining for Brain Graph Foundation Models
本論文は、脳グラフのセマンティクスを損なう既存のデータ拡張手法や構造情報の欠如といった課題を解決するため、拡散モデルを用いて構造認識型のドロップ・マスク戦略とトポロジーを考慮した再構成を可能にする統合的な事前学習フレームワーク「Diffusion-Guided Pretraining」を提案し、大規模な神経画像データセットにおける一貫した性能向上を実証したものである。
Learning Page Order in Shuffled WOO Releases
この論文は、意味的な順序手がかりが乏しいオランダの自由情報開示文書（WOO）のページ順序復元タスクにおいて、セグメント長が長い場合のシーケンス・ツー・シーケンス変換器の一般化失敗やカリキュラム学習の限界を明らかにし、モデルの専門化によって長文書での性能を大幅に向上させることを示しています。
Discovering Semantic Latent Structures in Psychological Scales: A Response-Free Pathway to Efficient Simplification
この論文は、大規模な回答データに依存せず、質問項目のセマンティック構造を自然言語処理技術を用いて分析・クラスタリングすることで、心理尺度の項目数を平均 60.5% 削減しつつも元の構成概念や心理計測特性を維持する効率的な簡素化フレームワークを提案し、その有効性を複数の尺度で実証したものである。
TrasMuon: Trust-Region Adaptive Scaling for Orthogonalized Momentum Optimizers
この論文は、Muon 系オプティマイザの更新方向の直交化に伴う不安定性を、大域 RMS 較正とエネルギーに基づく信頼領域クリッピングを組み合わせることで解決し、ウォームアップなしでも Adam 系手法を上回る安定性と収束速度を実現する「TrasMuon」という新しい最適化手法を提案しています。
Benchmark Leakage Trap: Can We Trust LLM-based Recommendation?
この論文は、LLM ベースの推薦システムにおける評価の信頼性を損なう新たな課題として、事前学習や微調整中にベンチマークデータが漏洩し、ドメインに依存して性能が虚偽に向上したり低下したりする現象を特定・実証し、その対策の必要性を訴えています。
Mean Flow Policy with Instantaneous Velocity Constraint for One-step Action Generation
この論文は、瞬間速度制約を付与することで表現力と計算効率を両立し、ロボット操作タスクにおいて最先端の成功率と高速な推論を実現する、一歩でアクションを生成する新しい生成方策「平均速度方策（MVP）」を提案するものです。
Pawsterior: Variational Flow Matching for Structured Simulation-Based Inference
本論文は、構造化された領域（有界な物理パラメータや離散 - 連続ハイブリッド変数など）に制約されるシミュレーションに基づく推論（SBI）の問題に対し、幾何学的制約と離散潜在構造の両方を統合的に扱える新しい変分フローマッチングフレームワーク「Pawsterior」を提案し、従来の手法では困難だったより広範な SBI 課題への適用を可能にするものです。
Why Code, Why Now: Learnability, Computability, and the Real Limits of Machine Learning
この論文は、コード生成が強化学習よりも信頼性高く進展した理由を、コードが持つ密で局所的かつ検証可能なフィードバックという情報構造に求め、計算問題の「表現可能性」「計算可能性」「学習可能性」の 3 特性を階層的に整理し、機械学習の進展の上限が単なるモデルの規模ではなく、タスク自体の学習可能性に依存することを示唆しています。
LongAudio-RAG: Event-Grounded Question Answering over Multi-Hour Long Audio
本論文は、数時間にわたる音声データを構造化されたイベント記録に変換し、SQL データベースから関連するイベントを検索して大規模言語モデルの回答を支援するハイブリッド型フレームワーク「LongAudio-RAG」を提案し、その精度向上とエッジ - クラウド環境での実用性を示したものである。
Accelerated Predictive Coding Networks via Direct Kolen-Pollack Feedback Alignment
この論文は、誤差信号の伝播遅延と指数関数的減衰という予測符号化の課題を、出力層から全隠れ層への直接フィードバック接続を導入することで解決し、理論的な誤差伝播の時間計算量を O(L) から O(1) に削減するとともに、標準的な手法と同等以上の性能を実現する「直接コレン・ポラック予測符号化（DKP-PC）」を提案しています。
On the Power of Source Screening for Learning Shared Feature Extractors
本論文は、異質なデータソースから共有特徴抽出器を学習する際、すべてのソースを併用するのではなく、統計的に最適な部分集合（情報豊富サブ集団）をスクリーニングして選択的に学習することで、大量のデータを破棄しても最小最大最適性を達成できることを理論的・実験的に示しています。