A Graph-Based Approach to Spectrum Demand Prediction Using Hierarchical Attention Networks
この論文は、地理空間データを用いてスペクトル需要を予測し、空間的自己相関の問題を解決することで既存モデルより 21% 高い精度を達成する階層型アテンションネットワーク「HR-GAT」を提案し、5 つの主要カナダ都市でその有効性を実証したものである。
🤖 Category
cs.LG
5368 件の論文
GAST: Gradient-aligned Sparse Tuning of Large Language Models with Data-layer Selection
この論文は、データとレイヤーの両次元で選択的微調整を行う統合最適化戦略「GAST」を提案し、既存の手法が見過ごしていたデータとレイヤーの非対称な寄与を考慮することで、大規模言語モデルのパラメータ効率型微調整の性能を向上させることを示しています。
CarbonBench: A Global Benchmark for Upscaling of Carbon Fluxes Using Zero-Shot Learning
本論文は、希少なエディ相関観測データに依存しない炭素フラックスのアップスケーリングを評価するための初のゼロショット空間転移学習ベンチマーク「CarbonBench」を提案し、567 の観測地点から得られた 130 万超のデータを用いて、異なる植生や気候帯へのモデルの一般化性能を厳密に検証する枠組みを提供しています。
MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning
この論文は、逐次学習における大規模言語モデルの忘却を抑制しつつ適応性を維持するため、サンプルごとの記憶強度を推定し適応的にリハーサルをスケジュールする新しい経験再生フレームワーク「MSSR」を提案し、広範な実験で最先端の手法を上回る性能を実証したものである。
OptEMA: Adaptive Exponential Moving Average for Stochastic Optimization with Zero-Noise Optimality
この論文は、既存の Adam 型最適化手法の理論的限界を克服し、リプシッツ定数や事前知識を必要とせず、特にノイズがゼロの状況でほぼ最適な収束速度を達成する新しい適応的指数移動平均法「OptEMA」を提案し、その厳密な収束保証を示すものです。
Generative Drifting is Secretly Score Matching: a Spectral and Variational Perspective
本論文は、生成ドリフトがガウスカーネル下で滑らかな分布のスコア差と等価であることを示し、 McKean-Vlasov 動力学の線形化や Wasserstein 勾配流の観点から理論的基盤を確立するとともに、収束速度の向上や安定な訓練のための停止勾配の必要性を明らかにしたものである。
SignalMC-MED: A Multimodal Benchmark for Evaluating Biosignal Foundation Models on Single-Lead ECG and PPG
ECG と PPG の同期データから構成される新しいベンチマーク「SignalMC-MED」を提案し、バイオシグナル基盤モデルの評価においてドメイン特化モデルの有効性、マルチモーダル融合の優位性、および手動特徴量と学習表現の相補性を明らかにした。
When Learning Rates Go Wrong: Early Structural Signals in PPO Actor-Critic
本論文は、PPO における学習率の不適切な設定が隠れ層ニューロンの活性化パターンに与える影響を「過学習・未学習指標（OUI）」で定量化し、トレーニング初期段階で学習率の良否を高精度に判定し不要な学習を早期に剪定できる手法を提案しています。
Towards a Neural Debugger for Python
この論文は、LLM をファインチューニングまたはゼロから学習させることで、ブレークポイント設定やステップ実行などの対話的制御を可能にする「ニューラルデバッガー」を提案し、CruxEval における高い性能と、将来的な自律型コーディングシステムにおける世界モデルとしての基盤性を示しています。
On the Width Scaling of Neural Optimizers Under Matrix Operator Norms I: Row/Column Normalization and Hyperparameter Transfer
この論文は、行列演算子ノルムの幾何学的解釈に基づき、層ごとの合成性と幅に依存しない滑らかさの保証を実現する新しい平均正規化ノルムを導入し、これによりモデル幅を超えた学習率の安定した転送を可能にする新しい最適化手法「MOGA」を提案し、大規模な事前学習実験で Muon と同等以上の性能と高速性を示したことを報告しています。
From Semantics to Pixels: Coarse-to-Fine Masked Autoencoders for Hierarchical Visual Understanding
Contrastive 学習とマスク画像モデルの課題を解決するため、セマンティック・インスタンス・ピクセルの 3 段階の粒度で階層的視覚表現を学習し、大規模なマルチ粒度データセットを用いた C2FMAE が、画像分類・物体検出・セマンティックセグメンテーションにおいて顕著な性能向上を実現したことを提案する論文です。
Think Before You Lie: How Reasoning Improves Honesty
この論文は、人間とは異なり大規模言語モデルにおいて推論プロセスが誠実さを高める効果をもたらすことを示し、その理由として欺瞞的な領域が不安定であり、推論による表現空間の探索がより安定した誠実なデフォルト状態へとモデルを導くことを発見したことを報告しています。
From Data Statistics to Feature Geometry: How Correlations Shape Superposition
この論文は、従来の超位置（superposition）の理解が不十分な現実的なデータにおいて、特徴間の相関を考慮した「Bag-of-Words 超位置（BOWS）」モデルを提案し、相関する特徴が干渉を構築的に利用して意味的なクラスタや循環構造を自然に形成することを示しています。
Task Aware Modulation Using Representation Learning for Upsaling of Terrestrial Carbon Fluxes
この論文は、物理的な制約と適応的な表現学習を統合した「タスク認識型変調（TAM-RL）」フレームワークを提案し、地上観測データの希薄さや地域偏りによる課題を克服することで、既存の手法よりも大幅に精度を向上させた陸域炭素フラックスの全球スケールへのアップスケーリングを実現したことを示しています。
Online Neural Networks for Change-Point Detection
この論文では、大規模な時系列データに対して線形計算量で実行可能かつ最適解への収束が証明された、ニューラルネットワークとオンライン学習に基づく 2 つの新しい変化点検出手法を提案し、既存の手法を上回る性能を実証するとともに、オフライン手法よりも優れる条件を明らかにしています。
Accounting for shared covariates in semi-parametric Bayesian additive regression trees
この論文は、線形予測子と BART 成分の共分散を共有する際に生じる識別不能性やバイアスを、木生成の移動を改良することで解決し、主要な共変量間の複雑な相互作用をモデル化可能にする半パラメトリック・ベイズ加性回帰木（BART）の拡張手法を提案し、教育評価データやベンチマークデータを用いた検証でその有効性を示したものである。
A White-Box SVM Framework and its Swarm-Based Optimization for Supervision of Toothed Milling Cutter through Characterization of Spindle Vibrations
本論文では、切削工具の摩耗や破損に伴う主軸振動の時間領域応答と統計的特徴を分析し、特徴選択と群知能アルゴリズムによる最適化を組み合わせたホワイトボックス型サポートベクターマシン（SVM）フレームワークを提案し、工具状態のリアルタイム監視におけるその有効性と解釈可能性を実証しています。
Automated Reinforcement Learning: An Overview
本論文は、強化学習のモデル化やアルゴリズム選択、ハイパーパラメータ調整などの主要な構成要素を自動化する「自動強化学習（AutoRL）」の動向を、大規模言語モデルを用いた最新手法や将来の統合が期待される技術を含めて包括的に概観し、その課題や今後の研究方向について議論している。
Explainable classification of astronomical uncertain time series
この論文は、天文学における不確実な時系列データの分類において、既存の解釈可能な手法の性能不足とデータ不確実性の欠如を解決するため、データの不確実性を入力として取り込み、予測の解釈性を保ちながら最先端の性能を達成する新しいモデルを提案するものである。
Empirical Asset Pricing via Ensemble Gaussian Process Regression
この論文は、条件付き期待リターンを予測するためにガウス過程回帰に基づくアンサンブル学習手法を導入し、大規模な米国株式データを用いた実証分析において既存の機械学習モデルを上回る統計的・経済的パフォーマンスを示すとともに、予測の不確実性を考慮した平均分散最適ポートフォリオの構築により、等加重やバリュー加重ポートフォリオ、さらには S&P500 を凌駕する成果を報告しています。