Stochastic Attention via Langevin Dynamics on the Modern Hopfield Energy
この論文は、従来のアテンション機構を古典的エネルギー関数上の勾配降下の一歩とみなし、ランジュバン動力学に基づくサンプリングを導入することで、学習不要な「確率的アテンション」を実現し、温度パラメータの調整だけで正確な検索から創造的な生成までを制御可能にする手法を提案しています。
🤖 Category
cs.LG
8654 件の論文
Physics-informed AI Accelerated Retention Analysis of Ferroelectric Vertical NAND: From Day-Scale TCAD to Second-Scale Surrogate Model
本論文は、物理法則を学習アーキテクチャに組み込んだ物理情報ニューラル演算子（PINO）に基づく AI サロゲートモデルを開発し、フェロ電気垂直 NAND のデータ保持特性を TCAD 計算に比べて 1 万倍以上高速かつ高精度に予測可能にしたことを報告しています。
Single-pass Possibilistic Clustering with Damped Window Footprints
本論文は、非球形クラスターのモデル化、任意サイズの減衰ウィンドウにおける閉形式のフットプリント更新、および複数の仮説追跡文献からの共分散結合の活用などの特徴を備え、ストリーミングデータ処理において既存のアルゴリズムを上回る性能を示す単一パス可能性ベースのクラスタリング（SPC）アルゴリズムを提案しています。
Learning From Design Procedure To Generate CAD Programs for Data Augmentation
この論文は、産業設計の手法に着想を得て、参照曲面とモデリング手順に基づいて大規模言語モデルに CAD プログラムを生成させる新たなデータ拡張手法を提案し、既存データに不足していた有機的な形状やスプライン曲率を含む幾何学的多様性を大幅に向上させることを示しています。
Fairness May Backfire: When Leveling-Down Occurs in Fair Machine Learning
この論文は、属性情報を考慮した意思決定では公平性の強制が常に不利な集団の利益になるが、属性を排除した「属性非認識」の状況では分布に依存して両集団の利益を損なう「レベルダウン」を招く可能性があり、そのメカニズムと条件を明らかにしていることを示しています。
XGenBoost: Synthesizing Small and Large Tabular Datasets with XGBoost
XGenBoost は、XGBoost をスコア推定器や階層的分類器として活用し、混合タイプの表データに対して従来モデルよりも低コストで高精度な生成を実現する、小規模データ向け拡散モデルと大規模データ向け自己回帰モデルの 2 つのアーキテクチャを提案する論文です。
A Dynamic Self-Evolving Extraction System
この論文は、LLM による構造化情報の抽出と、確率的知識およびグラフ推論を統合した自己拡張型知識ベースが相互に強化し合う「DySECT」と呼ばれる動的自己進化型抽出・キュレーションシステムを提案するものである。
CN-CBF: Composite Neural Control Barrier Function for Safe Robot Navigation in Dynamic Environments
この論文は、動的環境における安全なロボットナビゲーションを実現するため、ハミルトン・ヤコビの到達可能性枠組みで訓練された複数のニューラル制御バリア関数を合成し、残差ニューラルアーキテクチャを用いて安全性を保証する「CN-CBF」という手法を提案し、シミュレーションおよびハードウェア実験で既存手法を上回る成功率を達成したことを報告しています。
NerVE: Nonlinear Eigenspectrum Dynamics in LLM Feed-Forward Networks
本論文は、大規模言語モデルのフィードフォワードネットワークにおける高次元動的な情報フローを、スペクトルエントロピーや参加率などの 4 つの指標を用いた「NerVE」と呼ばれる統一された固有スペクトル解析フレームワークを通じて解明し、モデルの汎化性能や設計選択との関連性を示すことで、試行錯誤に頼らないアーキテクチャやオプティマイザの最適化を可能にすることを提案しています。
Swimba: Switch Mamba Model Scales State Space Models
本論文は、状態空間モデル（SSM）の計算コストを増大させずに専門性を導入する「Switch Mamba（Swimba）」を提案し、パラメータ空間でエキスパートを混合する設計が、再帰計算のコストを固定したまま SSM の容量を拡張できることを理論的・実証的に示しています。
Physics-Consistent Neural Networks for Learning Deformation and Director Fields in Microstructured Media with Loss-Based Validation Criteria
この論文は、コシラ弾性理論に基づく微細構造媒体の力学挙動を解析するため、変形とディレクター場を独立に表現しフレーム不変性を満たす物理整合性ニューラルネットワークを開発し、準凸性やレジェンドル・ハダマード不等式などの安定性条件を損失関数として組み込むことで、エネルギー最小化解の物理的妥当性を検証する新しい計算手法を提案している。
Joint MDPs and Reinforcement Learning in Coupled-Dynamics Environments
この論文は、複数の行動に対する反事実的な結果の結合分布を明示的にモデル化する「結合マルコフ決定過程（JMDP）」を提案し、その枠組み内で n 次リターンモーメントに対するベルマン演算子を導出することで、収束保証付きの動的計画法および増分アルゴリズムを実現するものである。
How Private Are DNA Embeddings? Inverting Foundation Model Representations of Genomic Sequences
本論文は、DNABERT-2、Evo 2、NTv2 といった DNA 基盤モデルから生成された埋め込み表現が、モデル逆転攻撃によって元の遺伝子配列を再構築される脆弱性を有しており、特にトークン単位の埋め込みではほぼ完全な復元が可能であることを実証し、遺伝子データ共有におけるプライバシー保護の重要性を指摘しています。
Not All Neighbors Matter: Understanding the Impact of Graph Sparsification on GNN Pipelines
この論文は、大規模グラフにおける GNN パイプラインのボトルネックであるデータ移動コストを軽減しつつ、ノード分類タスクの精度を維持または向上させることを示すため、グラフスパース化が軽量な前処理として有効であることを体系的に検証した研究です。
Post-Training with Policy Gradients: Optimality and the Base Model Barrier
本論文は、ベースモデルのサポートを超える際に生じる「尤度分位（LQ）」という障壁を明らかにし、出力報酬を用いた方策勾配法が次元の呪いに直面するのに対し、プロセス報酬モデルを用いることでトークンレベルの LQ に依存し、次元の呪いを回避して最適に学習できることを示しています。
Chart-RL: Generalized Chart Comprehension via Reinforcement Learning with Verifiable Rewards
本論文は、数学的に検証可能な報酬を用いた強化学習手法「Chart-RL」を提案し、これにより既存の教師あり微細調整（SFT）を上回る性能でチャートの理解と推論能力を大幅に向上させ、少量の複雑なデータでも大規模な単純データよりも優れた汎化性能と他領域への転移能力を実現することを示しています。
Learning Quadruped Walking from Seconds of Demonstration
この論文は、四足歩行の限界サイクルやポアンカレ写像の構造に基づく原理的分析から、数秒のデモンストレーションのみでオフライン学習により頑健な歩行制御ポリシーをゼロから学習する新しい模倣学習手法を提案し、ハードウェア実験でその有効性を実証しています。
A SISA-based Machine Unlearning Framework for Power Transformer Inter-Turn Short-Circuit Fault Localization
本論文は、センサー故障などの有害データが機械学習モデルの性能を低下させる問題に対し、学習データを分割・独立訓練する SISA 手法を採用し、汚染データの影響を最小限に抑えつつ全モデルの再学習を回避して電力変圧器の巻線間短絡故障を高精度に特定する機械学習の忘却フレームワークを提案しています。
Topology-Aware Reinforcement Learning over Graphs for Resilient Power Distribution Networks
この論文は、極端な気象やサイバー攻撃による停電に備え、トポロジデータ分析（特に永続ホモロジー）をグラフ強化学習に組み込むことで、配電網の再構成と負荷遮断を最適化し、エネルギー供給の最大化と電圧違反の低減を実現する自律的な復旧フレームワークを提案しています。
Conditional Unbalanced Optimal Transport Maps: An Outlier-Robust Framework for Conditional Generative Modeling
この論文は、従来の条件付き最適輸送が持つ外れ値への敏感性という課題を解決するため、条件付き分布の整合制約を緩和する「条件付きアンバランス最適輸送（CUOT）」フレームワークと、それに基づく外れ値に頑健な生成モデル「CUOTM」を提案し、理論的裏付けと実験による有効性を示したものです。