Information Routing in Atomistic Foundation Models: How Task Alignment and Equivariance Shape Linear Disentanglement

この論文は、Compositional Probe Decomposition (CPD) という手法を用いて、分子モデルにおける幾何学的・組成情報の線形分離性を定量化し、タスクの整合性、データ多様性、対称性に基づく情報経路が、モデルの表現における線形分離の度合いを決定づけることを明らかにしました。

Joshua Steier2026-03-10🤖 cs.LG

XInsight: Integrative Stage-Consistent Psychological Counseling Support Agents for Digital Well-Being

本論文は、従来の LLM チャットボットの課題を克服し、デジタルウェルビーイングを促進する Web アプリケーション向けに、古典的な「探索・洞察・行動」のカウンセリングパラダイムに沿った多エージェントフレームワーク「XInsight」と、その評価基準「XInsight-Bench」を提案するものである。

Fei Wang, Jiangnan Yang, Junjie Chen, Yuxin Liu, Kun Li, Yanyan Wei, Dan Guo, Meng Wang2026-03-10🤖 cs.LG

Isotonic Layer: A Universal Framework for Generic Recommendation Debiasing

この論文は、ニューラルアーキテクチャに直接統合された「等方性層(Isotonic Layer)」という新しいフレームワークを提案し、特徴空間の分割と非負の傾き最適化を通じてモデルの出力に単調性を強制することで、推薦システムのバイアス除去と較正精度を大幅に向上させることを実証しています。

Hailing Cheng, Yafang Yang, Hemeng Tao, Fengyu Zhang2026-03-10🤖 cs.LG

How Attention Sinks Emerge in Large Language Models: An Interpretability Perspective

この論文は、大規模言語モデルにおける「アテンションシンク」の発生メカニズムを解明し、意味情報に依存せず位置 0 のトークンを認識する「P0 シンク回路」がトランスフォーマーの初期層で早期に形成されることを発見し、これが事前学習の収束状態を監視する指標となる可能性を示しています。

Runyu Peng, Ruixiao Li, Mingshu Chen, Yunhua Zhou, Qipeng Guo, Xipeng Qiu2026-03-10🤖 cs.LG

Hierarchical Latent Structures in Data Generation Process Unify Mechanistic Phenomena across Scale

この論文は、階層的な潜在構造を持つ確率的文脈自由文法(PCFG)を用いて合成コーパスを生成し、その階層性がインダクションヘッドやファンクションベクトル、ハイドラ効果といった一見無関係な機械的現象の出現を統一的に説明する鍵であることを示しています。

Jonas Rohweder, Subhabrata Dutta, Iryna Gurevych2026-03-10🤖 cs.LG

Hierarchical Embedding Fusion for Retrieval-Augmented Code Generation

この論文は、リポジトリ全体の情報を高密度な階層的ベクトルに圧縮し、擬似トークンとして生成モデルに効率的に統合する「階層的埋め込み融合(HEF)」手法を提案し、既存の検索拡張コード生成手法と同等の精度を維持しつつ、単一 GPU 上でサブ秒の低遅延を実現することを示しています。

Nikita Sorokin, Ivan Sedykh, Valentin Malykh2026-03-10🤖 cs.LG

Khatri-Rao Clustering for Data Summarization

この論文は、大規模で複雑なデータセットの要約において、従来の重心ベースのクラスタリングが抱える冗長性の課題を克服し、より簡潔かつ正確な要約を実現するための「Khatri-Rao クラスタリング」パラダイムを提案し、k-Means および深層クラスタリングへの適用を通じてその有効性を示しています。

Martino Ciaperoni, Collin Leiber, Aristides Gionis, Heikki Mannila2026-03-10🤖 cs.LG

Scale Dependent Data Duplication

本論文は、モデルの能力向上に伴い意味的な重複データが厳密な重複と同様の悪影響を及ぼす「スケール依存性のデータ重複」を明らかにし、その影響を定量化するスケーリング則を導出することで、大規模モデルの性能予測精度を向上させることを示しています。

Joshua Kazdan, Noam Levi, Rylan Schaeffer, Jessica Chudnovsky, Abhay Puri, Bo He, Mehmet Donmez, Sanmi Koyejo, David Donoho2026-03-10🤖 cs.LG

Structure-Aware Set Transformers: Temporal and Variable-Type Attention Biases for Asynchronous Clinical Time Series

この論文は、非同期な臨床時系列データにおける時間的局所性と変数間の親和性を学習可能なアテンションバイアスとして組み込むことで、グリッド化やポイントセットの両方の欠点を克服し、ICU 予測タスクで最先端の性能を達成する「構造認識型セットトランスフォーマー(STAR)」を提案しています。

Joohyung Lee, Kwanhyung Lee, Changhun Kim, Eunho Yang2026-03-10🤖 cs.LG

Multi-Agent DRL for V2X Resource Allocation: Disentangling Challenges and Benchmarking Solutions

本論文は、C-V2X ネットワークにおけるマルチエージェント深層強化学習の課題を特定し、その影響を分離評価するためのベンチマーク環境と大規模データセットを構築して公開し、特に多様な交通環境へのゼロショット転送能力の重要性を明らかにした。

Siyuan Wang, Lei Lei, Pranav Maheshwari, Sam Bellefeuille, Kan Zheng, Dusit Niyato2026-03-10🤖 cs.LG

Scaling Strategy, Not Compute: A Stand-Alone, Open-Source StarCraft II Benchmark for Accessible Reinforcement Learning Research

この論文は、スタークラフト II のフルゲームとミニゲームの中間に位置し、経済メカニズムを排除して長距離移動と戦闘の戦術的スキルに焦点を当てた、計算コストを抑えたオープンソースの新しい RL ベンチマーク「Two-Bridge Map Suite」を提案するものである。

Sourav Panda, Shreyash Kale, Tanmay Ambadkar, Abhinav Verma, Jonathan Dodge2026-03-10🤖 cs.LG

CapTrack: Multifaceted Evaluation of Forgetting in LLM Post-Training

本論文では、LLM のファインチューニングによる「忘却」を単なる知識の喪失ではなく行動やユーザー体験の劣化として再定義し、この多面的な評価を行うためのフレームワーク「CapTrack」を提案するとともに、大規模な実証研究を通じて忘却がロバスト性やデフォルト行動にも及ぶこと、および指示微調整が最も大きなドリフトを引き起こす一方で、好適化はより保守的で一部能力の回復に寄与することを明らかにしています。

Lukas Thede, Stefan Winzeck, Zeynep Akata, Jonathan Richard Schwarz2026-03-10🤖 cs.LG

Consensus is Not Verification: Why Crowd Wisdom Strategies Fail for LLM Truthfulness

外部検証が不可能な領域において、複数のモデルからの回答を集約する「群衆の知恵」戦略は、誤答の相関性や自信スコアの信頼性不足により、推論コストを増大させても真実性の向上につながらず、むしろ共通の誤解を強化するだけであり、検証可能な領域とは異なる推論時スケーリングの限界を示している。

Yegor Denisov-Blanch, Joshua Kazdan, Jessica Chudnovsky, Rylan Schaeffer, Sheng Guan, Soji Adeshina, Sanmi Koyejo2026-03-10🤖 cs.LG