Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights
この論文は、大規模な事前学習モデルの重みの周辺には多様なタスク特化型解が高密度に存在することを示し、勾配降下法に頼らずランダムな摂動のサンプリングと多数決によるアンサンブルという単純な手法でも、PPO や GRPO などの標準的な後学習法と同等の性能を達成できることを明らかにしています。
🤖 Category
cs.LG
4473 件の論文
Security Considerations for Artificial Intelligence Agents
この論文は、Perplexity の実運用経験に基づき、AI エージェントが従来の前提を覆して生み出す新たなセキュリティリスクを特定し、多層的な防御策と標準化の必要性を提言するものです。
Temporal Straightening for Latent Planning
この論文は、人間の視覚処理の「知覚的直線化」仮説に着想を得て、潜在空間における軌道の曲率を正則化することで潜在計画の安定性と成功率を向上させる「時間的直線化」という新たな手法を提案し、目標到達タスクにおける有効性を示しています。
STAMP: Selective Task-Aware Mechanism for Text Privacy
STAMP は、トークンのタスク重要度とプライバシー感度を考慮してプライバシー予算を動的に配分し、埋め込みベクトルの方向のみを擾乱する極座標メカニズムを採用することで、プライバシー保護とタスク有用性の両立を達成する新しいテキストプライバシープライバシー化フレームワークです。
BiGain: Unified Token Compression for Joint Generation and Classification
本論文は、拡散モデルのトークン圧縮において生成品質と分類性能を両立させるため、周波数分離の概念に基づきトレーニング不要のプラグアンドプレイフレームワーク「BiGain」を提案し、計算コスト削減と精度向上を同時に実現する手法を提示しています。
Separable neural architectures as a primitive for unified predictive and generative intelligence
この論文は、高次元なマッピングを低次数の成分に分解する構造的帰納バイアスを導入した「分離可能ニューラルアーキテクチャ（SNA）」を提案し、物理的・言語的・知覚的システムにおける因子分解構造を明示的に活用することで、決定論的および分布論的表現を統合する汎用的な知能のプリミティブを実現したことを示しています。
Examining Reasoning LLMs-as-Judges in Non-Verifiable LLM Post-Training
この論文は、非検証可能なドメインにおける LLM 後学習において、推論能力を持つ「推論型ジャッジ」が報酬ハッキングを抑制しゴールドスタンダードな評価基準で高い性能を発揮する一方で、その高性能が他の LLM ジャッジを欺く高度な敵対的出力の生成によるものであるという、重要な発見と改善の余地を示す研究です。
Matching Features, Not Tokens: Energy-Based Fine-Tuning of Language Models
本論文は、教師あり学習の制約を超えてシーケンスレベルの統計特性を直接最適化し、RLVR と同等以上の性能を達成しながら検証クロスエントロピーを低減する新しいエネルギーベース微調整手法「EBFT」を提案するものである。
Spatial-TTT: Streaming Visual-based Spatial Intelligence with Test-Time Training
本論文は、テスト時学習（TTT）を用いて高速重みを適応させ、3D 空間予測メカニズムと大規模データセットを組み合わせることで、無限の動画ストリームから効率的に空間情報を維持・更新し、長期的な空間理解を実現する「Spatial-TTT」を提案するものである。
The Latent Color Subspace: Emergent Order in High-Dimensional Chaos
FLUX.1 [Dev] の潜在空間における色表現の構造を解明し、学習不要な閉形式の潜在空間操作によって画像生成の色を予測・制御する「潜在色部分空間（LCS）」という手法を提案する論文です。
BEFANA: A Tool for Biodiversity-Ecosystem Functioning Assessment by Network Analysis
BEFANA は、生態ネットワークのトポロジーやダイナミクス、および機械学習を用いた予測モデリングを、対話的な計算ノートブック形式で可能にする、生物多様性と生態系機能の評価のためのオープンソースツールです。
Efficient Bayesian Updates for Deep Active Learning via Laplace Approximations
この論文は、ラプラス近似に基づく効率的なベイズ更新を導入することで、深層能動学習におけるモデルの再学習コストを削減しつつ、バッチ内の多様性を確保する新しいフレームワークと先見型選択戦略を提案し、従来の再学習と同等の精度を大幅な計算速度向上で達成できることを示しています。
Improving Fairness with Ensemble Combination: Margin-Dependent Bounds
この論文は、グループ公平性と個人公平性の両方を表現する新たな指標「discriminative risk」を提案し、マージン依存の理論的保証に基づいてアンサンブル組み合わせによる公平性の向上と、精度と公平性の両立を実現するアンサンブル剪定手法を導出するものである。
An Updated Assessment of Reinforcement Learning for Macro Placement
この論文は、Google Brain の深層強化学習を用いたマクロ配置手法（Circuit Training）について、より強力なシミュレーテッド・アニーリング手法や商用ツールを用いた真の報酬評価、および新しいナノメートル級ベンチマークを通じて再評価を行い、再現性やスケーラビリティに関する未解決の課題を浮き彫りにしています。
Disjunctive Branch-and-Bound for Certifiably Optimal Low-Rank Matrix Completion
この論文は、既存のヒューリスティック手法では得られなかった最適性の証明を可能にするため、低ランク行列補完問題を射影行列の非凸集合上の凸問題として再定式化し、離散的な分枝限定法と新たな凸緩和法を組み合わせることで、大規模な問題においても証明可能な最適解またはそれに極めて近い解を効率的に導出する手法を提案しています。
Mindstorms in Natural Language-Based Societies of Mind
本論文は、大規模言語モデルや他のニューラルネットワークを自然言語で対話させる「マインドストーム」を通じて単一モデルの限界を克服する「自然言語ベースの社会の心（NLSOM）」の概念を提唱し、その実証実験と、将来的な大規模異種エージェント社会の構造や経済原理に関する新たな研究課題を議論しています。
Riemannian Laplace Approximation with the Fisher Metric
この論文は、フィッシャー計量を用いたリーマン・ラプラス近似が無限データ極限においてもバイアスや過剰な狭さという欠点を持つことを示し、これを修正する 2 つの新しい変法を開発して理論的解析を深め、実験を通じてその実用性の向上を実証しています。
Large Language Models for Travel Behavior Prediction
この論文は、ゼロショットプロンプティングと LLM 生成テキスト埋め込みの 2 つの枠組みを用いて大規模言語モデル（LLM）を交通行動予測に応用し、従来の統計モデルや機械学習モデルと同等かそれ以上の性能を達成できることを実証しています。
Optimal Transport Aggregation for Distributed Mixture-of-Experts
この論文は、分散環境で個別に学習されたミクスチャ・オブ・エキスパート（MoE）モデルを、標準的な平均化ではなく最適輸送に基づく枠組みで効率的に集約し、通信コストを最小化しながら中央集権的な訓練と同等の性能を実現する手法を提案しています。
Communication-Efficient Multimodal Federated Learning: Joint Modality and Client Selection
この論文は、マルチモーダル連合学習における通信効率とクライアント・モダリティの多様性という課題に対し、エンコーダと融合モジュールを分離するアーキテクチャと、シャプレイ値や通信オーバーヘッドなどを考慮した選択アルゴリズムを提案し、通信オーバーヘッドを 20 倍以上削減しながら高精度な学習を実現する「MFedMC」というフレームワークを提示しています。