Sparsity and Out-of-Distribution Generalization
この論文は、世界が区別された特徴を通じて提示され、オッカムの剃刀によって特徴数が少ない「疎な」仮説が選好されるという前提に基づき、訓練分布とテスト分布が関連特徴上で十分に重なり合っていれば、疎な仮説が分布外（OOD）でも一般化することを証明し、従来のサンプル複雑性の境界を OOD 文脈に拡張する原理的な枠組みを提案しています。
🤖 Category
cs.LG
7103 件の論文
Feed m Birds with One Scone: Accelerating Multi-task Gradient Balancing via Bi-level Optimization
本論文は、マルチタスク学習における勾配バランス調整とモデル学習の階層的構造を双レベル最適化問題として捉え、ゼロ次最適化法を用いて効率的に解く新たなアルゴリズム「MARIGOLD」を提案し、その有効性を広範な実験で実証したものである。
Deterministic Fuzzy Triage for Legal Compliance Classification and Evidence Retrieval
この論文は、HIPAA や NERC-CIP などの法的枠組みへの適合性を確保しつつ、大規模言語モデルの非透明性や手動ルールの限界を克服するため、決定論的エンコーダーと透明なファジー閾値を用いて、自動判断の精度と監査可能性を両立する法的コンプライアンス分類および証拠検索システムを提案するものである。
Generalizing Linear Autoencoder Recommenders with Decoupled Expected Quadratic Loss
この論文は、線形オートエンコーダ型推薦システムにおけるハイパーパラメータの解を導出可能にする「Decoupled Expected Quadratic Loss (DEQL)」を提案し、効率的なアルゴリズムと実証実験を通じて、従来のの手法よりも優れた推薦性能を達成できることを示しています。
Context Channel Capacity: An Information-Theoretic Framework for Understanding Catastrophic Forgetting
この論文は、継続学習における「文脈チャネル容量」という情報理論的枠組みを提唱し、パラメータを状態ではなく関数値として再定義する条件付き再生アーキテクチャ（ハイパーネットワーク）が、忘却をゼロにするための必要条件を満たすことを示すことで、忘却のメカニズムを統一的に説明し、アーキテクチャ設計の重要性を強調しています。
DualSpec: Accelerating Deep Research Agents via Dual-Process Action Speculation
この論文は、検索と訪問という異なる性質のアクションの特性を分析し、それぞれに適した推論アプローチを採用する「DualSpec」という異種推測フレームワークを提案することで、深層研究エージェントの推論速度を最大 3.28 倍に向上させつつ精度を維持する手法を提示しています。
OrthoFormer: Instrumental Variable Estimation in Transformer Hidden States via Neural Control Functions
本論文は、潜在交絡因子に起因する相関的学習の限界を克服し、ニューラル制御関数を用いてトランスフォーマーの隠れ状態に操作変数推定を直接組み込むことで、分布外での頑健な因果的時系列モデルを実現する「OrthoFormer」を提案し、その理論的保証と実験的有効性を示すものである。
Generalization in Online Reinforcement Learning for Mobile Agents
本論文は、モバイル GUI エージェントの汎化性能評価を目的とした新たなベンチマーク「AndroidWorld-Generalization」と、GRPO を活用したスケーラブルな強化学習システムを提案し、教師あり微調整ベースラインを上回る性能向上と、未見のタスクやアプリに対する汎化における課題を明らかにしたものです。
Data Agent: Learning to Select Data via End-to-End Dynamic Optimization
本論文は、学習プロセスに合わせてサンプルの重要性を動的に判断し、損失と不確実性の複合報酬に基づいてデータ選択を最適化するエンドツーエンドの「Data Agent」を提案し、ImageNet-1k や MMLU などのタスクにおいて性能を維持しつつトレーニングコストを 50% 以上削減できることを実証しています。
Cost-Driven Representation Learning for Linear Quadratic Gaussian Control: Part II
この論文は、累積コストの予測を通じて潜在状態空間のダイナミクスを学習するコスト駆動型表現学習アプローチ（明示的学習と MuZero に類似した暗黙的学習の 2 手法）を用いて、無限時間不変線形二次ガウス（LQG）制御において、近最適な表現関数と制御器の有限サンプル保証を確立し、その解析に新たな確率過程の持久励起性を証明することを示しています。
Few Tokens, Big Leverage: Preserving Safety Alignment by Constraining Safety Tokens during Fine-tuning
本論文は、大規模言語モデルの微調整における安全性の逸脱を防ぐため、有害なデータが含まれていなくても安全性に関連する少数のトークンに対するモデルの確信度を参照モデルと一致させるように制約をかける新たなフレームワーク「PACT」を提案し、タスク適応性を損なうことなく安全性を維持することを目的としています。
Discrete Tokenization Unlocks Transformers for Calibrated Tabular Forecasting
本論文は、意図的に単純な離散化語彙を用いたトークナイザーと適応的ガウス平滑化を組み合わせることで、勾配ブースティングを凌駕する精度と較正された確率密度関数を実現し、Transformer が表形式データ予測において新たな可能性を開くことを示しています。
Dial: A Knowledge-Grounded Dialect-Specific NL2SQL System
本論文は、異なる SQL 方言を持つ多様なデータベースシステムに対応し、構文と意味の両面で正確なクエリ生成を実現するために、方言認識論理クエリ計画モジュール、階層的意図認識知識ベース、および実行駆動型デバッグループを導入した「Dial」という知識基盤型 NL2SQL 枠組みを提案し、新しいベンチマーク DS-NL2SQL による実験で最先端手法を上回る性能を示したものである。
SLNet: A Super-Lightweight Geometry-Adaptive Network for 3D Point Cloud Recognition
SLNet は、NAPE と GMU という 2 つの簡素なアイデアに基づき、非常に少ないパラメータ数と計算コストで 3D 点雲認識タスクにおいて最先端の性能を達成する超軽量な幾何適応ネットワークを提案する論文です。
The Dual-Stream Transformer: Channelized Architecture for Interpretable Language Modeling
この論文は、アテンションとフィードフォワードをそれぞれ異なるストリームで処理する「デュアルストリームトランスフォーマー」を提案し、ヘッド間の混合戦略を調整することで解釈性と性能のトレードオフを明示的に制御可能にしつつ、注意機構の増幅に対する頑健性を示したものである。
Trusting What You Cannot See: Auditable Fine-Tuning and Inference for Proprietary AI
クラウド環境における大規模言語モデルのファインチューニングと推論の完全性を保証し、クライアントがプロセスの整合性を検証可能にする軽量なフレームワーク「AFTUNE」を提案する論文です。
Probabilistic Inference and Learning with Stein's Method
この論文は、Stein 演算子と Stein 集合から Stein 不一致を構築する方法、その計算可能性や収束検出などの性質、および Stein 変分勾配降下法との関連性など、Stein 法を用いた確率推論と学習の理論的・方法的側面を包括的に概説するものである。
Towards Lightweight Adaptation of Speech Enhancement Models in Real-World Environments
この論文は、リアルワールド環境における音声強調モデルの軽量適応を実現するため、自己教師あり学習を用いて低ランクアダプターを少量のパラメータのみ更新するフレームワークを提案し、111 の環境で高い性能向上と安定した収束を実証したものである。
Contact-Guided 3D Genome Structure Generation of E. coli via Diffusion Transformers
この論文は、Hi-C 接触マップを条件として拡散トランスフォーマーを用いて、大腸菌の 3 次元ゲノム構造の単一決定論的モデルではなく、多様なコンフォメーションのアンサンブルを生成する新しいフレームワークを提案し、その有効性を示したものである。
Interpretable-by-Design Transformers via Architectural Stream Independence
この論文は、トークンストリームと文脈セマンティクスを処理の最終段階まで分離して保持する「アーキテクチャ的ストリーム独立性」という設計原理を導入し、標準的なトランスフォーマーが早期に意味と位置情報の混同を起こすのに対し、後融合アーキテクチャ（LFA）は解釈可能な記号ヘッドを維持し、位置依存性への依存を減らしてモデルの安定性と構造的解釈可能性を向上させることを実証しています。