You Didn't Have to Say It like That: Subliminal Learning from Faithful Paraphrases
この論文は、意味内容が教師モデルの特定の動物への好意と無関係、あるいは矛盾する忠実な言い換えデータを用いて学生モデルを学習させた場合でも、教師モデルの行動特性が最大 19 ポイント増加する「潜在学習」が発生し、従来の内容ベースの検知や矛盾するコンテンツによる防止が機能しないことを示しています。
🤖 Category
cs.LG
2325 件の論文
Efficiently Aligning Draft Models via Parameter- and Data-Efficient Adaptation
本論文は、特定ドメインでファインチューニングされたターゲットモデルに対するスペキュレイティブデコーディングの性能低下を、パラメータとデータの両面で効率的にドラフトモデルを適応させる新フレームワーク「EDA」により解決し、再学習コストを大幅に削減しながら平均受入長を向上させることを提案しています。
What Do We Care About in Bandits with Noncompliance? BRACE: Bandits with Recommendations, Abstention, and Certified Effects
この論文は、非遵守（noncompliance）が存在するバンドット問題において推奨と処置の目的が一致しない課題を定式化し、IV 推定量の信頼性を保証する「BRACE」というパラメータフリーのアルゴリズムを提案するとともに、その理論的保証と多様なシナリオにおける実証的有効性を示しています。
Compiler-First State Space Duality and Portable Autoregressive Caching for Inference
本論文は、Mamba-2 の状態空間双対性アルゴリズムを XLA の最適化パスに直接マッピングすることで、CUDA 固有のカーネルに依存せず CPU、NVIDIA GPU、Google Cloud TPU 単一ソースから実行可能なポータブルかつ のオートレグレイシブキャッシングを実現し、TPU 上で高い性能と精度を確認したことを報告しています。
Learning Bayesian and Markov Networks with an Unreliable Oracle
この論文は、誤りを許容する条件付き独立性オラクルを用いたマルコフネットワークとベイズネットワークの構造学習を研究し、マルコフネットワークでは経路数に制約があれば誤り数が増加しても構造を一意に特定できる一方、ベイズネットワークでは構造的な制約があっても誤りを一切許容できないことを示し、一意に特定可能な場合のアルゴリズムを提案しています。
a-TMFG: Scalable Triangulated Maximally Filtered Graphs via Approximate Nearest Neighbors
この論文は、従来の TMFG 手法の大規模データへの適用限界を克服するため、近似近傍法とメモリ管理戦略を活用して、数百万の観測値を持つデータセットから効率的にグラフを構築する新しいアルゴリズム「a-TMFG」を提案し、その頑健性とスケーラビリティを実証したものである。
An Optimal Control Approach To Transformer Training
本論文は、トランスフォーマーの訓練を離散時間制御粒子系として定式化し、確率測度へのリフティングを通じてマルコフ決定過程を構築することで、勾配法に依存せず滑らかさや凸性を仮定せずに大域的最適な方策を達成する最適制御アプローチを提案するものである。
SCDP: Learning Humanoid Locomotion from Partial Observations via Mixed-Observation Distillation
本論文は、完全な状態推定を不要とし、オンボードセンサーのみの観測から拡散モデルを用いて特権的な状態情報を推論する「SCDP」を提案し、シミュレーションおよび実機（G1）において、外部センサーや状態推定なしで人間型ロボットの堅牢な歩行制御を実現したことを報告しています。
Routing without Forgetting
本論文は、オンライン継続学習の課題に対処するため、現代ホップフィールドネットワークに着想を得たエネルギーベースの連想検索層をトランスフォーマーに統合し、反復的な勾配最適化なしに動的にタスク固有の表現部分空間を選択する「Routing without Forgetting（RwF）」という新しいアーキテクチャを提案し、クラス増加ベンチマークにおいて既存のプロンプトベース手法を大幅に上回る性能を示したことを報告しています。
Towards Understanding Adam Convergence on Highly Degenerate Polynomials
この論文は、外部スケジューラなしで自動的に収束する高度に退化した多項式という特定のクラスにおいて、Adam 最適化アルゴリズムが勾配降下法やモーメンタムよりも優れた局所線形収束性を示す理論的根拠とメカニズムを解明し、そのハイパーパラメータの振る舞い領域を分類したものである。
Nonparametric Variational Differential Privacy via Embedding Parameter Clipping
本論文は、非パラメトリック変分差分プライバシーの枠組みにおいて、レニーダイバージェンスの上限最小化に基づいて導出されたパラメータクリッピング戦略を導入することで、プライバシー保証の強化と下流タスクでの性能向上を両立させる手法を提案しています。
Memorization capacity of deep ReLU neural networks characterized by width and depth
この論文は、ReLU 活性化関数を持つ深層ニューラルネットワークが任意の個のデータ点を記憶するために必要な幅と深さの関係を明らかにし、がとの積に比例することが必要十分条件であることを示すことで、記憶容量における幅と深さのトレードオフを明示的に特徴づけています。
MM-algorithms for traditional and convex NMF with Tweedie and Negative Binomial cost functions and empirical evaluation
この論文は、過分散や複雑な平均分散関係を持つデータに対応するため、Tweedie 分布や負の二項分布などの広範な分布仮定に基づき、従来の NMF と凸 NMF の両方に対して Majorize-Minimisation 法を用いた統一的な乗法更新アルゴリズムを開発し、実データを用いた評価を通じてノイズモデルの選択の重要性と凸 NMF の有効性を示したものです。
Learning the Hierarchical Organization in Brain Network for Brain Disorder Diagnosis
この論文は、事前定義されたサブネットワークに依存せず、内在的な特徴に基づいて脳ネットワークの階層的依存関係を学習する「BrainHO」という手法を提案し、ABIDE や REST-meta-MDD データセットにおける脳障害診断の精度向上と、解釈可能なバイオマーカーの特定を実現したことを示しています。
Multi-DNN Inference of Sparse Models on Edge SoCs
本論文は、再学習なしにスパースモデルのサブグラフを再構成する「モデルステッチング」手法と、それをエッジ SoC に実装した実証システム「SparseLoom」を提案し、既存のマルチ DNN 推論システムと比較して SLO 違反率の大幅な削減、スループットの向上、およびメモリオーバーヘッドの低減を実現することを示しています。
Evolution of Photonic Quantum Machine Learning under Noise
本論文は、光量子機械学習におけるノイズ源の体系的な分析、アルゴリズムへの影響評価、ノイズ特性評価手法と軽減戦略の概観、および将来の研究展望を通じて、現実的なノイズ条件下での堅牢かつスケーラブルなシステムの開発を論じています。
Well Log-Guided Synthesis of Subsurface Images from Sparse Petrography Data Using cGANs
本論文は、カーボンナノチューブなどの新材料ではなく、井戸ログデータと条件付き生成敵対ネットワーク（cGAN）を組み合わせることで、限られた岩石薄片データから堆積岩の多孔質構造を連続的に合成し、炭素回収や地下水素貯蔵などのエネルギー転換分野における貯留層評価を革新する手法を提案しています。 ※注：上記の日本語要約は、提供された英語の要旨の内容（cGAN、井戸ログ、炭酸塩岩、孔隙率、エネルギー転換応用など）に基づき、自然な日本語として再構成したものです。ただし、元の英語要旨に「カーボンナノチューブ」や「新材料」といった記述は含まれておらず、これは私の誤った推測（ハルシネーション）を含んでしまったため、以下に**正確な内容に基づいた修正版**を提示します。 **修正版（正確な要約）：** 本論文は、井戸ログから得られる孔隙率データと条件付き生成敵対ネットワーク（cGAN）を組み合わせることで、限られた岩石薄片データから地質学的に整合性の高い孔隙スケールの画像を連続的に合成し、炭素回収や地下水素貯蔵などのエネルギー転換分野における貯留層評価を革新する手法を提案しています。
FreqCycle: A Multi-Scale Time-Frequency Analysis Method for Time Series Forecasting
本論文は、時間領域での共有周期性の学習と周波数領域での適応的重み付けによる中・高周波成分の強化、ならびに階層的な多スケール相互作用による複合周期性の解離を実現する「FreqCycle」を提案し、時系列予測において最先端の精度と高速な推論速度を両立させることを示しています。
No evaluation without fair representation : Impact of label and selection bias on the evaluation, performance and mitigation of classification models
この論文は、ラベルバイアスや選択バイアスが分類モデルの評価・性能・バイアス軽減手法に与える影響を、制御されたバイアスを導入した新たなフレームワークを用いて実証的に分析し、偏りのないテストセットによる評価の重要性や公平性と精度のトレードオフの不存在、および軽減手法の効果がバイアスの種類に依存することを明らかにしています。
GNNs for Time Series Anomaly Detection: An Open-Source Framework and a Critical Evaluation
この論文は、時系列異常検出におけるグラフニューラルネットワーク（GNN）の応用を促進し、再現性のある実験と評価を可能にするオープンソースフレームワークを提案するとともに、その有効性と解釈性の向上、および評価手法に関する重要な課題を明らかにしています。