REAP the Experts: Why Pruning Prevails for One-Shot MoE compression
本論文は、生成タスクにおいて従来のエキスパートマージ手法よりも優位性を示し、ルーターゲート値とエキスパート活性化ノルムを考慮した新たな剪定基準「REAP」を提案することで、大規模なSMoEモデルの50% 剪定においてもコード生成などのタスクでほぼ損失のない圧縮を実現することを明らかにしています。
2163 件の論文
本論文は、生成タスクにおいて従来のエキスパートマージ手法よりも優位性を示し、ルーターゲート値とエキスパート活性化ノルムを考慮した新たな剪定基準「REAP」を提案することで、大規模なSMoEモデルの50% 剪定においてもコード生成などのタスクでほぼ損失のない圧縮を実現することを明らかにしています。
本論文は、拡散ビジョモーターポリシーを基盤とした実世界強化学習フレームワーク「RL-100」を提案し、模倣学習と強化学習を統合して 1000 回の試行で 100% の成功率を達成し、人間を超える性能と高い汎用性・頑健性を示したことを報告しています。
本論文は、2D エンコーダの限界を克服し、RGB 画像から強力な 3D 幾何学的事前知識を抽出してアクションヘッドに注入する新たなパラダイム「FALCON」を提案し、シミュレーションおよび実世界タスクにおいて最先端の性能と高い汎用性を達成したことを報告しています。
この論文は、離散的な人間 - 物体相互作用表現と自然言語を統合した新しいフレームワーク「SynHLMA」を提案し、可動部を持つ物体に対する言語指示に基づく一連の巧みな把持動作を生成・予測・補間することを可能にするものである。
この論文は、グラフ基礎モデルの発展に伴い未探索であったグラフドメイン逐次学習(Domain-IL)における catastrophic forgetting を、埋め込みのシフトと決定境界の逸脱を防ぐための知識の解離と保存を可能にする「GraphKeeper」を提案し、既存手法を大幅に上回る性能で達成したことを示しています。
この論文は、構造化正則化、ロバストな前処理、効率的な最適化を通じて過学習を抑制し、多クラス分類におけるロジスティック回帰に基づく再較正手法のバイアス・バリアンスのトレードオフを効果的に管理することで、既存の手法よりも大幅な精度向上を実現する手法を提案し、オープンソース実装を提供しています。
本論文は、時間系列基盤モデルのデータ価値評価において、従来の手法が抱える計算コストと時系列依存性の課題を解決するため、コンテキスト微調整と時間ブロック集約を活用した軽量かつ高精度な評価手法「LTSV」を提案し、その有効性を検証したものである。
本論文は、医療教育における多輪対話と実体レベルの推論を可能にする新たなタスク「MEMR-Seg」と大規模データセット「MR-MedSeg」を提案し、誤差伝播を軽減する「判定・修正メカニズム」を備えた基線モデル「MediRound」を開発してその有効性を示したものである。
この論文は、事前学習済み時系列基盤モデル(TSFM)のインコンテキスト学習を活用し、微調整や従来の分類モデルの学習なしにサーボプレスモータのベアリング振動データを健康状態ごとに分類する手法を提案し、従来のカスタム AI 解決策を超えたスケーラブルな予知保全システムの実現可能性を示しています。
この論文は、Google Gemini 2.0 Flash を活用したチャットボットと Python による自動化ワークフローを開発し、Gmsh と GetDP を用いて電磁場シミュレーションモデルの構築から求解、および結果の要約までを自動化することで、シミュレーション設定に要する時間を削減する手法を提案しています。
本論文は、追加学習を必要とせず推論時に高信頼かつ多様な特徴を蓄積する適応的多様性キャッシュ(ADC)モジュールを提案し、VLM ベースの人間 - 物体相互作用(HOI)検出における長尾分布の偏りを効果的に軽減し、特に希少カテゴリの検出性能を向上させることを示しています。
この論文は、推論と学習を分離し、オフポリシーバイアスなしで同期 RL と等価な非同期パイプラインを実現する「Periodic Asynchrony」を提案し、NPU 環境において既存フレームワークの 3〜5 倍のトレーニングスループット向上を達成したことを示しています。
本論文は、異なる VLA モデルや実環境への転移が可能なユニバーサルな物理的パッチ攻撃「UPA-RFAS」を提案し、視覚 - 言語 - 行動モデルが未知のアーキテクチャやシミュレーションから実世界への移行においても普遍的な脆弱性を持つことを実証しています。
この論文は、現実世界の通信制約下での協調学習の課題に対処するため、通信条件を統一的に記述する一般化モデルを学習の事前分布として活用し、損失あり・なしのメッセージの影響を双方向相互情報量推定器を用いて分離・定量化する新たなマルチエージェント強化学習フレームワークを提案し、その有効性を検証したものである。
この論文は、教育分野の専門用語の曖昧さを解消し事実性を高めるため、エンティティリンキングとハイブリッド再ランク付けを統合した「ELERAG」と呼ばれる新しい RAG アーキテクチャを提案し、ドメイン固有のデータセットにおいて従来の手法を上回る性能を実証したものである。
本論文は、無線ネットワークにおける周波数選択的な電磁界(EMF)予測の信頼性を高めるため、多様な文脈情報を統合し不確実性を明示的に評価できる条件付き拡散モデル「EMFusion」を提案し、既存の手法を上回る精度と確率予測性能を実証したものである。
この論文は、大規模言語モデルに代わり、Hugging Face TRL を用いて 3 億 5000 万パラメータの小型言語モデルを単一のエポックで微調整した結果、ToolBench 評価で ChatGPT や ToolLLaMA などの基線モデルを大幅に上回る 77.55% の成功率を達成し、コスト効率の高い生成 AI の実用化が可能であることを示しています。
本論文は、大規模言語モデルエージェントの継続的な自己改善を可能にするため、タスク連鎖を通じてスキルを蓄積・活用し、報酬設計を強化する強化学習フレームワーク「SAGE」を提案し、AppWorld における実験で既存手法を上回る精度と効率を達成したことを報告しています。
本論文は、高次元空間におけるユークリッド距離と測地線の不一致という課題を解決するため、局所内次元性(LID)を用いてデータの内在的幾何構造に動的に適応するマンフォールド整合グラフインデックス「MCGI」を提案し、数十億規模のディスク常駐ベクトル検索において既存手法を大幅に上回るスループットと低遅延を実現したことを報告しています。
本論文は、従来の活性化量に基づく手法の限界を克服し、ターゲット言語への予測への機能的貢献度を評価する介入ベースのフレームワーク「CRANE」を提案することで、多言語大規模言語モデルにおける言語固有のニューロンをより精密に特定し、言語選択的かつ非排他的な専門化の存在を実証するものである。