Distilled Circuits: A Mechanistic Study of Internal Restructuring in Knowledge Distillation
この論文は、知識蒸留がモデルの出力を模倣するだけでなく、内部回路の再編成や圧縮、不要なコンポーネントの破棄といった顕著な計算構造の変化を引き起こすことを、メカニズム的解釈性の手法を用いて明らかにし、蒸留モデルのロバスト性や汎化能力への重要な示唆を与えています。
🤖 Category
cs.LG
2403 件の論文
Ready2Unlearn: A Learning-Time Approach for Preparing Models with Future Unlearning Readiness
この論文は、メタ学習の原理に基づき、将来的なデータ削除要求に備えて学習段階からモデルを最適化する「Ready2Unlearn」という新しいアプローチを提案し、プライバシー保護やセキュリティの観点から、従来の反応的な手法よりも効率的で原理的な機械学習の忘却を実現することを示しています。
EgoDex: Learning Dexterous Manipulation from Large-Scale Egocentric Video
Apple Vision Pro を活用して、3D 手の動きと指の追跡データが同期して記録された、これまでにない大規模かつ多様な巧緻な操作データセット「EgoDex」を構築し、模倣学習の政策評価やロボティクス・コンピュータビジョン分野の進展を促進する基盤を提供した論文です。
FreeKV: Boosting KV Cache Retrieval for Efficient LLM Inference
FreeKV は、アルゴリズム側で推論のクリティカルパスから KV 選択を分離するスペキュレイティブ検索と微細な修正を、システム側で CPU/GPU メモリ間のハイブリッドレイアウトと二重バッファリングによるストリーミング検索を採用することで、精度を維持しつつ既存の KV キャッシュ検索手法を最大 13 倍高速化するトレーニング不要のフレームワークを提案するものです。
Online Decision-Focused Learning
この論文は、目的関数やデータ分布が時間とともに変化する動的環境におけるオンライン意思決定指向学習（DFL）の問題を扱い、目的関数の微分可能性を確保するための正則化と摂動手法を組み合わせることで、初めてこの問題に対する静的および動的後悔の理論的保証を提供するアルゴリズムを提案し、その有効性を示しています。
Vid2World: Crafting Video Diffusion Models to Interactive World Models
本論文は、大規模インターネットデータで事前学習された動画拡散モデルを、アーキテクチャと学習目的の再設計、および因果的な動作ガイダンスの導入を通じて、ロボット操作やゲームシミュレーションなど多様な領域で高忠実度な未来予測を可能にするインタラクティブな世界モデルへと転用する「Vid2World」という手法を提案しています。
MAS-ZERO: Designing Multi-Agent Systems with Zero Supervision
この論文は、検証セットを必要とせず、メタフィードバックに基づいて推論時に動的にマルチエージェントシステムの設計を自己進化させるフレームワーク「MAS-ZERO」を提案し、推論、コーディング、エージェントタスクにおいて既存の手法を上回る性能とコスト効率を実現することを示しています。
HDLxGraph: Bridging Large Language Models and HDL Repositories via HDL Graph Databases
本論文は、従来の RAG が抱える構造的・語彙的なミスマッチを解決するため、抽象構文木とデータフローグラフを統合した新しいフレームワーク「HDLxGraph」と、大規模な HDL プロジェクトから生成された評価データセット「HDLSearch」を提案し、HDL 関連タスクにおける検索・デバッグ・補完の精度を大幅に向上させることを示しています。
WikiDBGraph: A Data Management Benchmark Suite for Collaborative Learning over Database Silos
既存の協調学習ベンチマークが現実のデータサイロの複雑さ（非整合性や結合不可能性など）を無視しているという課題に対し、10 万の現実世界データベースと 1700 万の関連性から構成される大規模データセット「WikiDBGraph」を構築し、協調学習システムの実用的な評価と改善の方向性を提示する。
The Cell Must Go On: Agar.io for Continual Reinforcement Learning
本論文は、非エピソード的かつ動的に変化する環境における継続強化学習の研究プラットフォーム「AgarCL」を、ゲーム『Agar.io』に基づいて提案し、標準的な強化学習アルゴリズムおよび既存の継続学習手法の性能を評価した結果、AgarCL が提示する課題は安定性 - 可塑性のジレンマを超えたものであることを示しています。
X-MethaneWet: A Cross-scale Global Wetland Methane Emission Benchmark Dataset for Advancing Science Discovery with AI
この論文は、物理モデルと実観測データを統合した初のクロススケール全球湿地メタンベンチマークデータセット「X-MethaneWet」を提案し、深層学習モデルの性能評価と転移学習による実世界データへの汎化能力向上を通じて、AI を活用したメタン排出量予測と気候モデルの精度向上に貢献する可能性を示しています。
Maximum Principle of Optimal Probability Density Control
本論文は、大規模な多エージェント制御問題に対処するため、確率分布空間における最適制御問題に対して最大値原理とハミルトン・ヤコビ・ベルマン方程式を確立し、深層ニューラルネットワークを活用した高次元問題に対する拡張可能な数値アルゴリズムを提案する理論的枠組みを構築したものである。
VISTA: Vision-Language Inference for Training-Free Stock Time-Series Analysis
この論文は、数値データとチャート画像を組み合わせるゼロショット推論により、特定の学習を必要とせず従来の手法を大幅に上回る精度で株式価格を予測する新しいフレームワーク「VISTA」を提案しています。
Stronger Enforcement of Instruction Hierarchy via Augmented Intermediate Representations
この論文は、大規模言語モデルにおけるプロンプト注入攻撃への防御を強化するため、入力層だけでなくネットワークの中間層にも特権情報を埋め込むことで、既存手法よりも最大 9.2 倍の攻撃成功率低下を実現する新しいアプローチを提案しています。
OCN: Effectively Utilizing Higher-Order Common Neighbors for Better Link Prediction
この論文は、高次共通近傍における冗長性と過平滑化の問題をそれぞれ直交化と正規化で解決する「直交共通近傍（OCN）」を提案し、リンク予測タスクにおいて既存の最善手法を平均 7.7% 上回る性能達成と理論的裏付けを示しています。
ViTaPEs: Visuotactile Position Encodings for Cross-Modal Alignment in Multimodal Transformers
本論文は、視覚と触覚のモダリティを効果的に融合し、タスクに依存しない汎用的な表現学習とゼロショット一般化を実現するために、局所および大域の位置符号化を段階的に注入するトランスフォーマーベースのアーキテクチャ「ViTaPEs」を提案し、実世界データセットおよびロボティクスタスクにおいて最先端の性能を示すことを報告しています。
LoFT: Low-Rank Adaptation That Behaves Like Full Fine-Tuning
本論文は、オプティマイザの内部ダイナミクス（モーメントと分散）を低ランク部分空間に適切に射影することで、フルファインチューニングと同等の性能を達成し、追加のハイパーパラメータ調整を不要にした新たな低ランク適応手法「LoFT」を提案しています。
Rethinking Continual Learning with Progressive Neural Collapse
この論文は、カタストロフィック・フォージングを軽減するために固定されたグローバルな ETF に依存せず、新たなタスクに応じて ETF 目標を体系的に拡張する「Progressive Neural Collapse（ProNC）」という新たな継続学習フレームワークを提案し、既存手法を大幅に上回る性能と柔軟性を実現したことを報告しています。
Adaptive Correction for Ensuring Conservation Laws in Neural Operators
本論文は、物理法則（質量や運動量の保存など）を厳密に満たすようニューラルオペレータの出力を適応的に補正する軽量な学習可能演算子を提案し、既存の手法よりも高い精度と安定性を達成することを示しています。
ActivePusher: Active Learning and Planning with Residual Physics for Nonprehensile Manipulation
この論文は、非把持操作における学習ベースの動的モデルのデータ収集効率と長期計画の信頼性を向上させるため、残差物理学モデルと不確実性に基づく能動学習を統合した「ActivePusher」という新規フレームワークを提案し、シミュレーションおよび実世界環境での有効性を実証しています。