Tiny Autoregressive Recursive Models
本論文は、標準的なトランスフォーマーを段階的に変形して評価した結果、計算リソースを同等に設定した条件下では、完全な自己回帰型 TRM アーキテクチャが必ずしも性能向上をもたらさないことを示し、2 段階の洗練メカニズム自体には可能性が残るものの、特定の自己回帰型 TRM への投資には慎重であるべきだと結論付けています。
🤖 Category
cs.LG
11619 件の論文
EAGLE-Pangu: Accelerator-Safe Tree Speculative Decoding on Ascend NPUs
この論文は、Ascend NPU 上のパングモデル向けに、キャッシュ管理や構造的不変性の保証、融合カーネル対応などによりアクセラレータ環境での安定性を確保した木構造スペキュレイティブデコーディングシステム「EAGLE-Pangu」を提案し、教師モデル単独のデコーディングと比較して最大 2.46 倍の処理スループット向上を実現したことを報告しています。
DC-W2S: Dual-Consensus Weak-to-Strong Training for Reliable Process Reward Modeling in Biological Reasoning
この論文は、生物学的推論におけるプロセス報酬モデルの信頼性を高めるため、自己一致と近傍一致の二重合意に基づいてノイズの多い弱い教師信号を選別し、戦略的なデータキュレーションを通じて専門家の完全な注釈なしで堅牢なモデルを訓練する「DC-W2S」フレームワークを提案しています。
Invisible Safety Threat: Malicious Finetuning for LLM via Steganography
この論文は、LLM をステガノグラフィ技術で微調整し、表面上は安全な応答を示しつつ内部に悪意のあるコンテンツを隠蔽する「見えない安全脅威」を提唱し、GPT-4.1 や複数のオープンソースモデルにおいて、人間や既存の安全フィルタが検知できない状態で悪意ある出力を生成できることを実証したものである。
Tau-BNO: Brain Neural Operator for Tau Transport Model
アルツハイマー病などのタウタンパク質の拡散を記述する複雑な生体物理モデル（NTM）の計算負荷を解決するため、従来の手法に比べて精度と速度を大幅に向上させたニューラルオペレーター基盤の代理モデル「Tau-BNO」を提案し、パラメータ推論やメカニズムの発見を可能にする研究です。
Model-based Offline RL via Robust Value-Aware Model Learning with Implicitly Differentiable Adaptive Weighting
本論文は、モデルベースのオフライン強化学習におけるモデルの過剰利用や不安定な更新を解決するため、Q 値の過小評価を防ぐロバストな価値意識モデル学習と、implicitly differentiable な適応的重み付けを導入した新手法「ROMI」を提案し、D4RL や NeoRL などのベンチマークで既存の最良手法を凌駕する性能を実証したものである。
SaiVLA-0: Cerebrum--Pons--Cerebellum Tripartite Architecture for Compute-Aware Vision-Language-Action
この論文は、大脳・橋・小脳という神経科学に着想を得た三層アーキテクチャを採用し、計算効率とモジュール性を向上させながら、LIBERO ベンチマークで 99.0% の高い成功率を達成する新しいビジョン・言語・アクションモデル「SaiVLA-0」を提案する概念とプロトコルの論文です。
Foley-Flow: Coordinated Video-to-Audio Generation with Masked Audio-Visual Alignment and Dynamic Conditional Flows
本論文は、マスクされたオーディオ・ビジュアル整合性学習と動的条件付きフローを組み合わせることで、動画のセマンティクスとリズムの両方に高度に同期した高品質な音声を生成する「FoleyFlow」を提案し、既存手法を上回る性能を実証したものです。
TRIAGE: Type-Routed Interventions via Aleatoric-Epistemic Gated Estimation in Robotic Manipulation and Adaptive Perception -- Don't Treat All Uncertainty the Same
本論文は、ロボット操作や適応的知覚において、不確実性を「観測ノイズ（アレイタリック）」と「モデルの不一致（エピステミック）」に分解し、それぞれに応じた適切な介入（観測回復または制御の抑制）を行うことで、タスク成功率の向上や計算コストの削減を実現する新しいフレームワーク「TRIAGE」を提案しています。
Explainable Condition Monitoring via Probabilistic Anomaly Detection Applied to Helicopter Transmissions
この論文は、健全なデータのみを用いて確率的な異常検出手法を構築し、ベイズ推論による不確実性の定量化と説明可能性を備えた helicopter 伝動装置の条件監視手法を提案し、公開ベンチマークおよび実世界データによる検証で最先端の手法と同等の性能を達成したことを示しています。
Mitigating Homophily Disparity in Graph Anomaly Detection: A Scalable and Adaptive Approach
本論文は、グラフ異常検出におけるホモフィリー性のばらつきとスケーラビリティの課題を解決するため、事前計算された多段埋め込みと再パラメータ化されたチェビシェフフィルタ、そしてノードおよびクラスレベルの異常に特化した適応的融合機構を用いた、大規模グラフにも対応可能な高精度なフレームワーク「SAGAD」を提案するものである。
DARC: Disagreement-Aware Alignment via Risk-Constrained Decoding
この論文は、多様な人間の選好における不一致を考慮し、再学習なしで推論時にリスク制約付きデコーディングを用いて分布ロバストな意思決定を行う「DARC」という新しいアライメント手法を提案し、平均性能を維持しつつ不一致や尾部リスクを低減できることを示しています。
Training event-based neural networks with exact gradients via Differentiable ODE Solving in JAX
JAX 上で構築された「Eventax」フレームワークは、数値 ODE ソルバーとイベントベースのスパイク処理を組み合わせることで、任意のニューロンモデルに対して前方シミュレーションに対して厳密な勾配を計算可能にし、スパイクニューラルネットワークの学習におけるモデルの柔軟性と勾配の正確性というトレードオフを解消します。
CFG: Control Classifier-Free Guidance via Score Discrepancy Analysis
本論文は、拡散過程における条件付き分布と無条件分布のスコア不一致の厳密な上限を理論的に導出することで固定重み戦略の限界を解明し、拡散ダイナミクスに合わせた指数関数的減衰制御関数を導入したトレーニング不要のプラグイン手法「CFG」を提案するものです。
Are We Winning the Wrong Game? Revisiting Evaluation Practices for Long-Term Time Series Forecasting
この論文は、長期的時系列予測の分野において、MSE や MAE といった集計誤差指標の微細な改善に焦点を当てた現在のベンチマーク駆動型の評価手法が、実際の意思決定や時系列構造の維持といった本来の目的と構造的に乖離していることを指摘し、統計的忠実性、構造的整合性、意思決定への関連性を統合した多面的な評価視点への転換を提唱しています。
Outlier-robust Autocovariance Least Square Estimation via Iteratively Reweighted Least Square
この論文は、従来の自己共分散最小二乗法（ALS）の限界を克服し、イノベーションレベルの適応的閾値処理と Huber 損失関数に基づく反復重み付き最小二乗法（IRLS）を組み合わせた「ALS-IRLS」を提案することで、外れ値に頑健なノイズ共分散推定を実現し、状態推定精度を大幅に向上させる手法を提示しています。
Learning Hierarchical Knowledge in Text-Rich Networks with Taxonomy-Informed Representation Learning
この論文は、テキスト豊富なネットワークのノード表現学習において、LLM による洗練を含む階層的クラスタリングで暗黙的な分類体系を構築し、これを正規化項として取り込むことで、既存手法よりも解釈性が高く構造化された表現を獲得する TIER という新しい手法を提案し、その有効性を示したものです。
Covenant-72B: Pre-Training a 72B LLM with Trustless Peers Over-the-Internet
この論文は、ブロックチェーンプロトコルと疎な最適化手法（SparseLoCo）を活用して、許可不要な参加者による大規模な分散学習を実現し、1.1 兆トークンで前処理された 72B パラメータの言語モデル「Covenant-72B」を開発し、その性能が中央集権的なモデルと競合するレベルであることを示したものである。
Is continuous CoT better suited for multi-lingual reasoning?
この論文は、CODI フレームワークを用いた連続的な思考連鎖（Continuous CoT）が、標準的な教師あり微調整よりも低リソース言語やゼロショット設定において多言語推論能力を大幅に向上させ、かつ推論経路を最大 50 倍圧縮する効率的な手法であることを示しています。
ALOOD: Exploiting Language Representations for LiDAR-based Out-of-Distribution Object Detection
この論文は、ビジョン・ランゲージモデルの言語表現と LiDAR 特徴量を整合させることで、未知のオブジェクトをゼロショット分類として検出する新しい手法「ALOOD」を提案し、nuScenes ベンチマークで競争力のある性能を実証したものです。