23 件の論文
この論文は、ハードウェア変更を伴わずにオーバーフロー感知スケーリングとマクロブロックスケーリングという 2 つのソフトウェア技術を導入することで、MXFP4 の量子化精度を大幅に向上させ、NVIDIA の NVFP4 との精度差を約 10% から 1% 未満に縮小し、MXFP4 を実用的な代替手段として再確立したことを示しています。
本論文は、LLM の長文脈推論における KV キャッシュのメモリ制約を解決するため、再学習やアーキテクチャ変更なしで、レイヤごとの注意動力学とトークンの重要度に基づき動的に精度レベルを割り当てる適応型フレームワーク「ARKV」を提案し、メモリ使用量を 4 分の 1 に削減しながら基線モデルの精度を約 97% 維持することを示しています。
本論文は、計算内蔵メモリ（CIM）アクセラレータの設計空間探索を自動化し、大規模言語モデル（LLM）エージェントと設計空間剪定技術を用いてシミュレーションから最適化までのワークフローを効率化し、DNN ワークロードに対する最適構成の迅速な特定を可能にする「ChatNeuroSim」というフレームワークを提案するものである。
この論文は、整数および浮動小数点数に対して、バイナリクイックソートに由来する手法を統合し、要素の語長 に対して の実行時間と の補助空間で動作する「bsort」という非比較ソートアルゴリズムを提案し、特に語長が小さいデータ型において既存の高度に最適化されたハイブリッドアルゴリズムと競合する性能を示すことを述べています。
本論文は、混合専門家（MoE）モデルが推論時に「重みの再利用断片化」と「KV キャッシュのメモリ制約」という二重のペナルティに直面し、長文脈環境では密度モデルよりもスループットが劣ることを「 不等式」で定式化し、MoE の推論効率の限界を指摘しています。
本論文は、NVIDIA の FP64 Tensor Core とカーネル融合最適化を MFEM へ統合することで、高次有限要素シミュレーションの性能を最大 2 倍、エネルギー効率を最大 83% 向上させ、Alps システムにおける 1 万 GPU 規模でのエクサスケール実証と 2025 年ゴードン・ベル賞受賞の津波予測コードへの実用化を達成したことを報告しています。
本論文は、ESP32 などの低コストマイクロコントローラ向けに、Q16.16 固定小数点演算コア、CORDIC 三角関数モジュール、およびキャッシュ対応行列乗算カーネルを統合し、実行時に固定小数点と浮動小数点の精度を動的に切り替えることで、リアルタイム物理シミュレーションや制御システムにおける数値計算性能とエネルギー効率を大幅に向上させる「動的精度数学エンジン」の設計と評価を提案するものである。
本論文は、Mamba-2 の状態空間双対性アルゴリズムを XLA の最適化パスに直接マッピングすることで、CUDA 固有のカーネルに依存せず CPU、NVIDIA GPU、Google Cloud TPU 単一ソースから実行可能なポータブルかつ のオートレグレイシブキャッシングを実現し、TPU 上で高い性能と精度を確認したことを報告しています。
本論文は、再学習なしにスパースモデルのサブグラフを再構成する「モデルステッチング」手法と、それをエッジ SoC に実装した実証システム「SparseLoom」を提案し、既存のマルチ DNN 推論システムと比較して SLO 違反率の大幅な削減、スループットの向上、およびメモリオーバーヘッドの低減を実現することを示しています。
この論文は、ホストとの通信を排除した完全 GPU 常駐アーキテクチャと非同期ロックフリーのワークステアリングを採用し、ゴールドバッハの予想の検証において前代モデルを 45.6 倍高速化し、単一 RTX 5090 で$10^{12}$までの検証を 36.5 秒で達成する画期的な手法を提案しています。
本論文は、拡散言語モデルの推論において、隣接するデノイジングステップ間の注意コンテキストの類似性を測定して「顕著なトークン」のみを特定し、それ以外のトークンの計算をキャッシュ再利用することで、精度を維持しながら最大 9.6 倍の処理速度向上を実現するトレーニング不要のフレームワーク「DyLLM」を提案しています。
本論文は、AI 加速装置におけるカスケード縮約演算を単一のループに自動的に融合させるための理論的枠組みと「RedFuser」というフレームワークを提案し、既存の AI コンパイラや手書きカーネルと同等またはそれ以上の性能向上を実現することを示しています。
本論文では、RAG パイプラインの各コンポーネントをモジュール化し、実世界のワークロードをシミュレートしながら、パフォーマンスと精度を包括的に評価できるエンドツーエンドのベンチマークフレームワーク「RAGPerf」の設計と実装を提案しています。
この論文は、 上の線形代数を用いてテンソルレイアウトをモデル化する「Linear Layouts」という新規アプローチを提案し、Triton への統合を通じて既存手法の課題を解決し、効率的なテンソル計算の実現とコンパイラバックエンドの工数削減を達成したことを示しています。
この論文は、単にネットワーク帯域幅を向上させるだけでは不十分であり、CPU や仮想化などのホスト側要因を含むエンドツーエンドの制約を包括的に分析する「排水盆地パターン」を提唱し、大規模データ転送のボトルネックがネットワークコア外部に存在することを実証しています。
本論文は、Llama-3.1-70B と 405B といった大規模言語モデルの実証評価を通じて、レイテンシ最適化にはテンソル並列化が、スループット重視にはパイプライン並列化が適しており、両者の組み合わせ制御によってレイテンシとスループットのトレードオフを管理可能であることを示しています。
この論文は、内部計測なしでエンドツーエンドの測定とヒルクライミングを用いてLLMのサービスレベル目標を満たすスループットを最大化する新しいブラックボックス型オンライン制御手法を提案し、その有効性を示すとともに、AIシステムの信頼性確保のためにシステム性能や持続可能性の指標をファクトシートに統合する重要性を論じています。
本論文は、NUMA 環境における並行決定性スキップリストの設計・分析・性能評価に加え、ロックフリーキューやハッシュテーブルの実装を Intel TBB と比較し、メモリアクセスパターンに応じたメモリ管理戦略や階層的なデータ構造の活用を通じて、リモート NUMA ノードからのアクセスを削減しメモリアクセス遅延を改善する手法を提案しています。
本論文は、複数の独立して訓練された大規模言語モデル（LLM）間の動的なルーティングとカスケード手法を体系的に分析し、クエリ特性に応じた最適なモデル選択による効率性と性能の両立を可能にする概念枠組みを提示するとともに、今後の課題を明らかにする調査研究である。
Python 3.14.2 の GIL 無効化ビルドは、並列処理可能なワークロードでは実行時間とエネルギー消費を最大 4 倍削減する一方で、逐次処理や共有リソースへの頻繁なアクセスを伴うケースではエネルギー効率の低下やメモリ使用量の増加を招くため、導入にはワークロード特性に応じた慎重な評価が必要である。