Safe Transformer: An Explicit Safety Bit For Interpretable And Controllable Alignment
この論文は、事前学習済み言語モデルの層間に明示的な「安全ビット」を挿入するモジュール型アプローチ「Safe Transformer」を提案し、安全性判断の解釈性と手動制御を両立させながら、軽量な微調整のみで高い攻撃耐性を実現することを示しています。
🤖 Category
cs.LG
11329 件の論文
Orion: Characterizing and Programming Apple's Neural Engine for LLM Training and Inference
この論文は、Apple の Neural Engine に対する非公式 API を活用し、コンパイル時の重み更新を回避する最適化技術を実装することで、大規模言語モデルのトレーニングと推論を可能にした初のオープンエンドツーエンドシステム「Orion」を提案し、M4 Max 上で安定したトレーニングと高速な推論を実現したことを報告しています。
Don't Freeze, Don't Crash: Extending the Safe Operating Range of Neural Navigation in Dense Crowds
この論文は、密度不変な観測エンコーディングと密度ランダム化トレーニング、および物理情報に基づく報酬設計を導入した強化学習アプローチを提案し、訓練時よりも高密度な混雑環境においても「凍結」や「衝突」を回避しつつ目標地点へ到達する汎用的なナビゲーションを実現するものです。
PolyBlocks: A Compiler Infrastructure for AI Chips and Programming Frameworks
本論文は、MLIR ベースのモジュール型コンパイラ基盤「PolyBlocks」の設計と実装を提案し、その自動コード生成能力が PyTorch や JAX 向けに NVIDIA GPU で Torch Inductor や XLA と同等、あるいはそれ以上の性能を発揮し、個別演算においてもベンダー最適化ライブラリや手書きカーネルと競合する結果を示したものである。
Calibrated Credit Intelligence: Shift-Robust and Fair Risk Scoring with Bayesian Uncertainty and Gradient Boosting
この論文は、ベイズ的不確実性の把握、公平性制約付き勾配ブースティング、シフト認識型融合戦略を統合した「Calibrated Credit Intelligence（CCI）」フレームワークを提案し、Home Credit のベンチマークにおいて、時間的分布のシフト下でも高い識別力、較正精度、公平性を同時に達成するcredit スコアリング手法を示しています。
Rank-Factorized Implicit Neural Bias: Scaling Super-Resolution Transformer with FlashAttention
この論文は、位置バイアスを低ランクの暗黙的ニューラル表現で近似する「ランク分解型暗黙的ニューラルバイアス（RIB）」を提案し、FlashAttention の利用を可能にすることで超解像トランスフォーマーの計算効率とスケーラビリティを飛躍的に向上させ、Urban100×2 で 35.63 dB の PSNR を達成しながらトレーニングおよび推論時間を大幅に短縮することを示しています。
Heterogeneous Decentralized Diffusion Models
この論文は、異なる学習目的（DDPM と Flow Matching）を混在させて分散学習を可能にする効率的なフレームワークを提案し、従来の分散拡散モデルに比べて計算リソースとデータを大幅に削減しながら、より優れた生成品質と多様性を達成する手法を提示しています。
Improved Constrained Generation by Bridging Pretrained Generative Models
この論文は、物理法則や安全制約などの複雑な領域内で現実的なサンプルを生成するために、事前学習済み生成モデルを微調整して制約条件を遵守させる新しいフレームワークを提案し、既存手法とは異なる制約満足度とサンプリング品質の新たなトレードオフを示すものである。
Stabilizing Reinforcement Learning for Diffusion Language Models
この論文は、拡散言語モデルへの GRPO の直接適用で発生する報酬崩壊を、確率比推定に伴うノイズによる不安定性を解消する「StableDRL」という新しい手法と階段型アテンション機構によって解決し、拡散モデルの安定した強化学習を可能にすることを提案しています。
Enhancing Instruction Following of LLMs via Activation Steering with Dynamic Rejection
この論文は、過剰な誘導による品質低下を防ぐために、妥当性に基づく復号ループと軽量な層分析を用いて動的に誘導強度を調整する新しい手法「DIRECTER」を提案し、追加データなしでLLMの指示追従能力を大幅に向上させることを示しています。
Property-driven Protein Inverse Folding With Multi-Objective Preference Alignment
本論文は、設計可能性を損なうことなく溶解性や熱安定性などの多様な開発特性を同時に満たすよう事前学習済み逆フォールディングモデルを微調整する多目的選好アライメントフレームワーク「ProtAlign」を提案し、その実用性を示すものである。
Latent Autoencoder Ensemble Kalman Filter for Data assimilation
この論文は、強非線形ダイナミクスを持つ高次元システムにおけるデータ同化の課題を解決するため、安定な線形潜空間で再構成された潜在オートエンコーダーアンサンブルカルマンフィルター（LAE-EnKF）を提案し、その理論的保証と数値実験による有効性を示したものである。
Implementation of Quantum Implicit Neural Representation in Deterministic and Probabilistic Autoencoders for Image Reconstruction/Generation Tasks
この論文は、古典的 CNN エンコーダと量子インプリシットニューラル表現（QINR）デコーダを組み合わせたハイブリッドモデルを提案し、MNIST などのデータセットを用いた画像再構成・生成タスクにおいて、従来の量子生成モデルよりも多様性と画質の両面で優れた性能を示すことを実証しています。
Learning Unbiased Cluster Descriptors for Interpretable Imbalanced Concept Drift Detection
この論文は、不均衡なデータにおける概念ドリフト検出時に生じる「マスキング効果」を回避し、小規模な概念のドリフトを解釈可能かつロバストに検出するための、偏りのないクラスター記述子に基づく新しい手法「ICD3」を提案するものである。
Enhancing SHAP Explainability for Diagnostic and Prognostic ML Models in Alzheimer Disease
この論文は、アルツハイマー病の診断・予後モデルにおけるSHAP説明の堅牢性と一貫性を検証する多段階フレームワークを提案し、認知・機能マーカーが説明の主要因であり、診断と予後の間でSHAP説明が安定して転用可能であることを示した。
Diversity-Aware Adaptive Collocation for Physics-Informed Neural Networks via Sparse QUBO Optimization and Hybrid Coresets
本論文は、物理情報ニューラルネットワーク（PINN）の訓練効率と精度を向上させるため、残差に基づく重要性と多様性を同時に考慮し、スパースな QUBO 最適化とハイブリッドなコアセット構築を用いて適応的な配置点選択を行う新たな手法を提案し、粘性ブルガース方程式のシミュレーションにおいてその有効性を検証したものである。
Prediction of Steady-State Flow through Porous Media Using Machine Learning Models
本研究は、多孔質媒体内の定常流れの予測において、従来の CFD に比べて最大 1000 倍の高速化を実現し、メッシュ不変性や物理情報損失関数の導入によりトポロジー最適化に極めて適した Fourier Neural Operator (FNO) が、AE や U-Net よりも優れた精度を示すことを明らかにしています。
Metalearning traffic assignment for network disruptions with graph convolutional neural networks
本論文は、メタ学習とグラフ畳み込みニューラルネットワークを組み合わせることで、道路網の閉鎖や需要変動といった未見の状況下でも迅速に適応し、交通流を高精度に予測する手法を提案し、その有効性を示しています。
Failure Detection in Chemical Processes using Symbolic Machine Learning: A Case Study on Ethylene Oxidation
この論文は、安全性が極めて重要な化学プロセス分野において、説明性と解釈性を備えつつ、実世界の故障データが不足している状況でもシミュレータデータを用いてランダムフォレストや多層パーセプトロンを上回る性能を発揮する記号機械学習による故障検知手法の可行性を、エチレン酸化プロセスの事例研究を通じて検証したものである。
Gauge Freedom and Metric Dependence in Neural Representation Spaces
この論文は、ニューラルネットワークの表現空間における線形変換によるゲージ自由度を明らかにし、これによりモデルの出力は不変ながらコサイン類似度などの一般的な類似度指標が座標系に依存して不安定になることを示し、表現分析においてはゲージ不変な量や明示的な標準座標系への焦点の必要性を提唱しています。