How to make the most of your masked language model for protein engineering
本論文は、抗体治療薬の設計において、マスク言語モデルから目的の生物学的特性を最適化するための柔軟かつ効果的なサンプリング手法（確率的ビームサーチ）を提案し、その有効性を計算機シミュレーションおよび実際の抗体エンジニアリング実験を通じて実証したものである。
🤖 Category
cs.LG
4702 件の論文
Data-Driven Integration Kernels for Interpretable Nonlocal Operator Learning
この論文は、非局所的な情報集約と局所的な非線形予測を明示的に分離する「データ駆動型積分カーネル」という枠組みを導入することで、気候プロセスの学習における解釈性と過学習の課題を解決し、南アジアのモンスーン降水量予測において、パラメータ数を大幅に削減しながら高い予測精度を達成する手法を提案しています。
NasoVoce: A Nose-Mounted Low-Audibility Speech Interface for Always-Available Speech Interaction
NasoVoce は、スマートグラスの鼻架に装着されたマイクと振動センサーを融合させることで、環境雑音に強くかつ低音量の発話も認識可能な、常時利用可能な静かな音声対話インターフェースの実現を提案する研究です。
Federated Active Learning Under Extreme Non-IID and Global Class Imbalance
この論文は、極端な非 IID 環境とグローバルなクラス不均衡下におけるフェデレーテッド・アクティブ・ラーニングの課題を解決するため、グローバルとローカルなモデルの適応的選択やクラス公平性を重視したサンプリング戦略を採用し、既存手法を上回る性能を示す「FairFAL」という新しいフレームワークを提案しています。
On The Complexity of Best-Arm Identification in Non-Stationary Linear Bandits
この論文は、非定常線形バンディット問題における固定予算ベストアーム同定（BAI）の複雑性を研究し、従来の次元に比例する複雑度評価の限界を克服するアーム集合依存の下限を導出するとともに、これに基づいて提案された「Adjacent-BAI」アルゴリズムがその下限と一致する誤り確率を達成することを証明し、アーム集合の幾何学的構造に依存した最適複雑性を確立したものである。
HEAL: Hindsight Entropy-Assisted Learning for Reasoning Distillation
本論文は、教師モデルの失敗例を排除する従来の限界を克服し、教育理論の「最近接発達領域」に基づいて、エントロピーに基づく修復や段階的カリキュラム学習を組み合わせる RL フリーのフレームワーク「HEAL」を提案し、大規模推論モデルから小規模モデルへの推論能力の蒸留を大幅に改善することを示しています。
Causal Concept Graphs in LLM Latent Space for Stepwise Reasoning
この論文は、スパースオートエンコーダと微分可能な構造学習を組み合わせることで大規模言語モデルの潜在空間に因果概念グラフを構築し、多段階推論における概念間の因果依存関係を可視化するとともに、介入実験による評価スコア（CFS）で既存手法を上回る性能を実証する手法を提案しています。
Optimal Expert-Attention Allocation in Mixture-of-Experts: A Scalable Law for Dynamic Model Design
この論文は、Mixture-of-Experts（MoE）モデルにおいて、トータルな計算量とスパース性に応じてエキスパート層とアテンション層への計算リソース配分を最適化するべき比率をべき乗則として導き出し、Chinchilla の法則を拡張したスケーリング法則を提案するものである。
Variance-Aware Adaptive Weighting for Diffusion Model Training
この論文は、拡散モデルの訓練におけるノイズレベルごとの損失分散の偏りに着目し、分散に応じた適応的重み付け戦略を提案することで、CIFAR-10 や CIFAR-100 において FID の改善と訓練の安定化を実現したことを報告しています。
Graph-GRPO: Training Graph Flow Models with Reinforcement Learning
本論文は、グラフフローモデルの遷移確率の解析的導出と局所的な探索を可能にする改良戦略を導入することで、検証可能な報酬を用いた強化学習を通じてグラフ生成を最適化する「Graph-GRPO」を提案し、分子最適化タスクなどで最先端の性能を達成したことを示しています。
On the Learning Dynamics of Two-layer Linear Networks with Label Noise SGD
この論文は、ラベルノイズを含む SGD による 2 層線形ネットワークの学習ダイナミクスを解析し、ラベルノイズがモデルを「怠惰な領域」から「豊富な領域」へ移行させ、最終的に汎化性能を向上させる二段階の学習プロセスを明らかにするとともに、その知見を SAM などの最適化アルゴリズムにも拡張可能であることを示しています。
Designing Service Systems from Textual Evidence
この論文は、LLM によるバイアス付き評価と高コストな人間による監査を組み合わせ、逆確率重み付け残差を用いた推定器と PP-LUCB アルゴリズムを開発することで、テキスト証拠に基づくサービスシステムの最適構成を低コストかつ高信頼性で特定する手法を提案し、その有効性を理論的・実験的に証明したものである。
Effective Dataset Distillation for Spatio-Temporal Forecasting with Bi-dimensional Compression
この論文は、時空間データセットの圧縮において時間・空間の両次元をバランスよく圧縮し、クラスタレベルとサブセットレベルの手法を組み合わせることで、従来の手法よりも高速かつメモリ効率よく、かつ予測精度を向上させた新しい時空間データセット蒸留手法「STemDist」を提案するものである。
Domain-Adaptive Health Indicator Learning with Degradation-Stage Synchronized Sampling and Cross-Domain Autoencoder
本論文は、異なる運転条件における分布の不一致を解決するため、劣化段階を同期させたバッチサンプリングと大規模カーネルおよびクロスアテンションを統合した自動符号化器を提案し、異分野適応に基づく高品質な健全性指標の学習を実現する手法を提示しています。
Adaptive Active Learning for Regression via Reinforcement Learning
この論文は、強化学習を用いて探索と利用のバランスを動的に調整する「重み付き改良貪欲サンプリング（WiGS）」を提案し、不規則なデータ密度を持つ領域を含む複数のベンチマークデータセットにおいて、既存の改良貪欲サンプリング法よりも高い精度とラベリング効率を実現することを示しています。
GGMPs: Generalized Gaussian Mixture Processes
本論文は、標準的なガウス過程の予測形式が単峰性に制限されているという課題を解決し、複雑な出力分布を持つ条件付き密度推定を可能にする「一般化ガウス混合過程（GGMP）」を提案し、合成データおよび実世界データにおいて非ガウス性や多峰性の高い分布の近似精度を向上させることを示しています。
The Curse and Blessing of Mean Bias in FP4-Quantized LLM Training
この論文は、FP4 量子化された LLM 学習における数値的不安定性の主要因がランク 1 の平均バイアスに起因することを発見し、これを単純な平均値の引き算で除去することで、SVD などの複雑な手法を避けつつ BF16 並みの安定性と性能を回復させる効率的な手法を提案しています。
Unlearning the Unpromptable: Prompt-free Instance Unlearning in Diffusion Models
この論文は、特定のテキストプロンプトで指定できない個人や文化的に不適切な生成物など「プロンプト不可」なインスタンスを、画像編集や勾配手術などの技術を用いて選択的に忘却し、モデルの残りの機能を維持する新しい機械学習手法を提案しています。
Brenier Isotonic Regression
この論文は、最適輸送理論におけるブレンリエのポテンシャルの性質を活用して、多出力回帰における単調性を「循環単調性」として定義し、確率較正や一般化線形モデルにおいて既存手法を上回る性能を示す「ブレンリエ等方回帰」と呼ばれる新しい手法を提案しています。
Spatio-Temporal Forecasting of Retaining Wall Deformation: Mitigating Error Accumulation via Multi-Resolution ConvLSTM Stacking Ensemble
本研究は、多解像度の入力データを統合した ConvLSTM アンサンブルモデルを提案し、段階的な掘削に伴う擁壁変形の長期予測における誤差蓄積を抑制し、予測精度と安定性を向上させることを実証した。