ContextBench: Modifying Contexts for Targeted Latent Activation
この論文は、言語モデルの特定の潜在特徴や動作を誘発する入力生成手法を「文脈修正」として定式化し、その能力と安全性への応用を評価するベンチマーク「ContextBench」を提案するとともに、LLM 支援や拡散モデルによる修正を加えた進化型プロンプト最適化(EPO)が、誘発効果と言語的流暢さのバランスにおいて最先端のパフォーマンスを達成することを示しています。
7103 件の論文
この論文は、言語モデルの特定の潜在特徴や動作を誘発する入力生成手法を「文脈修正」として定式化し、その能力と安全性への応用を評価するベンチマーク「ContextBench」を提案するとともに、LLM 支援や拡散モデルによる修正を加えた進化型プロンプト最適化(EPO)が、誘発効果と言語的流暢さのバランスにおいて最先端のパフォーマンスを達成することを示しています。
本論文は、大規模言語モデル(LLM)の重みを固定したまま、ユーザーの入力に応じてシステムプロンプトを適応的に調整する「Sysformer」というトランスフォーマーモデルを提案し、有害な入力への拒否率や安全な入力への対応精度を大幅に向上させ、高度な脱獄攻撃に対しても堅牢性を高めることを実証しています。
この論文は、従来のグリッド制約を回避し、画像内でトークンを連続的に配置する「SPoT」という新しいトークン化手法を提案し、理想的なサブピクセル配置の探索を通じて、必要なトークン数を大幅に削減しながら高い精度を達成するビジョン・トランスフォーマーの新たな可能性を示しています。
本論文は、T 細胞受容体と pMHC の結合を解釈可能にするため、エンコーダ - デコーダ型トランスフォーマーのクロスアテンション機構を定量化する新たな手法「QCAI」を提案し、実験的に決定された 274 個の構造データから構築したベンチマーク「TCR-XAI」を用いて、既存手法を上回る解釈性と予測精度を達成したことを示しています。
本論文は、自動運転のマルチモーダル知覚システムにおける時間同期の脆弱性を突いた新たな攻撃「DejaVu」を提案し、車載ネットワークを介した微妙な時間的ズレが物体検出や追跡の精度を劇的に低下させ、衝突や誤作動ブレーキなどの深刻な物理的被害を引き起こす可能性を実証したものである。
この論文は、教師がグラフベースのマルチエージェント強化学習を用いて自動運転エージェントの性能に応じて適応的に交通行動を生成する「生徒 - 教師フレームワーク」を提案し、これによりルールベースの交通シナリオに依存する従来の手法よりも汎化性と堅牢性に優れた自動運転ポリシーの学習を実現することを示しています。
この論文は、適応的減衰と学習可能な周波数変調を導入して時間依存偏微分方程式の解演算子を効率的に学習する「状態空間ニューラル演算子(SS-NO)」を提案し、理論的な普遍性の証明と、多様な PDE 基準における最先端の性能とパラメータ効率の両立を実証しています。
この論文は、ノルムのモレウエンベロープを用いて構築された多変量ポテンシャル関数を取り入れた「多変量エキスパートの場(Multivariate Fields of Experts)」という新しい画像事前分布学習フレームワークを提案し、深層学習ベースの正則化器に近い性能をより少ないパラメータとデータで、かつ理論的な収束保証を備えた高速な手法で達成することを示しています。
本論文は、過剰指定された 2 成分混合線形回帰モデルにおける EM アルゴリズムの挙動を理論的に解析し、混合重みの初期推定値が不均衡か均衡かによって、回帰パラメータの収束速度(線形対亜線形)および有限サンプルにおける統計的精度が異なることを明らかにしています。
本論文は、自己教師あり学習の VICReg 目的関数を再生核ヒルベルト空間に拡張した「Kernel VICReg」を提案し、非線形構造のデータやサンプル数が限られる環境において、従来のユークリッド空間ベースの手法よりも優れた表現学習とモデルの崩壊防止を実現することを示しています。
本論文は、勾配競合を軽減する混合専門家(MoE)アーキテクチャと、学習過程で動的にモデル容量を拡張するオンライン動的パラメータスケーリング(DPS)戦略を組み合わせることで、単一のモデルで多様なタスクにおける効率的な計画を実現する「ScaleZero」を提案し、専門的な単一タスクエージェントと同等の性能を環境相互作用を大幅に削減しながら達成することを示しています。
この論文は、連続測定データを用いた量子パラメータ推定において、深層アンサンブル学習が従来の機械学習手法では失われていたベイズ推論の利点である不確実性の定量化を可能にし、かつ推論速度の向上やデータドリフトの検出も実現できることを示しています。
この論文は、悪意のあるプロンプトに対する防御を強化するため、回答生成前に思考内で安全性を評価する「Answer-Then-Check」という新しいアライメント手法と、それを学習させる 8 万サンプルのデータセット「ReSA」を提案し、安全性の向上と過剰な拒絶の削減を両立させたことを示しています。
本論文は、物理情報ニューラル演算子(PINO)を用いた車両固有のパラメータ推定と、強化学習(PPO)に基づく充電考慮の経路計画を統合し、米国から日本・フランスの道路網へも汎用可能な電気自動車向けエネルギー効率最適化ナビゲーションシステム「VEGA」を提案するものである。
本論文は、球面テンソル表現の複雑さを回避し、スカラーおよびテンソル物理量を統一的に扱うための新しい「テンソル原子クラスター展開(TACE)」手法を提案し、その分子・材料分野における高精度、安定性、および汎用性を示したものである。
この論文は、分散クライアント間でのタスク継続学習におけるクラス間の知識一貫性の欠如が引き起こす忘却問題を解決するため、クラス内分布補償メカニズムとクラス意識型プロンプト集約方式を導入した新たな手法「C²Prompt」を提案し、最先端の性能を達成したことを報告しています。
この論文は、自動回帰型 U-Net と CNN を組み合わせた深層学習アプローチにより、コンクリートの微細構造と収縮履歴から時間依存の全領域損傷および機械的性質を高精度かつ効率的に予測し、耐久性向上に向けた配合設計の最適化を可能にする手法を提案しています。
この論文は、人間の運動の階層的な分類構造と時間的ダイナミクスを双曲多様体上で学習する「GPHDM」という新しいアプローチを提案し、手把持のタキソノミーを用いた実験により、構造的かつ物理的に整合性のある新しい運動軌道の生成を実証しています。
この論文は、拡散言語モデルにおけるプランナーを用いた推論と訓練の不一致を理論的に解明し、新しい計画対応証拠下限(P-ELBO)に基づいて訓練と推論を整合させる「Planner Aware Path Learning(PAPL)」を提案し、タンパク質、テキスト、コード生成など多様な分野で性能を大幅に向上させることを示しています。
この論文は、強化学習や直接の逆伝播に基づく既存手法が抱える報酬の過剰最適化やモード崩壊の問題を解決するため、テスト時探索によるサンプリング(E ステップ)とモデルの更新(M ステップ)を交互に繰り返す「変分 EM 法としての拡散アライメント(DAV)」という新しいフレームワークを提案し、テキストから画像の生成や DNA 配列設計など多様なタスクにおいて、報酬の最大化と多様性の維持を両立させることを示しています。