Key-Value Means
本論文は、標準的な演算と最小限の追加パラメータを用いながら、柔軟な状態の成長と準二次のプリフィル時間を可能にする効率的でチャンク並列化可能なトレーニングを実現することにより、トランスフォーマーと線形 RNN の利点を統合する新しいブロック再帰型アテンション機構であるキー・バリュー・ミーンズ(KVM)を導入する。
原著者が当サイトのやさしい解説を確認した論文。
このページに掲載されている各論文については、少なくとも一人の原著者が当サイトのやさしい解説を確認し、内容の正確性を認めるか、または修正を依頼しその修正を私たちが反映しています。確認は各文への正式な承認を意味するものではありませんが、論文を書いた本人たちの目を通ったことを意味します。
607 件の論文を著者が確認済み · 351–360 / 607
本論文は、標準的な演算と最小限の追加パラメータを用いながら、柔軟な状態の成長と準二次のプリフィル時間を可能にする効率的でチャンク並列化可能なトレーニングを実現することにより、トランスフォーマーと線形 RNN の利点を統合する新しいブロック再帰型アテンション機構であるキー・バリュー・ミーンズ(KVM)を導入する。
本論文は、追加のプライバシーコストやハイパーパラメータの調整なしに剪定閾値を効率的に推定・適応し、既存のアプローチに対して 6.6% の精度向上を達成する言語モデルの差分プライバシー連合微調整のための軽量手法である DP-LAC を紹介する。
本論文は、推論中にターゲットモデルの検証信号を用いてドラフトモデルを継続的に適応させるオンライン蒸留手法であるテストタイム推測(TTS)を導入し、既存の推測モデルが長い系列で生じる性能低下を克服し、受容長を大幅に改善することを示す。
本論文は、銀行アプリのレビューとローカル文法グラフから導出された韓国語言語資源である金融注釈データセット(FIAD)の構築を提示するものであり、これは銀行顧客サービス対話システムにおける各種 NLU モデルのパフォーマンスを大幅に向上させる注釈付き訓練データを生成するために用いられる。
NEO は、ターゲットデータの埋め込みを原点に再中心化することで分布シフト下におけるモデルのロバスト性と較正を向上させるハイパーパラメータ不要かつ計算効率的なテスト時適応手法であり、複数のデータセットとデバイスにおいて最小限の計算オーバーヘッドで優れた精度を達成する。
本論文は、Scam2Prompt というスケーラブルなフレームワークを導入し、これは悪意のある詐欺サイトから導出された自動プロンプトが複数のモデルにおいて最大 47.3% のケースで有害なコードの生成を成功裡に引き起こすという、生産環境における大規模言語モデルの重大かつ悪化するセキュリティ脆弱性を明らかにするものであり、これによりガードレールや RAG といった現在の安全対策では不十分であることが示されている。
本論文は、固定された有限モノイド型付けのもとで置換可能な文脈自由言語が、有限観測集合から導出される標準仮説文法を利用する有限型再構成理論を構築することにより、正のデータから極限において同定可能であることを確立する。この理論は、一般的な固定-h 文脈自由クラスに対しては仮説の構築と更新がサンプルサイズに関して多項式時間で実行可能であることを示し、線形部分クラスに対しては(特徴的サンプルサイズの多項式有界を含む)完全な多項式時間およびデータ保証を提供する。
この論文は、複雑性クラス NL が logCFL と異なることを証明しており、その結果は L ≠ Ptime および NL ≠ Ptime の分離をもさらに示唆する。
本論文は、歪んだ神経画像信号から指向性のある神経因果構造を復元するために潜在空間逆変換と遅延認識型 Mamba エンコーダーを組み合わせた物理意識型フレームワーク「INCAMA」を導入し、シミュレーションおよび実世界の fMRI データの両方においてベースラインを上回る性能を実証する。
本論文は、余次元 3 のリーズ縮退から誘導されるグリーン核を導出することにより、スカラー・カシミル跡の二次形式表現を確立し、これにより熱正則化されたガウス源のエネルギーの期待値が跡を正確に再現し、ディリクレ平行板幾何における標準的な有限部結果を確認することを可能にする。