Routing Absorption in Sparse Attention: Why Random Gates Are Hard to Beat
本論文は、スパースアテンションにおいて学習されたゲートがランダムなゲートと同等の性能しか示さない「ルーティング吸収」という現象を提唱し、Q/K/V 投影層との共適応が原因であることを示唆するとともに、表現学習とスパース化を分離する事後アプローチの有効性を論じています。
💬 Category
cs.CL
1907 件の論文
Safety Training Persists Through Helpfulness Optimization in LLM Agents
この論文は、LLM エージェントのポストトレーニングにおいて、安全性トレーニングがその後の有用性最適化によっても維持され、最終的にすべてのトレーニング設定が線形のパレートフロンティア上に収束し、「両方の世界を享受する」戦略が達成されないことを明らかにしています。
HELIOS: Harmonizing Early Fusion, Late Fusion, and LLM Reasoning for Multi-Granular Table-Text Retrieval
この論文は、早期融合と後期融合の限界を克服し、高度な推論タスクを支援するために、エッジベースのサブグラフ検索、クエリ関連ノードの拡張、および星グラフレベルでの LLM 推論を統合した新しいテーブル・テキスト検索フレームワーク「HELIOS」を提案し、OTTT-QA ベンチマークで既存の最先端モデルを大幅に上回る性能を示すことを報告しています。
Universal Conceptual Structure in Neural Translation: Probing NLLB-200's Multilingual Geometry
本論文は、Meta の多言語翻訳モデル NLLB-200 の埋め込み空間を解析することで、モデルが言語間の系統関係や普遍的な概念の共起性を学習しており、その幾何学的構造が人間の多言語認知における言語中立の概念貯蔵庫と類似していることを示した。
Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects
本論文は、拡散言語モデル（DLM）の記憶化挙動を理論的・実証的に解明し、サンプリング解像度と完全な訓練データ抽出の確率との単調な関係を証明するとともに、自己回帰モデル（ARM）と比較して DLM が個人識別情報（PII）の漏洩リスクが低いことを示しています。
RO-N3WS: Enhancing Generalization in Low-Resource ASR with Diverse Romanian Speech Benchmarks
本論文は、放送ニュースやオーディオブックなど多様な分野から収集された 126 時間以上の音声データを含むローマニア語の新しいベンチマーク「RO-N3WS」を提案し、これを用いた微調整が低リソースおよび分布外条件下での音声認識モデルの汎化性能を大幅に向上させることを示しています。
A Directed Graph Model and Experimental Framework for Design and Study of Time-Dependent Text Visualisation
本論文は、時間依存テキスト可視化の抽象モデルと合成データ生成手法を提案し、ユーザー研究を通じてその解釈の難しさと個人差を明らかにし、画一的なアプローチの限界と適応型可視化の必要性を指摘しています。
GLoRIA: Gated Low-Rank Interpretable Adaptation for Dialectal ASR
本論文は、メタデータ（座標など）に基づいて低ランク行列の寄与をゲート制御する「GLoRIA」というパラメータ効率の高い適応フレームワークを提案し、方言 ASR において既存手法を上回る性能と解釈可能性を実現したことを報告しています。
MUSE: A Run-Centric Platform for Multimodal Unified Safety Evaluation of Large Language Models
本論文は、大規模言語モデルの安全性評価がテキスト中心である現状を踏まえ、音声・画像・動画を含むマルチモーダル入力に対するアライメントの一般化を検証するオープンソースの「MUSE」というプラットフォームを提案し、多ターン攻撃やモダリティ切り替え（ITMS）を用いた実験により、単一ターンでは拒絶率が高くても多ターン攻撃で安全性が大幅に低下することや、モダリティの影響がモデルファミリーに依存することを示しています。
CoDAR: Continuous Diffusion Language Models are More Powerful Than You Think
この論文は、連続拡散言語モデルにおけるトークン丸めをボトルネックとして特定し、拡散を埋め込み空間で連続的に維持しつつ、文脈条件付きの自己回帰型デコーダーを用いてトークン化を行う「CoDAR」という新しいフレームワークを提案することで、生成品質を大幅に向上させ、強力な離散拡散モデルと競争可能なレベルに達したことを示しています。
Through the Lens of Contrast: Self-Improving Visual Reasoning in VLMs
本論文は、視覚的対比を利用することで視覚言語モデルの推論経路における幻覚を軽減し、自己改善フレームワーク「VC-STaR」と新規データセット「VisCoR-55K」を提案することで、既存手法や最先端の視覚推論データセットを用いたモデルを上回る推論能力の向上を実現したことを示しています。
FlashEvaluator: Expanding Search Space with Parallel Evaluation
本論文は、推薦システムや自然言語処理における生成器 - 評価器フレームワークの効率性と精度を向上させるため、K 個のシーケンスを単一のフォワードパスで並列処理し、相互比較を可能にする「FlashEvaluator」を提案し、快手のオンライン推薦システムでの実運用により持続的な収益増を実現したことを示しています。
How Controllable Are Large Language Models? A Unified Evaluation across Behavioral Granularities
本論文は、言語特徴、感情、性格の 3 つのドメインにおいて、意図から出力までの 3 つの粒度レベルで LLM の制御性を評価する階層的ベンチマーク「SteerEval」を提案し、制御精度が詳細な粒度になるほど低下することを明らかにしています。
ExpGuard: LLM Content Moderation in Specialized Domains
本論文は、金融・医療・法律といった専門領域におけるLLMの安全性を強化するため、専門用語や概念に特化した新しいガードレールモデル「ExpGuard」と、その学習・評価に用いる大規模な専門ドメインデータセット「ExpGuardMix」を提案し、既存の最先端モデルを上回る攻撃耐性を示したことを報告しています。
GPUTOK: GPU Accelerated Byte Level BPE Tokenization
本論文は、大規模言語モデルの長文コンテキスト処理における CPU トークナイザーのボトルネックを解消するため、GPT-2 のマージルールに従い、最適化された GPU 実装により HuggingFace 製 GPT-2 トークナイザーを最大 7.6 倍高速化しつつ、生成品質を維持する「GPUTOK」を提案したものである。
Think, But Don't Overthink: Reproducing Recursive Language Models
本論文は、文脈を外部 REPL 環境に委譲する「再帰的言語モデル（RLM）」の枠組みを再現・拡張し、再帰深度を 1 から 2 に深めることで複雑な推論タスクでは精度が向上する一方、単純な検索タスクや深すぎる再帰では「過剰思考」により性能が低下し実行時間とコストが爆発的に増加することを示した。
StitchCUDA: An Automated Multi-Agents End-to-End GPU Programing Framework with Rubric-based Agentic Reinforcement Learning
本論文は、LLM ベースの単一カーネル最適化の限界を克服し、マルチエージェント構造とルービックに基づくアジェンティック強化学習を統合することで、GPU プログラムの生成から検証までのエンドツーエンド処理をほぼ 100% の成功率で実現する自動化フレームワーク「StitchCUDA」を提案するものである。
Credibility Governance: A Social Mechanism for Collective Self-Correction under Weak Truth Signals
本論文は、オンラインプラットフォームにおける誤った情報や操作への耐性を高めるため、エージェントと意見の信頼性を動的に評価・再配分する「信頼性ガバナンス（Credibility Governance）」というメカニズムを提案し、シミュレーション環境 POLIS において、従来の投票や資本重み付け方式よりも真実への収束が速く、誤った経路依存に陥りにくいことを実証しています。
Real-Time Generation of Game Video Commentary with Multimodal LLMs: Pause-Aware Decoding Approaches
この論文は、マルチモーダル大規模言語モデルを用いたリアルタイムなゲーム動画解説生成において、微調整なしで人間の発話タイミングに合致した動的な間隔ベースのデコーディング手法を提案し、その有効性を検証するとともに多言語ベンチマークを公開したものである。
Evaluating Cross-Modal Reasoning Ability and Problem Characteristics with Multimodal Item Response Theory
本論文は、マルチモーダル大規模言語モデルの真のクロスモーダル推論能力を評価し、単一モダリティで解ける低品質な問題によるバイアスを排除して効率的かつ信頼性の高いベンチマークを構築するための新しい枠組み「M3IRT」を提案するものである。