From Exact Hits to Close Enough: Semantic Caching for LLM Embeddings
この論文は、大規模言語モデルの埋め込みに対する意味的キャッシュの最適オフライン方策が NP 困難であることを証明し、多様なデータセットでの評価を通じて、既存の頻度ベースの方策を上回る精度を達成する新しいオンライン方策を提案しています。
💬 Category
cs.CL
1853 件の論文
Developing an AI Assistant for Knowledge Management and Workforce Training in State DOTs
この論文は、州交通機関の知識管理と workforce 訓練の課題を解決するため、専門エージェントによる多段階処理と図表の視覚言語モデル変換を組み合わせた検索拡張生成（RAG）フレームワークを提案するものである。
HumanLM: Simulating Users with State Alignment Beats Response Imitation
既存のユーザーシミュレーターが表面的な言語パターンの模倣に留まるのに対し、本論文は強化学習を用いてユーザーの信念や感情といった潜在的な状態を地対正解と整合させることで、より現実的なユーザーをシミュレートする新たなフレームワーク「HumanLM」を提案し、大規模ベンチマーク「Humanual」および実証実験において他手法を大幅に上回る性能を実証した。
Draft-Conditioned Constrained Decoding for Structured Generation in LLMs
この論文は、構造化生成における構文エラーを回避しつつ意味的な整合性を維持するため、無制約ドラフト生成と条件付き制約デコーディングを組み合わせるトレーニング不要の手法「DCCD」を提案し、小規模モデルでも大規模モデルに匹敵する高い構造化精度を実現することを示しています。
Token-Oriented Object Notation vs JSON: A Benchmark of Plain and Constrained Decoding Generation
TOON は構造化データ生成におけるトークン効率の向上を示唆するものの、プロンプトのオーバーヘッドや制約付きデコーディングとの比較において、特に単純な構造では JSON が依然として精度と効率の面で優位性を保っており、TOON の真の利点は構造的複雑さが一定の閾値を超えた場合にのみ発現する非線形的なスケーリング特性を持つことが示されました。
TopicENA: Enabling Epistemic Network Analysis at Scale through Automated Topic-Based Coding
本研究は、大規模テキストコーパスにおける手動コーディングの限界を克服するため、BERTopic とエピステミックネットワーク分析（ENA）を統合した「TopicENA」フレームワークを提案し、トピックの粒度や閾値設定などの実用的な指針を示すことで、大規模なテキスト分析における解釈可能な ENA の実現を可能にすることを明らかにしています。
Old Habits Die Hard: How Conversational History Geometrically Traps LLMs
この論文は、LLM の会話履歴が生成に与える影響を「マルコフ連鎖による確率的分析」と「潜在空間における幾何学的な軌跡の追跡」という 2 つの視点から統合的に検証し、過去の言動がモデルの未来の挙動を幾何学的な罠として拘束する「History-Echoes」フレームワークを提案しています。
Combating data scarcity in recommendation services: Integrating cognitive types of VARK and neural network technologies (LLM)
本研究は、LLM による意味分析と VARK 学習スタイルに基づく認知プロファイリングを統合したハイブリッド枠組みを提案し、ユーザーやアイテムのデータ不足というコールドスタート問題を解決し、初期接触段階からパーソナライズされた推薦を可能にすることを目的としています。
Entropic-Time Inference: Self-Organizing Large Language Model Decoding Beyond Attention
この論文は、トークンの順序ではなく不確実性の流れによって生成を制御する「エントロピー時間推論」という新たなパラダイムを提案し、スケジューリング、アテンションのスパース化、温度制御を統合した自己組織化アーキテクチャを通じて、LLM 推論を計算リソースを効率的に配分する熱力学的プロセスへと変革するシステム設計を示しています。
The Logovista English-Japanese Machine Translation System
本論文は、1990 年代初頭から 2012 年まで商業的に運用され、手書きの文法規則と大規模辞書、チャートパースなどを組み合わせて実世界の要件に応答しながら進化し続けたルールベースの日英機械翻訳システム「Logovista」のアーキテクチャ、開発手法、保存されたアーティファクトを技術的・歴史的に記録したものである。
Escaping the BLEU Trap: A Signal-Grounded Framework with Decoupled Semantic Guidance for EEG-to-Text Decoding
この論文は、脳波（EEG）から自然言語を復号化する際に生じる意味的バイアスや信号軽視、そして BLEU スコアの罠といった課題に対処するため、感情やトピックなどの decoupled な意味目標と、信号に基づく厳密な注意機構を統合した新たなフレームワーク「SemKey」を提案し、従来の評価指標を超えた堅牢な性能向上を実証したものである。
How does fine-tuning improve sensorimotor representations in large language models?
本論文は、タスク固有の微調整が大規模言語モデルの内部表現を人間の感覚運動経験に近づけ、言語や関連次元間で汎化することを示す一方で、異なるタスク形式間での転移には限界があることを実証しています。
Towards Self-Robust LLMs: Intrinsic Prompt Noise Resistance via CoIPO
本論文は、外部ツールに依存せず大規模言語モデル（LLM）が持つ本質的なノイズ耐性を向上させるため、対照学習に基づく逆直接選好最適化（CoIPO）手法を提案し、新たに構築したベンチマーク「NoisyPromptBench」を用いた実験で最先端の手法を上回る性能を達成したことを示しています。
M-QUEST -- Meme Question-Understanding Evaluation on Semantics and Toxicity
この論文は、インターネット・ミームの毒性評価と意味理解を目的とした新しいセマンティックフレームワークと、609 問の質問応答ペアからなるベンチマーク「M-QUEST」を提案し、オープンソースの大規模言語モデルの性能を多角的に評価した研究です。
The Influence of Iconicity in Transfer Learning for Sign Language Recognition
この論文は、Google Mediapipe と深層学習モデルを用いた実験を通じて、中国語からアラビア語、ギリシャ語からフランダース語への象徴的な手話記号の転移学習が、それぞれ 7.02% および 1.07% の認識精度向上をもたらすことを示しています。
Retcon -- a Prompt-Based Technique for Precise Control of LLMs in Conversations
この論文では、対話中のターンレベルで LLM の振る舞いを精密に制御し、ゼロショットや従来のフューショットプロンプティングよりも優れた性能を示す新しいプロンプト技術「Retcon」を提案しています。
Quantum-Inspired Self-Attention in a Large Language Model
この論文は、従来の自己注意機構よりも文字誤り率や単語誤り率、交差エントロピー損失で大幅に優れた性能を示す「量子インスパイアード自己注意（QISA）」メカニズムを提案し、GPT-1 のフルオートレグレッシブ言語モデルパイプラインに初めて統合したことを報告しています。
Automated Concept Discovery for LLM-as-a-Judge Preference Analysis
この論文は、スパースオートエンコーダに基づく概念発見手法を用いることで、事前のバイアス分類に依存せず、LLM 判定者の評価基準や人間との乖離を自動的に解釈可能かつ予測的に分析できることを示しています。
From We to Me: Theory Informed Narrative Shift with Abductive Reasoning
この論文は、社会科学的理論と帰納推論に基づいたニューロ記号アプローチを提案し、LLM による「集合的から個人的（またはその逆）への物語の転換」において、ゼロショット手法を大幅に上回る性能で原意を保持しつつ効果的なナラティブシフトを実現することを示しています。
DIALEVAL: Automated Type-Theoretic Evaluation of LLM Instruction Following
本論文は、大規模言語モデルの指示遂行能力を人間の判断パターンに合致させて自動評価するための、双対エージェントによる型理論的枠組み「DIALEVAL」を提案し、複雑な指示や多ターン対話における高精度な評価を実現したことを報告しています。