Quantifying Hallucinations in Language Language Models on Medical Textbooks
本論文は、医療教科書に基づく質問応答において大規模言語モデルが事実と異なる回答（ハルシネーション）を生成する頻度を定量化し、その発生率が低いほど臨床医による有用性評価が高くなる傾向があることを示しています。
🤖 Category
cs.AI
3852 件の論文
Evolving Demonstration Optimization for Chain-of-Thought Feature Transformation
この論文は、強化学習で探索された高パフォーマンスな変換軌跡をライブラリ化し、多様性を考慮してコンテキストを動的に最適化する連鎖思考フレームワークを提案することで、大規模言語モデルを用いた特徴変換の精度と安定性を向上させる手法を提示しています。
Causally Grounded Mechanistic Interpretability for LLMs with Faithful Natural-Language Explanations
この論文は、活性化パッチングを用いて因果的に重要なアテンションヘッドを特定し、回路レベルの分析を自然言語の説明に橋渡しするパイプラインを提案し、GPT-2 Small における間接的対象識別タスクにおいて、LLM 生成の説明がテンプレートベースの手法を上回る品質を持つことを実証するとともに、モデルの自信と説明の忠実性の間に相関がないことを明らかにしています。
The System Hallucination Scale (SHS): A Minimal yet Effective Human-Centered Instrument for Evaluating Hallucination-Related Behavior in Large Language Models
この論文は、大規模言語モデルの幻覚に関連する行動をユーザー視点で迅速かつ解釈可能に評価するための軽量な測定ツール「システム幻覚尺度（SHS）」を提案し、210 名の参加者による実証評価を通じてその妥当性と実用性を立証したものである。
A Two-Stage Architecture for NDA Analysis: LLM-based Segmentation and Transformer-based Clause Classification
この論文は、LLM（LLaMA-3.1-8B-Instruct）を用いた契約書セグメンテーションと、微調整された Legal-Roberta-Large を用いた条項分類という 2 段階のアーキテクチャを提案し、NDA 文書の自動分析において高い精度を達成したことを示しています。
PoultryLeX-Net: Domain-Adaptive Dual-Stream Transformer Architecture for Large-Scale Poultry Stakeholder Modeling
この論文は、家禽産業におけるステークホルダーの感情分析を目的として、ドメイン適応型双ストリームトランスフォーマーと辞書強化アプローチを統合した「PoultryLeX-Net」を提案し、既存モデルを凌ぐ高精度な分類性能を実証したものである。
TAMUSA-Chat: A Domain-Adapted Large Language Model Conversational System for Research and Responsible Deployment
この論文は、機関固有の文脈に適応した大規模言語モデル対話システム「TAMUSA-Chat」のアーキテクチャ、学習手法、評価、および責任ある展開に関する包括的な研究フレームワークを提示し、学術機関における透明性とガバナンスを遵守した AI 導入の道筋を示しています。
CEI: A Benchmark for Evaluating Pragmatic Reasoning in Language Models
この論文は、社会的文脈や権力関係に基づいた曖昧な発話の推論能力を評価するための、5 つの語用論的サブタイプと 3 つの権力構成を含む 300 件の人間検証済みシナリオからなる「文脈的感情的推論（CEI）ベンチマーク」を提案し、そのアノテーション手法と品質管理パイプラインを詳述しています。
Evaluating Adjective-Noun Compositionality in LLMs: Functional vs Representational Perspectives
本論文は、大規模言語モデルが形容詞と名詞の組み合わせを内部的に表現できる一方で、それが必ずしもタスク遂行能力に反映されないという乖離を明らかにし、モデルの能力を包括的に理解するために対照的評価の重要性を強調しています。
Context Over Compute Human-in-the-Loop Outperforms Iterative Chain-of-Thought Prompting in Interview Answer Quality
この論文は、行動面接の評価と改善において、反復的な連鎖思考プロンプトよりも人間によるフィードバック（ヒューマン・イン・ザ・ループ）の方が、自信と真正性の向上、反復回数の削減、および初期の弱い回答に対する高い成功率において統計的に有意に優れていることを示しています。
There Are No Silly Questions: Evaluation of Offline LLM Capabilities from a Turkish Perspective
本論文は、トルコ語の継承語教育におけるデータプライバシーと信頼性の課題を踏まえ、14 のオフライン LLM を「トルコ語異常スイート（TAS）」で評価した結果、パラメータ規模だけでなく推論指向の 8B〜14B モデルがコストと安全性の面で学習者にとって最もバランスが取れていることを明らかにしています。
Empathy Is Not What Changed: Clinical Assessment of Psychological Safety Across GPT Model Generations
この論文は、GPT モデルの進化に伴いユーザーが「共感性の低下」を訴える現象が統計的に否定され、実際には危機検知能力の向上と助言の安全性低下というトレードオフが生じており、ユーザーの「共感性喪失」の感覚は、危機に敏感になったモデルが過剰に反応するようになったことへの誤解であることを明らかにした研究です。
Automated evaluation of LLMs for effective machine translation of Mandarin Chinese to English
本論文は、機械翻訳の自動評価フレームワークを用いて、ニュースや文学など多様な中国語テキストの英語翻訳における GPT-4o や DeepSeek などの大規模言語モデルの性能を分析し、ニュース分野では高い精度を示すものの、文化的ニュアンスや古典的引用の保持といった文学的翻訳においては依然として課題が残ることを明らかにしたものです。
A Retrieval-Augmented Language Assistant for Unmanned Aircraft Safety Assessment and Regulatory Compliance
本論文は、無人航空機の安全評価や規制遵守を支援するため、権威ある規制文書に基づく検索と引用を強制し、生成モデルの幻覚や根拠不足を抑制する信頼性の高い意思決定支援アシスタントの設計・検証と、その航空監視業務への統合に関する技術的・運用的指針を提示するものである。
Leveraging Wikidata for Geographically Informed Sociocultural Bias Dataset Creation: Application to Latin America
この論文は、ウィキペディアとウィキデータの構造、および社会科学の専門知識を活用してラテンアメリカの多様な文化を反映した26,000 以上の多肢選択形式の質問応答データセット「LatamQA」を構築し、大規模言語モデルがラテンアメリカ諸国間や言語間で知識格差やイベリア半島のスペイン文化への偏りを持つことを実証したものである。
SpreadsheetArena: Decomposing Preference in LLM Generation of Spreadsheet Workbooks
本論文は、自然言語で指定された制約に基づいてスプレッドシートを生成する大規模言語モデル（LLM）の性能を評価するためのプラットフォーム「SpreadsheetArena」を提案し、盲検ペア評価を通じて生成物のスタイルや構造、機能への好みが用途によって大きく異なり、専門家のベストプラクティスとの整合性にも課題があることを明らかにしています。
SENS-ASR: Semantic Embedding injection in Neural-transducer for Streaming Automatic Speech Recognition
この論文は、知識蒸留を用いて過去の文脈から抽出した意味情報を音響情報に注入する「SENS-ASR」という手法を提案し、低遅延制約下でのストリーミング音声認識の単語誤り率を大幅に改善することを示しています。
GATech at AbjadMed: Bidirectional Encoders vs. Causal Decoders: Insights from 82-Class Arabic Medical Classification
この論文は、82 クラスの阿拉伯語医療テキスト分類タスクにおいて、因果的デコーダー（大規模言語モデル）よりも、ハイブリッドプーリングやマルチサンプルドロップアウトを備えた微調整済みの双方向エンコーダー（AraBERTv2）の方が、正確な意味境界の捕捉と分類精度において優れていることを実証しています。
Personalized Group Relative Policy Optimization for Heterogenous Preference Alignment
この論文は、標準的な GRPO が抱える「全サンプルを交換可能と仮定する」限界を克服し、各ユーザーの選好グループに固有の報酬履歴に基づいて利得を正規化することで、多様な個人選好への迅速かつ高精度なアライメントを実現する「Personalized GRPO（P-GRPO）」という新たなフレームワークを提案し、その有効性を示したものです。
FERRET: Framework for Expansion Reliant Red Teaming
この論文は、水平・垂直・メタ拡張という 3 つの戦略を用いてターゲットモデルを突破する多モーダルな敵対的会話を生成する自動化されたレッドチームングフレームワーク「FERRET」を提案し、既存の手法よりも優れた性能を実証しています。