Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression
本論文は、トークナイザーの効率性を含む「情報容量」という新たな指標を提案し、大規模言語モデルの推論効率を定量化するとともに、モデルサイズやベンチマークスコアとの相関を実証的に検証したものである。
4942 件の論文
本論文は、トークナイザーの効率性を含む「情報容量」という新たな指標を提案し、大規模言語モデルの推論効率を定量化するとともに、モデルサイズやベンチマークスコアとの相関を実証的に検証したものである。
本論文は、時間系列基盤モデルのデータ価値評価において、従来の手法が抱える計算コストと時系列依存性の課題を解決するため、コンテキスト微調整と時間ブロック集約を活用した軽量かつ高精度な評価手法「LTSV」を提案し、その有効性を検証したものである。
本論文は、医療教育における多輪対話と実体レベルの推論を可能にする新たなタスク「MEMR-Seg」と大規模データセット「MR-MedSeg」を提案し、誤差伝播を軽減する「判定・修正メカニズム」を備えた基線モデル「MediRound」を開発してその有効性を示したものである。
この論文は、事前学習済み時系列基盤モデル(TSFM)のインコンテキスト学習を活用し、微調整や従来の分類モデルの学習なしにサーボプレスモータのベアリング振動データを健康状態ごとに分類する手法を提案し、従来のカスタム AI 解決策を超えたスケーラブルな予知保全システムの実現可能性を示しています。
この論文は、Google Gemini 2.0 Flash を活用したチャットボットと Python による自動化ワークフローを開発し、Gmsh と GetDP を用いて電磁場シミュレーションモデルの構築から求解、および結果の要約までを自動化することで、シミュレーション設定に要する時間を削減する手法を提案しています。
本論文は、追加学習を必要とせず推論時に高信頼かつ多様な特徴を蓄積する適応的多様性キャッシュ(ADC)モジュールを提案し、VLM ベースの人間 - 物体相互作用(HOI)検出における長尾分布の偏りを効果的に軽減し、特に希少カテゴリの検出性能を向上させることを示しています。
この論文は、推論と学習を分離し、オフポリシーバイアスなしで同期 RL と等価な非同期パイプラインを実現する「Periodic Asynchrony」を提案し、NPU 環境において既存フレームワークの 3〜5 倍のトレーニングスループット向上を達成したことを示しています。
本論文は、異なる VLA モデルや実環境への転移が可能なユニバーサルな物理的パッチ攻撃「UPA-RFAS」を提案し、視覚 - 言語 - 行動モデルが未知のアーキテクチャやシミュレーションから実世界への移行においても普遍的な脆弱性を持つことを実証しています。
この論文は、現実世界の通信制約下での協調学習の課題に対処するため、通信条件を統一的に記述する一般化モデルを学習の事前分布として活用し、損失あり・なしのメッセージの影響を双方向相互情報量推定器を用いて分離・定量化する新たなマルチエージェント強化学習フレームワークを提案し、その有効性を検証したものである。
この論文は、教育分野の専門用語の曖昧さを解消し事実性を高めるため、エンティティリンキングとハイブリッド再ランク付けを統合した「ELERAG」と呼ばれる新しい RAG アーキテクチャを提案し、ドメイン固有のデータセットにおいて従来の手法を上回る性能を実証したものである。
本論文は、無線ネットワークにおける周波数選択的な電磁界(EMF)予測の信頼性を高めるため、多様な文脈情報を統合し不確実性を明示的に評価できる条件付き拡散モデル「EMFusion」を提案し、既存の手法を上回る精度と確率予測性能を実証したものである。
この論文は、大規模言語モデルに代わり、Hugging Face TRL を用いて 3 億 5000 万パラメータの小型言語モデルを単一のエポックで微調整した結果、ToolBench 評価で ChatGPT や ToolLLaMA などの基線モデルを大幅に上回る 77.55% の成功率を達成し、コスト効率の高い生成 AI の実用化が可能であることを示しています。
本論文は、大規模言語モデルエージェントの継続的な自己改善を可能にするため、タスク連鎖を通じてスキルを蓄積・活用し、報酬設計を強化する強化学習フレームワーク「SAGE」を提案し、AppWorld における実験で既存手法を上回る精度と効率を達成したことを報告しています。
本論文は、高次元空間におけるユークリッド距離と測地線の不一致という課題を解決するため、局所内次元性(LID)を用いてデータの内在的幾何構造に動的に適応するマンフォールド整合グラフインデックス「MCGI」を提案し、数十億規模のディスク常駐ベクトル検索において既存手法を大幅に上回るスループットと低遅延を実現したことを報告しています。
本論文は、従来の活性化量に基づく手法の限界を克服し、ターゲット言語への予測への機能的貢献度を評価する介入ベースのフレームワーク「CRANE」を提案することで、多言語大規模言語モデルにおける言語固有のニューロンをより精密に特定し、言語選択的かつ非排他的な専門化の存在を実証するものである。
本論文は、任意の条件付き推論を可能にするため、単一の生成モデルを学習し事後予測区間による不確実性を定量化する「ベイズ生成モデル(BGM)」という新しい枠組みを提案し、その収束性と統計的整合性などの理論的保証を示したものです。
この論文は、衛星メガコンステレーション時代における宇宙機電源システムの包括的健康管理を実現するため、人間と AI の協調(HAIC)フレームワーク「SpaceHMchat」を提案し、ハードウェア実機による検証と初の公開データセットの提供を通じてその有効性を立証したものです。
本論文は、FFA と ICGA の両方の眼科血管造影画像に対して、ハイパーネットワークに基づく適応的条件付け層(HaC)と証拠的不確実性学習に基づく信頼性予測スキーム(RaP)を導入した CLEAR-Mamba を提案し、既存手法を上回る汎用性と信頼性を実現したものである。
この論文は、LLM 駆動の Web 研究エージェントを用いて、人間によるキュレーションを上回る品質で多様な予測質問を自動生成・解決し、AI 予測モデルの評価と予測精度の向上を実現するシステムを提案するものである。
この論文は、自己進化型合成データ生成エンジン「EigenData」と検証器に基づく強化学習を組み合わせた統合フレームワークを提案し、高品質な多ターン対話ツール利用データの自動生成と効率的な学習を実現することで、人手を介さずに複雑なツール利用行動をスケーラブルに習得できることを示しています。