AutoAdapt: An Automated Domain Adaptation Framework for LLMs
この論文は、専門分野への大規模言語モデル（LLM）の適応における手動試行錯誤や高コストな課題を解決するため、文献やオープンソース知識を活用し、マルチエージェント対話システムと LLM ベースの surrogate である AutoRefine を組み合わせた、効率的かつ信頼性の高い自動化フレームワーク「AutoAdapt」を提案するものである。
🤖 Category
cs.LG
11662 件の論文
SERQ: Saliency-Aware Low-Rank Error Reconstruction for LLM Quantization
本論文は、オフライン操作と単一の低ランク補償行列を用いて活性化と重みの両方のサリエンシーに基づく量子化誤差を低減し、W4A4 設定でも最先端の精度を維持しつつ推論効率を向上させる新しい LLM 量子化手法「SERQ」を提案するものである。
Sequential Service Region Design with Capacity-Constrained Investment and Spillover Effect
本論文は、需要の不確実性と地域間の波及効果、ならびに投資制約を考慮した逐次的なサービス領域設計問題に対し、リアルオプション分析とトランスフォーマーベースの近接方策最適化アルゴリズムを統合した枠組みを提案し、効率的かつ高価値な投資順序の決定を実現することを示しています。
Distributional Regression with Tabular Foundation Models: Evaluating Probabilistic Predictions via Proper Scoring Rules
本論文は、従来の平均値推定に偏った回帰ベンチマークの限界を指摘し、確率回帰の性能評価に連続ランク確率スコア（CRPS）などの適切なスコアリング則を導入し、分布回帰に適した TabPFN などのファウンデーションモデルの微調整やプロンプト制御を提唱するものである。
Revisiting Gradient Staleness: Evaluating Distance Metrics for Asynchronous Federated Learning Aggregation
本論文は、非同期フェデレーテッドラーニングにおける勾配の古さ（staleness）の影響をより正確に捉えるため、従来のユークリッド距離に代わる多様な距離指標を統合し、その集約プロセスへの適用が異質なクライアントや非 IID データ環境下での収束性やモデル性能に与える影響を評価した研究である。
Wiener Chaos Expansion based Neural Operator for Singular Stochastic Partial Differential Equations
本論文は、再正規化因子を必要とせず、ウィーナー・カオス展開に基づくニューラルオペレーターにフィルム（FiLM）機構を統合することで、特異な確率偏微分方程式（特に動的モデルおよびモデル）の効率的なデータ駆動型代理モデルを構築し、高い精度と汎化性能を実現したことを報告しています。
The Struggle Between Continuation and Refusal: A Mechanistic Analysis of the Continuation-Triggered Jailbreak in LLMs
本論文は、大規模言語モデルにおける「継続トリガー型」のジャイルブレイク現象が、モデルの継続駆動力と安全対策との間の競合に起因し、特定の注意ヘッドのメカニズムを解明することで、その内在的なメカニズムを初めて体系的に解明したものである。
Fibration Policy Optimization
本論文は、トークン、軌道、ドメインなどの多層的なスケールにまたがる大規模言語モデルの安定性制御を可能にするため、信頼領域最適化と代数的ファイバー束構造を統合した「Fibration Policy Optimization（FiberPO）」という新しい方策最適化フレームワークを提案するものです。
Optimising antibiotic switching via forecasting of patient physiology
この論文は、過去の医療行為に依存せず患者のバイタルサインの推移を確率的に予測してガイドラインと照合するニューラルプロセスを用いることで、静脈内から経口への抗生物質切り替えのタイミングを最適化し、臨床判断を支援するシステムを提案・検証したものである。
FedPrism: Adaptive Personalized Federated Learning under Non-IID Data
FedPrism は、非 IID データ環境における連合学習の性能低下を解決するため、プリズム分解によるモデルの階層化と、一般モデルと専門モデルを動的に切り替えるデュアルストリーム設計を組み合わせ、汎用性と個人化のバランスを最適化する新しいフレームワークを提案しています。
FlowTouch: View-Invariant Visuo-Tactile Prediction
本論文は、視覚情報から触覚情報を予測する新しいモデル「FlowTouch」を提案し、物体の局所 3D メッシュとフローマッチング技術を活用することで、カメラ視点やセンサー固有の依存性を排除した視覚・触覚予測を実現し、シミュレーションから実世界への転移や新しいセンサーへの汎化、さらには把持安定性の予測への応用を可能にすることを示しています。
Beyond ReinMax: Low-Variance Gradient Estimators for Discrete Latent Variables
本論文は、離散潜在変数を持つ機械学習モデルにおける勾配推定量の分散を低減するため、ReinMax にラオ・ブラックウェル化と制御変量法を統合した「ReinMax-Rao」と「ReinMax-CV」を提案し、変分オートエンコーダの訓練における優れた性能を実証するとともに、数値積分の観点から勾配近似の新たな解釈を提示しています。
Airborne Magnetic Anomaly Navigation with Neural-Network-Augmented Online Calibration
この論文は、事前の校正飛行や専用機動を必要とせず、物理モデルとニューラルネットワークを拡張カルマンフィルタで統合し、自然勾配降下と等価なオンライン学習によって航空機の磁気干渉を飛行中にリアルタイムで補正する、完全適応型の磁気航法アーキテクチャを提案するものである。
Towards a more efficient bias detection in financial language models
この論文は、大規模な金融言語モデルのバイアス検出における計算コストを削減するため、異なるモデル間でバイアス検出入力に共通パターンが存在することを実証し、他モデルの出力をガイドとして活用することで検出効率を大幅に向上させる手法を提案しています。
SCL-GNN: Towards Generalizable Graph Neural Networks via Spurious Correlation Learning
この論文は、グラフニューラルネットワーク（GNN）が学習データにおけるノイズとなる統計的相関（偽の相関）に依存して一般化性能が低下する問題を解決するため、ヒルベルト・シュミット独立基準（HSIC）を用いてこれらの相関を特定・抑制し、分布外（OOD）を含む様々な条件下で高い汎化性能を実現する新しいフレームワーク「SCL-GNN」を提案しています。
TA-RNN-Medical-Hybrid: A Time-Aware and Interpretable Framework for Mortality Risk Prediction
本論文は、電子カルテの不規則な時間構造と複雑な疾患経過を考慮し、SNOMED 基準の医学概念と階層的注意機構を組み合わせた「TA-RNN-Medical-Hybrid」という新しい深層学習フレームワークを提案し、集中治療室における死亡率予測の精度向上と臨床的に意味のある解釈可能性の両立を実現したことを報告しています。
PolyFormer: learning efficient reformulations for scalable optimization under complex physical constraints
この論文は、複雑な物理的制約を効率的な多面体再定式化に変換することで、最適化問題の複雑さと解の難易度を分離し、既存のソルバーによる高速かつ高品質な解決を可能にする新しい物理情報機械学習アプローチ「PolyFormer」を提案し、大規模な制約付き最適化タスクにおいて最大 6,400 倍の計算速度向上と 99.87% のメモリ削減を実現したことを示しています。
Posterior Sampling Reinforcement Learning with Gaussian Processes for Continuous Control: Sublinear Regret Bounds for Unbounded State Spaces
本論文は、状態空間が非有界である連続制御問題におけるガウス過程を用いた事後サンプリング強化学習（GP-PSRL）アルゴリズムのベイズ後悔を解析し、Borell-Tsirelson-Ibragimov-Sudakov 不等式の再帰的適用とチェイニング法を用いて、最大情報利得に依存する tight な の後悔上限を導出することで、既存理論の限界を克服したことを示しています。
Minor First, Major Last: A Depth-Induced Implicit Bias of Sharpness-Aware Minimization
この論文は、線形対角ネットワークにおけるシャープネス感知最小化（SAM）の暗黙的バイアスを研究し、特に深さのケースにおいて、初期値依存性や「逐次特徴増幅」と呼ばれる現象を通じて、無限時間収束の分析だけでは捉えられない動的な振る舞いが生じることを明らかにしています。
Graph-Instructed Neural Networks for parametric problems with varying boundary conditions
この論文は、境界条件が変化するパラメータ依存の偏微分方程式に対して、従来のモデル順序縮約法の限界を克服し、計算領域のパラメータ記述から解への効率的なマッピングを学習する「グラフ指示ニューラルネットワーク（GINN）」という新たな手法を提案し、その有効性を示すものである。