Discrete Tokenization Unlocks Transformers for Calibrated Tabular Forecasting
本論文は、意図的に単純な離散化語彙を用いたトークナイザーと適応的ガウス平滑化を組み合わせることで、勾配ブースティングを凌駕する精度と較正された確率密度関数を実現し、Transformer が表形式データ予測において新たな可能性を開くことを示しています。
🤖 Category
cs.LG
11462 件の論文
Dial: A Knowledge-Grounded Dialect-Specific NL2SQL System
本論文は、異なる SQL 方言を持つ多様なデータベースシステムに対応し、構文と意味の両面で正確なクエリ生成を実現するために、方言認識論理クエリ計画モジュール、階層的意図認識知識ベース、および実行駆動型デバッグループを導入した「Dial」という知識基盤型 NL2SQL 枠組みを提案し、新しいベンチマーク DS-NL2SQL による実験で最先端手法を上回る性能を示したものである。
SLNet: A Super-Lightweight Geometry-Adaptive Network for 3D Point Cloud Recognition
SLNet は、NAPE と GMU という 2 つの簡素なアイデアに基づき、非常に少ないパラメータ数と計算コストで 3D 点雲認識タスクにおいて最先端の性能を達成する超軽量な幾何適応ネットワークを提案する論文です。
The Dual-Stream Transformer: Channelized Architecture for Interpretable Language Modeling
この論文は、アテンションとフィードフォワードをそれぞれ異なるストリームで処理する「デュアルストリームトランスフォーマー」を提案し、ヘッド間の混合戦略を調整することで解釈性と性能のトレードオフを明示的に制御可能にしつつ、注意機構の増幅に対する頑健性を示したものである。
Trusting What You Cannot See: Auditable Fine-Tuning and Inference for Proprietary AI
クラウド環境における大規模言語モデルのファインチューニングと推論の完全性を保証し、クライアントがプロセスの整合性を検証可能にする軽量なフレームワーク「AFTUNE」を提案する論文です。
Probabilistic Inference and Learning with Stein's Method
この論文は、Stein 演算子と Stein 集合から Stein 不一致を構築する方法、その計算可能性や収束検出などの性質、および Stein 変分勾配降下法との関連性など、Stein 法を用いた確率推論と学習の理論的・方法的側面を包括的に概説するものである。
Towards Lightweight Adaptation of Speech Enhancement Models in Real-World Environments
この論文は、リアルワールド環境における音声強調モデルの軽量適応を実現するため、自己教師あり学習を用いて低ランクアダプターを少量のパラメータのみ更新するフレームワークを提案し、111 の環境で高い性能向上と安定した収束を実証したものである。
Contact-Guided 3D Genome Structure Generation of E. coli via Diffusion Transformers
この論文は、Hi-C 接触マップを条件として拡散トランスフォーマーを用いて、大腸菌の 3 次元ゲノム構造の単一決定論的モデルではなく、多様なコンフォメーションのアンサンブルを生成する新しいフレームワークを提案し、その有効性を示したものである。
Interpretable-by-Design Transformers via Architectural Stream Independence
この論文は、トークンストリームと文脈セマンティクスを処理の最終段階まで分離して保持する「アーキテクチャ的ストリーム独立性」という設計原理を導入し、標準的なトランスフォーマーが早期に意味と位置情報の混同を起こすのに対し、後融合アーキテクチャ（LFA）は解釈可能な記号ヘッドを維持し、位置依存性への依存を減らしてモデルの安定性と構造的解釈可能性を向上させることを実証しています。
Pushing Bistatic Wireless Sensing toward High Accuracy at the Sub-Wavelength Scale
本論文は、無線通信信号を用いた双基地型センシングにおいて、クロック非同期に起因する位相オフセットを補正し、従来の手法では失われていたサブ波長レベルの高精度な変位検出を実現する新しい手法を提案し、実世界の実験でその有効性を示しています。
Enhanced Random Subspace Local Projections for High-Dimensional Time Series Analysis
この論文は、高次元時系列データにおける過学習と推定の不安定性を克服するため、重み付き部分空間集約や適応的部分空間サイズ選択などの改良を加えた「強化型ランダム部分空間局所投影（RSLP）」フレームワークを提案し、インパルス応答推定の安定性と信頼性を大幅に向上させる手法を提示しています。
A Unified Framework for Knowledge Transfer in Bidirectional Model Scaling
本論文は、モデルの重みを連続信号と見なし、離散ウェーブレット変換を用いてアップサンプリングとダウンサンプリングとして扱うことで、小規模から大規模、大規模から小規模への双方向の知識転送を統合的に実現するフレームワーク「BoT」を提案し、大幅な計算コスト削減と最先端の性能達成を実現しています。
Online Continual Learning for Anomaly Detection in IoT under Data Distribution Shifts
この論文は、非定常環境における IoT 異常検知のために、デバイス側でのインテリジェントなサンプル選択とエッジサーバー側での分布シフト検出という 2 つのメカニズムを備えた、通信効率とモデル更新の最適化を実現する新たな継続学習フレームワーク「OCLADS」を提案し、その有効性を TinyML 実験で実証したものである。
A Unified View of Drifting and Score-Based Models
本論文は、Tweedie の公式を用いて「Drifting モデル」がガウス平滑化分布におけるスコアマッチングの原理と厳密に等価であることを示し、拡散モデルや DMD との理論的関係を明らかにするとともに、ラプラス核に対する誤差評価も提供しています。
Reinforcement learning-based dynamic cleaning scheduling framework for solar energy system
この論文は、強化学習（特に PPO アルゴリズム）を用いて砂漠地域における太陽光パネルの自動清掃スケジュールを最適化し、従来の手法や他の強化学習手法と比較して最大 13% のコスト削減を実現し、環境の不確実性への適応性を高めることを示しています。
Beyond Data Splitting: Full-Data Conformal Prediction by Differential Privacy
この論文は、差分プライバシーの安定性を活用してデータを分割せずにフルデータで動作する新しい共形予測フレームワークを提案し、従来の分割ベースの手法よりも鋭い予測集合を実現しつつ、特定の条件下で名目上のカバレッジ水準を漸近的に回復できることを示しています。
One-for-All Model Initialization with Frequency-Domain Knowledge
本論文は、事前学習済みモデルの低周波成分に「learngene（学習遺伝子）」が埋め込まれているという発見に基づき、離散コサイン変換を用いてサイズを問わず任意のモデルを効率的に初期化し、トレーニング不要で高速な収束と計算コスト削減を実現する新たな知識転送フレームワーク「FRONT」を提案するものである。
Neural Dynamics-Informed Pre-trained Framework for Personalized Brain Functional Network Construction
この論文は、事前定義された脳アトラスや線形仮定に依存する既存手法の限界を克服し、神経動態を考慮した事前学習フレームワークを導入することで、多様なシナリオにおける個人固有の脳機能ネットワーク構築を実現し、その汎用性と精度を大幅に向上させることを提案しています。
Generative prediction of laser-induced rocket ignition with dynamic latent space representations
本論文は、乱流混合やレーザーエネルギー付与など複雑な物理現象を含むレーザー点火ロケットエンジンのシミュレーションを、畳み込みオートエンコーダとニューラル常微分方程式を組み合わせたデータ駆動型サロゲートモデルにより高速化し、リアルタイムなデジタルツイン実現に向けた重要な進展を報告するものである。
Obliviator Reveals the Cost of Nonlinear Guardedness in Concept Erasure
この論文は、非線形な敵対者に対しても概念の消去を可能にしつつ、有用性と消去のトレードオフのダイナミクスを可視化することで、より良い表現学習モデルほど有用性を維持したまま属性保護を強化できる「Obliviator」という新しいポストホック消去手法を提案しています。