Fractional Rotation, Full Potential? Investigating Performance and Convergence of Partial RoPE
本論文は、RoPE（回転位置符号化）を隠れ次元の一部（約 10%）にのみ適用する「部分 RoPE」が、標準的な手法と同等の収束性能を維持しつつ、特に長文脈において最大 10 倍のメモリ削減を実現し、モデル設計における効率性と安定性のバランスを最適化する有効な手法であることを示しています。
🤖 Category
cs.LG
4047 件の論文
Shape-of-You: Fused Gromov-Wasserstein Optimal Transport for Semantic Correspondence in-the-Wild
この論文は、2D 外観のみに依存する既存手法の限界を克服し、3D 基礎モデルと勾配に基づく Gromov-Wasserstein 輸送を組み合わせることで、明示的な幾何学的アノテーションなしに野外画像のセマンティック対応付けを高精度に実現する「Shape-of-You」という新しいフレームワークを提案しています。
Personalized Federated Learning via Gaussian Generative Modeling
この論文は、クライアント間のデータ異質性をガウス生成モデルで捉え、グローバルな共有目標とローカルな個人化目標をバランスさせる二重目的関数と、カルマンゲインに着想を得た双スケール融合フレームワークを採用することで、従来の分類器ヘッド中心のアプローチを超えた個人化フェデレーティング学習手法「pFedGM」を提案し、多様なシナリオで最先端の性能を達成することを示しています。
Simple Recipe Works: Vision-Language-Action Models are Natural Continual Learners with Reinforcement Learning
この論文は、視覚言語行動（VLA）モデルにおける継続的強化学習において、複雑な手法ではなく、低ランク適応（LoRA）を用いた単純な逐次ファインチューニングが、驚くべき学習能力と忘却の少なさを実現し、既存の複雑な手法を上回ることを示しています。
Context-dependent manifold learning: A neuromodulated constrained autoencoder approach
この論文は、静的な文脈情報に基づいて幾何学的制約を適応的に調整するニューロモジュレーション機構を導入した「ニューロモジュレーション制約オートエンコーダ（NcAE）」を提案し、非定常な環境条件下でも物理パラメータの変化と主要な入力表現を分離しつつ、多様体の幾何学的構造を正確に捉えることを実証したものである。
Entropy-Preserving Reinforcement Learning
この論文は、方策勾配アルゴリズムが訓練中にエントロピー（探索の多様性）を自然に減少させる問題を指摘し、REPO や ADAPO といったエントロピー制御メカニズムを導入することで、多様性を維持しつつ性能と継続学習能力を向上させる手法を提案しています。
Causal Prosody Mediation for Text-to-Speech:Counterfactual Training of Duration, Pitch, and Energy in FastSpeech2
この論文は、FastSpeech2 構造に明示的な感情条件付けと因果推論に基づく対照的訓練（間接経路制約と対照的プロソディ制約）を導入し、言語内容から感情プロソディを分離することで、自然さを損なわずに制御可能な感情表現とプロソディ編集を実現する新しい音声合成フレームワークを提案しています。
Decomposing Observational Multiplicity in Decision Trees: Leaf and Structural Regret
本論文は、決定木分類器における観測的多様性を「葉の後悔」と「構造の後悔」に分解する理論的枠組みを提示し、構造の後悔が主要な要因であることを実証するとともに、これらを棄却メカニズムとして活用することでモデルの安全性を向上させる手法を提案しています。
EvoFlows: Evolutionary Edit-Based Flow-Matching for Protein Engineering
この論文は、テンプレート配列に対して挿入・削除・置換を制御可能な回数で予測する「EvoFlows」という変異フローに基づく手法を提案し、既存の言語モデルと同等の分布再現性を保ちつつ、より自然で非自明なタンパク質変異体を生成できることを示しています。
Cross-Resolution Attention Network for High-Resolution PM2.5 Prediction
この論文は、超高分解能かつ広域な大気汚染予測の課題を解決するため、メタデータ入力に代わって物理的制約を組み込んだクロス解像度アテンション機構を備えた双枝ビジョントランスフォーマー「CRAN-PM」を提案し、単一 GPU で 1.8 秒以内にヨーロッパ全域の PM2.5 分布を生成しながら、従来の手法よりも予測精度を大幅に向上させることを示しています。
CINDI: Conditional Imputation and Noisy Data Integrity with Flows in Power Grid Data
本論文は、電力網などの複雑な時系列データにおけるノイズや異常値を、異常検知と欠損値補完を単一の条件付き正規化フローに基づく確率的枠組み「CINDI」で統合的に処理し、データの物理的・統計的性質を維持しながら下流タスクの信頼性を向上させる手法を提案しています。
Mitigating the Multiplicity Burden: The Role of Calibration in Reducing Predictive Multiplicity of Classifiers
この論文は、クレジットリスク予測における予測多重性の負担を軽減するため、特にプラットスケーリングやアイソトニック回帰などの事後校正手法が、ラシュモネ集合内のモデル間不一致を低減し手続き的公平性を支援し得ることを示しています。
Anomaly detection in time-series via inductive biases in the latent space of conditional normalizing flows
この論文は、観測空間の尤度ではなく、条件付き正規化フローの潜在空間に時系列の構造的な帰納的バイアスを導入し、規定された時間的ダイナミクスからの逸脱を統計的適合度検定で評価することで、高尤度領域でも有効な異常検出を実現する手法を提案しています。
Exploiting Expertise of Non-Expert and Diverse Agents in Social Bandit Learning: A Free Energy Approach
この論文は、報酬の知識がない他者の行動のみを観測する社会型バンディット学習において、オラクルや社会的規範に依存せずに他者の専門性を推定し、直接経験と他者の推定ポリシーを統合する自由エネルギーベースのアルゴリズムを提案し、その最適ポリシーへの収束性と、非専門家を含む多様なエージェント集団における学習性能の向上を実証的に示したものである。
Modeling Trial-and-Error Navigation With a Sequential Decision Model of Information Scent
この論文は、ユーザーが記憶制約と時間制約の下で戦略的にリンクを探索する逐次意思決定プロセスとして情報香りを再定義し、モデルが実際のナビゲーションにおける誤選択やバックトラックを含む試行錯誤行動を再現できることを示しています。
A Further Efficient Algorithm with Best-of-Both-Worlds Guarantees for -Set Semi-Bandit Problem
本論文は、-集合半バンドット問題において、フリーチェ分布やパレート分布を用いたフォロウ・ザ・パーターブド・リーダー（FTPL）アルゴリズムが、敵対的設定で最適な regret 境界 を達成し、確率的設定でも対数 regret を達成する「両方の世界における最適性」を有することを示すと同時に、条件付き幾何学的リサンプリングを拡張することで計算複雑性を まで削減する効率的なアルゴリズムを提案しています。
Language Generation with Replay: A Learning-Theoretic View of Model Collapse
本論文は、学習理論の枠組みを用いて、生成モデルの出力が学習データに再流入する「リプレイ」が、生成の強弱の定義によってモデル崩壊を誘発する条件を理論的に解明し、実務で用いられるデータクリーニングなどの手法の有効性と限界を明らかにしたものである。
Disentangled Representation Learning through Unsupervised Symmetry Group Discovery
この論文は、事前の対称性群の構造に関する知識を必要とせず、環境との相互作用を通じて自律的に群構造を発見し、その識別可能性を証明するとともに、既存手法を上回る線形対称性に基づく解離表現学習アルゴリズムを提案するものである。
Exponential-Family Membership Inference: From LiRA and RMIA to BaVarIA
この論文は、LiRA、RMIA、BASE といった既存のメンバーシップ推論攻撃を指数分布族の対数尤度比フレームワークで統一的に解釈し、分散推定を改善したベイズ推論攻撃 BaVarIA を提案することで、特にシャドウモデル数が限られる実用的な環境において、より安定した攻撃性能を実現することを示しています。
OSM-based Domain Adaptation for Remote Sensing VLMs
この論文は、大規模な教師モデルや手動アノテーションに依存せず、OpenStreetMap のメタデータと OCR 機能を活用して自己完結型のドメイン適応フレームワーク「OSMDA」を提案し、リモートセンシング用 VLM の性能向上とスケーラビリティを実現したことを述べています。