EsoLang-Bench: Evaluating Genuine Reasoning in Large Language Models via Esoteric Programming Languages
LLM が既存のコード生成ベンチマークで示す高い性能が単なる暗記に過ぎない可能性を指摘し、学習データとして希少なエソテリック言語を用いた新規ベンチマーク「EsoLang-Bench」を提案し、先行モデルが真の推論能力において著しく劣ることを実証した。
🤖 Category
cs.LG
2325 件の論文
On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning
本論文は、低ランク分解に基づくパラメータ効率型微調整（PEFT）において、連続学習時の忘却が更新部分空間の幾何学的構造やパラメータ化に強く依存しており、行列分解の制約が干渉を引き起こす一方、テンソル分解や構造的整合性を持つ手法が忘却を抑制することを示す実証研究である。
ActiveUltraFeedback: Efficient Preference Data Generation using Active Learning
RLHF における高コストな選好データ収集の課題を解決するため、不確実性推定と新しい探索手法を用いて最も有益な回答を動的に特定するアクティブラーニングパイプライン「ActiveUltraFeedback」を提案し、従来の手法の 6 分の 1 のデータ量で同等以上の性能向上を実現したことを示しています。
Physics-informed neural operator for predictive parametric phase-field modelling
この論文は、物理的制約を損失関数に組み込むことで、従来の Fourier 神経作用素よりも精度、汎化能力、長期安定性が向上した新しい「PF-PINO」と呼ばれる物理情報神経作用素を開発し、相場モデルの高速な予測を実現したことを報告しています。
Mousse: Rectifying the Geometry of Muon with Curvature-Aware Preconditioning
本論文は、Muon 最適化アルゴリズムが抱く等方的な制約の限界を克服し、Shampoo 由来の統計量を用いた曲率感知の事前条件付けを導入することで、大規模言語モデルの学習効率を大幅に向上させる新しい最適化手法「Mousse」を提案する。
A Multi-Prototype-Guided Federated Knowledge Distillation Approach in AI-RAN Enabled Multi-Access Edge Computing System
本論文は、AI 搭載無線アクセスネットワーク（AI-RAN）を備えたマルチアクセスエッジコンピューティングシステムにおいて、非独立同一分布（non-IID）データによる課題を解決し、単一プロトタイプ手法の欠点を克服するため、条件付き階層的凝集クラスタリングやプロトタイプ整合スキームを用いた「多プロトタイプ誘導型連合知識蒸留（MP-FedKD）」アプローチを提案し、その有効性を検証したものです。
Upper Generalization Bounds for Neural Oscillators
本論文は、Rademacher 複雑性を用いて第二階 ODE と MLP からなるニューラル振動子の PAC 一般化誤差上限を導出・解析し、誤差がパラメータ数に対して多項式的に増加することや、MLP のリプシッツ定数を正則化することで一般化性能が向上することを理論的に示し、Bouc-Wen 非線形系を用いた数値実験でその有効性を検証したものである。
Global universality via discrete-time signatures
この論文は、積分条件を満たす重み関数に対して線形関数が 空間で稠密であることを示す普遍的な近似定理を確立し、ブラウン運動の線形区間補間への適用を通じて、経路依存関数や確率微分方程式の近似可能性を証明しています。
What is Missing? Explaining Neurons Activated by Absent Concepts
この論文は、既存の説明可能 AI（XAI）手法が見過ごしがちな「概念の不在」によるニューロン活性化という因果関係が重要であることを示し、アトリビューションや特徴可視化手法の拡張を通じてこれを検出・説明する新たなアプローチを提案しています。
A Hybrid Quantum-Classical Framework for Financial Volatility Forecasting Based on Quantum Circuit Born Machines
本論文は、LSTM と量子回路ボーンマシン（QCBM）を統合したハイブリッド量子古典フレームワークを提案し、上海証券取引所などの実データを用いた実験で、従来の古典モデルを上回る金融市場ボラティリティ予測精度を達成したことを示しています。
Exploiting Label-Aware Channel Scoring for Adaptive Channel Pruning in Split Learning
この論文は、スプリット学習における通信オーバーヘッドを削減するため、ラベル情報を活用してチャネルの重要度を評価し、重要度の低いチャネルを適動的に剪定して中間特徴データを圧縮する「ACP-SL」という新しい手法を提案し、その有効性を示したものです。
Information Theoretic Bayesian Optimization over the Probability Simplex
この論文は、情報幾何学に基づいて確率単体上の幾何学的な構造を反映したカーネルと最適化手法を提案し、制約付きユークリッド空間のアプローチよりも優れた性能を示す新しいベイズ最適化アルゴリズム「-GaBO」を導入するものである。
Good Reasoning Makes Good Demonstrations: Implicit Reasoning Quality Supervision via In-Context Reinforcement Learning
この論文は、正解に至る過程の質を文脈内学習による「証拠獲得（Evidence Gain）」で評価し、それを報酬の重み付けに活用する「文脈内 RLVR」を提案することで、従来の強化学習では見逃されがちな推論の質を向上させ、数学的ベンチマークにおいて精度と推論能力の両方を改善することを示しています。
Correction of Transformer-Based Models with Smoothing Pseudo-Projector
本論文は、偏微分方程式の数値解法におけるマルチグリッド法に着想を得た軽量な修正モジュール「疑似射影体」を提案し、トランスフォーマーベースのモデルに組み込むことでノイズへの感度を低減し、学習の安定性とロバスト性を向上させることを実証しています。
A Unified Hierarchical Multi-Task Multi-Fidelity Framework for Data-Efficient Surrogate Modeling in Manufacturing
本論文は、製造システムにおける異質な多忠実度データを活用し、タスク間の類似性と忠実度依存の不確実性を統合的に学習することで予測精度を大幅に向上させる、階層的なマルチタスク・マルチ忠実度ガウス過程代理モデル枠組みを提案しています。
A Graph-Based Approach to Spectrum Demand Prediction Using Hierarchical Attention Networks
この論文は、地理空間データを用いてスペクトル需要を予測し、空間的自己相関の問題を解決することで既存モデルより 21% 高い精度を達成する階層型アテンションネットワーク「HR-GAT」を提案し、5 つの主要カナダ都市でその有効性を実証したものである。
GAST: Gradient-aligned Sparse Tuning of Large Language Models with Data-layer Selection
この論文は、データとレイヤーの両次元で選択的微調整を行う統合最適化戦略「GAST」を提案し、既存の手法が見過ごしていたデータとレイヤーの非対称な寄与を考慮することで、大規模言語モデルのパラメータ効率型微調整の性能を向上させることを示しています。
CarbonBench: A Global Benchmark for Upscaling of Carbon Fluxes Using Zero-Shot Learning
本論文は、希少なエディ相関観測データに依存しない炭素フラックスのアップスケーリングを評価するための初のゼロショット空間転移学習ベンチマーク「CarbonBench」を提案し、567 の観測地点から得られた 130 万超のデータを用いて、異なる植生や気候帯へのモデルの一般化性能を厳密に検証する枠組みを提供しています。
MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning
この論文は、逐次学習における大規模言語モデルの忘却を抑制しつつ適応性を維持するため、サンプルごとの記憶強度を推定し適応的にリハーサルをスケジュールする新しい経験再生フレームワーク「MSSR」を提案し、広範な実験で最先端の手法を上回る性能を実証したものである。
OptEMA: Adaptive Exponential Moving Average for Stochastic Optimization with Zero-Noise Optimality
この論文は、既存の Adam 型最適化手法の理論的限界を克服し、リプシッツ定数や事前知識を必要とせず、特にノイズがゼロの状況でほぼ最適な収束速度を達成する新しい適応的指数移動平均法「OptEMA」を提案し、その厳密な収束保証を示すものです。