Does LLM Alignment Really Need Diversity? An Empirical Study of Adapting RLVR Methods for Moral Reasoning
本論文は、道徳的推論におけるアライメントタスクが本質的に多様性を必要とするという仮説を否定し、数学的推論と同様に報酬最大化型の強化学習(RLVR)が効果的であることを、高報酬応答の分布が集中しているという実証的発見を通じて明らかにしています。
10734 件の論文
本論文は、道徳的推論におけるアライメントタスクが本質的に多様性を必要とするという仮説を否定し、数学的推論と同様に報酬最大化型の強化学習(RLVR)が効果的であることを、高報酬応答の分布が集中しているという実証的発見を通じて明らかにしています。
この論文は、カーネル密度推定に基づく発散のワッサーシュタイン勾配流として「Drifting Model」を数学的に定式化し、モード崩壊とモードのぼやけを同時に回避する混合発散戦略や多様体への拡張を含む新しい生成モデルの枠組み「Gradient Flow Drifting」を提案し、その理論的根拠と有効性を示しています。
この論文は、不完全な観測データから完全な軌跡特徴を段階的に復元・学習する「プログレッシブ・リトロスペクティブ・フレームワーク(PRF)」を提案し、変長軌跡予測の課題を解決するとともに、Argoverse データセットでの実験によりその有効性を実証したものです。
この論文は、LLM ベースのエージェントが実行軌跡から戦略や失敗回復などの構造化された学習を自動抽出し、適応的なメモリ検索を通じて将来のタスク遂行能力を大幅に向上させる新しいフレームワークを提案しています。
この論文は、数学や一般分野など多様な推論タスクにおいて、手動で設計された検証ルールに依存せず、大規模言語モデル自体を暗黙の検証器として利用し、生成された回答の条件付き期待尤度を報酬信号とする「条件付き期待報酬(CER)」を提案し、自由形式の回答にも柔軟に対応できる汎用的な強化学習手法を確立したことを示しています。
この論文は、ニューラルネットワーク内の「アクティブパス」に基づいた新規かつ説明可能な手法を提案し、侵入検知システムにおける機械学習モデルのバックドアトリガーを検出・除去する有効性を示す実験結果を報告しています。
この論文は、タスクとモーションプランニングを統合し、モーションプランナから得られる記号的なフィードバックを用いてスケジューラを反復的に学習させることで、共有作業空間における複数オブジェクトのナビゲーション問題を解決する新規フレームワークを提案し、その有効性を検証したものである。
この論文は、現実世界の摂動下で視覚言語モデルの推論能力が低下する課題に対処するため、適応的な難易度制御と頑健性意識の一貫性報酬を用いたトレーニングフレームワーク「ROVA」と、実世界摂動を注入した新しいベンチマーク「PVRBench」を提案し、既存モデルの性能を大幅に向上させることを示しています。
この論文は、抽象解釈に基づく新しい帰納的説明手法「FAME」を提案し、大規模なニューラルネットワークにおいても説明のサイズを縮小しつつ計算を効率化し、VERIX+ などの既存手法を上回る性能を実証するものである。
臨床診断の複雑な認知プロセスを模倣し、対話的な深層臨床研究ワークフローを通じて検査を自律的に要請し経験を学習資産として外部化することで、診断精度を大幅に向上させつつ責任ある継続的進化を実現する「DxEvolve」という自己進化型診断エージェントが開発されました。
本論文は、OpenBCI Galea ヘッドセットと SuperTux を活用し、AI モデルや行動推論を埋め込まずに生体信号とインタラクションを構造化された観測データとして分離・表現することで、再現性と拡張性に優れたプラットフォーム非依存のデジタルヒューマンモデリングフレームワークを提案するものである。
この論文は、ブラックボックスモデルに対して敵対的サンプルを数学的に保証付きで計算する「Contract And Conquer(CAC)」手法を提案し、知識蒸留と探索空間の収縮に基づいて、既存の最先端手法を上回る性能を ImageNet データセットで実証したものである。
この論文は、クロスシルオ連合学習における集約の完全性を保証するため、暗号学的証明に代わりモデルパラメータに埋め込まれた「本質的証明(Intrinsic Proofs)」を利用し、バックドア注入と忘却現象を巧みに組み合わせて、軽量かつ高速な検証可能な集約アーキテクチャを提案するものである。
本論文では、視覚基盤モデルの所有権検証を目的として、保持用データセットの内部表現にランダムなデジタル透かしを埋め込むエンコーダ・デコーダネットワークを提案し、理論的および実験的に、透かしが埋め込まれたモデルとそうでないモデルを高い精度で識別できることを示しています。
本論文は、データベーススキーマの進化がテキストから SQL への変換モデルの性能に与える影響を評価・改善するための包括的なベンチマーク「EvoSchema」を提案し、スキーマ変更の多様なタイプをシミュレートすることでモデルの堅牢性を向上させる道筋を示しています。
この論文は、Schema.org マークアップやリンクトデータプラットフォームを活用した構造化されたエンティティページが、標準的およびエージェント駆動型の RAG システムにおいて、検索精度と回答品質を大幅に向上させることを実証しています。
本論文は、混合音声から参照発話を用いて目標話者を抽出するタスクにおいて、従来の多ステップサンプリングの遅延や不安定な混合比予測を回避し、ヤコビアン・ベクトル積不要の条件付き AlphaFlow 手法を用いた単一ステップ生成モデル「AlphaFlowTSE」を提案し、話者類似性と ASR 性能の向上を実証したものである。
この論文は、音声合成技術の悪用リスクに対処するため、既存の音声偽造検出モデルの頑健性を未踏の生成手法や入力摂動に対して確率的に検証し、誤分類確率の理論的上界を導出する新しい枠組み「PV-VASM」を提案するものである。
この論文は、悪天候や夜間などの過酷な環境下でも UAV による交通シーン理解を可能にするために、交通規制知識を視覚表現に統合する「CTCNet」という新しいネットワークと、光学・熱赤外画像の相補性を活用するモジュールを提案し、さらに大規模なマルチモーダルデータセット「Traffic-VQA」を構築して、既存の手法を大幅に上回る性能を実証したものです。
本論文は、大規模音声言語モデルと人間が注釈したデータセットから導き出された推論を組み合わせた新たな音声ディープフェイク検出フレームワーク「HIR-SDD」を提案し、既存手法が抱える汎化性の欠如と解釈性の低さを解決するとともに、予測の根拠を人間が理解可能な形で提示することを可能にします。