Differential Privacy in Machine Learning: A Survey from Symbolic AI to LLMs
この論文は、記号 AI から大規模言語モデル(LLM)に至るまで、機械学習における差分プライバシーの定義、理論的・応用的な進化、学習モデルへの統合手法、および実用的な評価方法について包括的に調査・概説したものです。
4342 件の論文
この論文は、記号 AI から大規模言語モデル(LLM)に至るまで、機械学習における差分プライバシーの定義、理論的・応用的な進化、学習モデルへの統合手法、および実用的な評価方法について包括的に調査・概説したものです。
本論文は、輪郭係数の代理指標に基づいて各データ点に重みを付与し、境界点やノイズの影響を低減することで k-means の性能を向上させる「K-Sil」という新しいクラスタリング手法を提案し、その収束性を理論的に保証するとともに、多様な実データセットにおける有効性を実証しています。
ゼロショット協調(ZSC)における既存のベンチマークである Hanabi 学習環境の限界を克服し、移動するカードの信念追跡や曖昧なヒントの推論など、より高度な協調能力を評価するための新たなオープンソースベンチマーク「Yokai 学習環境(YLE)」を提案し、HLE で最高性能を達成した手法が YLE では性能が低下することを示すことで、単一のベンチマークでの進捗が一般化しないことを実証した。
本論文は、ガウス報酬を持つ確率的バンディット問題におけるシャープレシオ最大化に対して、トンプソンサンプリングに基づくアルゴリズム「SRTS」を提案し、対数 regrets 上界と一致する下界を導出することでその順序最適性を理論的に証明するとともに、数値実験で既存手法を上回る性能を実証したものである。
この論文は、大域的制御場のみを用いたアナログ量子シミュレータが普遍性を持つための必要十分条件を理論的に確立し、直接量子最適制御法を用いて実機(リチウム原子アレイ)で多体相互作用やトポロジカルダイナミクスを実証することで、ハードウェア固有のハミルトニアンを超えた汎用的な量子シミュレーションの実現可能性を示した。
本論文は、テンソルの特定のモードに沿ったファイバーが完全に観測されているか欠損しているという「ファイバーごとの観測」パターンに特化した、標準的な線形代数演算に基づく高速かつ確定的なテンソル・トレイン分解による補完手法を提案し、その有効性を示しています。
この論文は、関数エンコーダ方策を用いたニューラル基底関数の事前学習とオンラインでの軽量係数推定により、目的関数が変化するパラメータ最適制御問題に対して、従来の最適化手法に比べて計算コストを大幅に削減しつつ、ほぼ最適な性能でゼロショット適応を可能にする転移可能な解法を提案しています。
本論文は、SigLIP モデルで採用されているシグモイド損失関数における可学習な逆温度とバイアスの同期が、-Constellations と呼ばれる新たな組合せ的構造を介して損失をゼロに導くことを理論的に解明し、これにより SigLIP の検索性能の成功や CLIP におけるモダリティギャップの存在、高品質な表現を得るための必要な次元数を説明するとともに、実験的にトレーニングダイナミクスを改善する損失関数の再パラメータ化を提案しています。
2024 年に打ち上げられたメタン観測衛星 MethaneSAT とその航空機搭載センサー MethaneAIR の高空間分解能データを用いて、メタン濃度推定の精度向上に不可欠な雲および雲影の検出課題に対し、U-Net や SCAN などの深層学習モデルが従来の手法を大幅に上回る性能を発揮することを示した。
この論文は、23 の視覚質問応答ベンチマークを対象とした大規模な実証研究を通じて、単一モダリティ依存とモダリティ間依存の複雑な関係を定量的に解明し、多くの既存ベンチマークが意図せず画像依存を強化している実態を明らかにするとともに、より体系的なマルチモーダルベンチマーク設計の指針を提供するものです。
この論文は、レガシーシステムのアップグレードコストや運用停止を回避しつつ、API ベースの軽量な Web インターフェースと人間による介入(ヒューマン・イン・ザ・ループ)の仕組みを通じて、製造業における機械学習の実用化と競争力強化を可能にする実践的なフレームワークを提案しています。
本論文は、タスク固有のプromptと共有プromptの利点を統合し、スパースな混合専門家(MoE)アーキテクチャと動的な専門家選択メカニズムを導入することで、知識干渉を抑制しつつ計算コストとメモリ使用量を大幅に削減した継続学習フレームワーク「SMoPE」を提案し、既存手法を上回る性能を実証したものである。
この論文は、推論言語モデルの性能とコストのトレードオフを解決するため、心理測定学に触発された軽量で解釈可能なルーティングフレームワーク「RADAR」を提案し、質問の難易度とモデルの能力を学習して最適なモデル・予算ペアに動的にルーティングすることで、最先端の手法を上回る性能と汎化能力を実証しています。
本論文では、大規模な設計空間とトレーニングコストの課題を克服するため、小規模なモデル探索とスケーリング戦略を組み合わせたモジュール型ハイブリッドモデルアーキテクチャ検索フレームワーク「Composer」を提案し、Llama 3.2 を凌駕する高性能かつ効率的な新しいハイブリッド LLM アーキテクチャを発見したことを報告しています。
この論文は、変分オートエンコーダと相互情報量に基づく拡散モデルを組み合わせた「MIG-Vis」という手法を提案し、マカク猿の側頭葉下側皮質(IT 野)の神経集団から抽出された潜在変数群が、物体の姿勢やカテゴリ間変換など明確な意味的特徴を選択的に符号化していることを実証したものである。
この論文は、マルチエージェント LLM における協調を促進する手段として、経験に基づくカリキュラム学習が設計次第で逆効果となる可能性があるのに対し、単純なコミュニケーションプロトコルの方がより信頼性の高い調整メカニズムであることを示しています。
この論文は、ウェアラブル EEG による睡眠ステージ分類において、ラベル不足を克服し臨床レベルの精度を達成するために、教師なし学習(SSL)を体系的に評価し、汎用モデルを上回るドメイン特化型パイプラインの有効性を実証したものである。
この論文は、地政学的ショックが直接デフォルトリスクを通じて、地経済的ショックが金融サイクルや政策期待を通じてそれぞれ異なる経路で主権リスクに影響を与える「ハサミ型」のパターンを、2018 年から 2025 年の 42 カ国のデータと機械学習を用いた分析によって実証し、両者のメカニズムの区別が流動性供給の効果範囲を決定づけることを明らかにしている。
この論文は、標準的な音声活動検出(VAD)モデルの特定の層に対してハイパーネットワークを用いてパーソナライズされた重みを生成する「HyWA」という手法を提案し、既存の条件付け手法と比較して精度の向上とアーキテクチャの再利用による展開の容易さを両立させることを示しています。
本論文は、クロスモーダル注意機構、Grad-CAM++ による帰属分析、および「提示 - 修正」フィードバックループを統合した説明可能なバイアス意識生成フレームワークを提案し、マルチモーダル MNIST やファッション MNIST などのベンチマークにおいて、高い精度、ロバスト性、公平性を達成したことを示しています。