🤖 machine learning

Is Data Shapley Not Better than Random in Data Selection? Ask NASH

本論文は、ターゲット有用性関数をシャプレー情報成分に分解し、それらを非線形に集約して高品質な訓練部分集合を一貫して効率的に選択する新たなデータ選択フレームワークであるNASHを導入し、これにより標準的なデータシャプレー手法がしばしばランダム選択と比べて優れた性能を発揮できないという限界を克服するものである。

原著者： Xiao Tian, Jue Fan, Rachael Hwee Ling Sim, Zixuan Wang, Nancy F. Chen, Bryan Kian Hsiang Low

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xiao Tian, Jue Fan, Rachael Hwee Ling Sim, Zixuan Wang, Nancy F. Chen, Bryan Kian Hsiang Low

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが完璧なスープを作るために奮闘するシェフだと想像してください。あなたの手元には、膨大な量の食材（トレーニングデータ）が詰まった巨大なパントリーがありますが、鍋に入るスペースは限られた少量（限られた予算やストレージ）しかありません。あなたの目標は、スープを驚くほど美味しくするために、最高の食材を少量だけ選び出すことです。

長年、データサイエンティストたちは、どの食材を選ぶべきかを決めるためにData Shapleyという手法を用いてきました。Data Shapley は「公平性スコア」のようなものです。これは、すべての他の可能な食材の組み合わせとどう混ざり合うかを考慮しつつ、個々の食材が最終的な味にどれだけ貢献するかを計算しようとします。その理論はこうです：「もしある食材が優れていれば、それは高いスコアを持つはずだ。だから、スコアが最も高い上位 10 個をただ取ればよい」。

問題点：「上位 10 位」の罠
この論文は、この「上位 10 位」アプローチがしばしば失敗すると主張しています。時には、最も高いスコアを持つ食材が実際には最高のスープを作らないのです。実際には、それらは単にランダムに食材を掴んだのと変わらないかもしれません。

なぜでしょうか？それは「スコア」（Data Shapley）が一度にあまりにも多くのことをやろうとしているからです。

「スイスアーミーナイフ」の欠陥： 肉を切るのに優れているが、野菜を刻むのにひどく不向きなナイフを持っていると想像してください。もしそのナイフの総合的なスコアだけを見ると、それはトップクラスの道具のように見えるかもしれません。しかし、もしあなたのスープに大量の野菜が必要なら、そのナイフは役に立ちません。
論文の洞察： スープの「味」（検証精度）は、多くの異なる「役割」（肉を切る、野菜を刻む、味付けをするなど）に依存します。単一の総合スコアは、これらの特定の強みを隠してしまいます。この論文は、Data Shapley がしばしば「肉切り屋」の群れを選び、「野菜刻み屋」を無視し、その結果としてまずいスープになってしまうことを示しています。

解決策：NASH と出会う
著者たちは、NASH（非線形集約 SHapley 情報成分）と呼ばれる新しいフレームワークを提案します。これがどのように機能するかを、創造的な比喩を使って説明します。

分解する（Decomposition）： 「この食材は全体のスープにとってどれくらい優れているか？」と問う代わりに、NASH は「この食材は肉だけにとってどれくらい優れているか？野菜だけにとってどれくらい優れているか？味付けだけにとってどれくらい優れているか？」と問います。
- この論文は、これら小さく特定の役割（例えば、特定の野菜 1 つの味を予測すること）に注目すると、Data Shapley スコアが非常に正確で信頼性が高くなることを証明しています。これらが「Shapley 情報成分」です。
賢く混ぜる（非線形集約）： 今や NASH は、すべての食材についてすべての役割に対するスコアを持っています。しかし、それらを単にすべて足し合わせる（それは単に、以前の欠陥のある「上位 10 位」リストを与えることになる）わけではありません。
- 代わりに、賢い混合戦略を用います。まるで、あるシェフが気づくように、「肉切り屋は十分にあるが、野菜刻み屋が切実に必要だ」と。
- NASH は、隙間を埋める食材を優先します。もしスープにすでに優れた肉の網羅性があるなら、NASH はさらに肉切り屋を選ぶのをやめ、たとえそれらの刻み屋がわずかに低い「総合」スコアを持っていたとしても、野菜刻み屋を探し始めます。スープがバランスの取れた完全な風味プロファイルを得るように保証するため、数学的な「曲がった」ルール（非線形）を使用します。

結果
この論文は、単純な数学の問題から複雑な AI 言語モデルまで、さまざまな「レシピ」（データセット）と「調理スタイル」（モデル）でこれをテストしました。

旧来の方法： 標準的な Data Shapley 手法は、しばしば食材をランダムに選ぶことと比べても良い結果を出せませんでした。
NASH の方法： 問題を特定の役割に分解し、それらを賢く再混合することで、NASH は一貫してより良い食材を選び出し、旧来の方法よりもはるかに美味しいスープ（より高いモデル精度）を作り出しました。追加の時間やコストはほとんどかかりませんでした。

要約
この論文はこう言っています：「データの全体的な人気スコアを盲目的に信頼しないでください。問題を特定のタスクに分解し、現在のデータがどこで弱いのかを確認し、その隙間を埋めるために賢く非線形なルールを使用してください。それが最良のデータ選択を得る方法です」。

論文からの主要な教訓：

Data Shapley は壊れているわけではありません。ただ、間違った方法（スコア上位を盲目的に選ぶこと）で使われているだけです。
複雑な目標（例えば「美味しいスープ」）は、単純な部分（良い肉、良い野菜）で構成されています。 Data Shapley はこれらの単純な部分では非常にうまく機能します。
NASH は新しいフレームワークです。 これは単純な部分を使ってより良い全体を構築し、似たような食材の山を選ぶのではなく、バランスの取れた高品質な部分集合を選ぶことを保証します。

技術的サマリー：NASH - SHapley 情報成分の非線形集約

問題定義

データ選択は、サイズ制約下でモデルの有用性（例：検証精度 $u_V$ ）を最適化するために、高品質な訓練データ部分集合を特定することを目的としています。Data Shapley およびその一般化（セミバリュー）は、データ間の相互作用を考慮するために協力ゲーム理論に基づいて理論的に裏付けられていますが、最近の実証的研究では、それらが実際には効果的に機能しないことが示されています。具体的には、複雑な有用性関数（検証精度など）に対して計算された Shapley 値に基づいて上位 $m$ 個のデータポイントを選択しても、ランダム選択と同等か、あるいはそれよりも悪い部分集合しか得られないことがあります。

本論文は、この失敗の主な理由を 2 つ特定しています：

Shapley 情報性の欠如：複雑な有用性関数は、複数の異なる「役割」（例：検証セット内の異なるクラスやサブ集団）を含みます。あるデータに対する単一の Shapley 値は、これらの役割全体にわたるそのデータ固有の強さを捉えることができません。その結果、異なる強さを持つデータが同一の Shapley スコアを受け取り、有用性への貢献が異なるにもかかわらず、交換可能な扱いをされることになります。
不適切な集約：真の目的（例：検証精度）は、これらの役割にわたる性能を非線形に集約します。しかし、標準的な上位 $m$ 個のヒューリスティックは、Shapley 値を合計する線形集約に依存しており、あるデータが既に選択された他のデータに依存して寄与する（例：過小評価された役割をカバーする場合、そのデータはより価値がある）ような相乗的な相互作用を捉えることができません。

手法：NASH フレームワーク

著者らは、複雑な有用性関数を Shapley 値が有効な単純な成分に分解し、それらを非線形に集約するフレームワークであるNASH（SHapley 情報成分の非線形集約）を提案します。

1. Shapley 情報性と分解

本論文は、部分集合に対する Shapley 値の合計がその実際の有用性を示す性質としてShapley 情報性を形式化します。著者らは、任意の有用性関数は一般的に Shapley 情報性を持たないことを証明しています。しかし、より単純な有用性関数、具体的には単一の検証データに対する予測の正しさ（ $u_v$ ）は、「一貫したプレイヤー」の仮定（あるデータが特定の検証ポイントに対して一貫して良いか悪いか）の下で、証明可能に Shapley 情報性を持つことを示しています。

集約された検証精度 $u_V$ に対して Shapley 値を計算する代わりに、NASH は $u_V$ を各検証データ $v \in V$ に対する個別の成分 $u_v$ に分解します。これらの単純な成分に対して Shapley 値 $\phi_i(u_v)$ が計算されます。注目すべきは、 $u_V$ は $u_v$ の平均であるため、これらベクトルを計算しても、集約された $u_V$ に対する Shapley 値を計算する場合と比較して、追加の実行時間コストは発生しないことです。

2. 非線形集約

これらの情報豊富な成分から複雑な目的を再構築するために、NASH は（欠陥のある上位 $m$ 個の Shapley ヒューリスティックを回復する）線形合計を回避します。代わりに、非線形集約目的を最適化します：
$\max_{M \subseteq N, |M|=m} \sum_{v \in V} F_T(\hat{u}_v(M))$
ここで、 $\hat{u}_v(M) = \sum_{i \in M} \phi_i(u_v)$ は成分 $v$ に対する Shapley 値の合計であり、 $F_T$ は学習曲線に着想を得た累積分布関数（CDF）（例：指数法則）です。この非線形関数は、選択プロセスが、既に十分に予測されているポイントで高いスコアを蓄積するのではなく、予測が不十分な検証ポイント（未カバーの役割）の「閾値を越える」のを助けるデータを優先することを保証します。

3. 最適化

NASH 目的は貪欲アルゴリズムを用いて最適化されます。著者らは、Shapley 値が非負である場合、目的関数は単調部分集合関数となり、 $(1 - 1/e)$ 近似が保証されることを示しています。負の値（ノイズのあるデータから生じる）が存在する場合でも、有害なデータ（非部分集合性を引き起こすもの）が自然に優先順位が下がるため、貪欲アルゴリズムは実証的に良好に機能します。このアルゴリズムは、重労働（Shapley 近似）が既存の手法と共有されるため、追加の実行時間コストを最小限に抑えます。

主要な貢献

理論的解析：本論文はShapley 情報性の性質を形式化し、複雑な機械学習有用性関数（検証精度など）がそれを満たさない理由、およびそれが Data Shapley の一貫性のないパフォーマンスにつながる理由を説明します。
証明可能な情報豊富な成分：著者らは、合理的な仮定の下で、単一の検証データポイントに対する予測の正しさが Shapley 情報成分として機能することを特定し、証明しています。
NASH フレームワーク：複雑な目的を Shapley 情報成分に分解し、それらを非線形に集約して高品質な部分集合を選択する新しいデータ選択フレームワークです。
実証的検証：標準的なデータセット（ロジスティック回帰、KNN）および大規模言語モデルの微調整（BERT、Llama-2）における広範な実験により、NASH が従来の Data Shapley、他のセミバリュー、およびランダム選択を一貫して上回ることを実証しています。

結果

一般的なデータ選択：注入されたノイズがない設定（均質な品質）では、従来の Data Shapley はランダム選択と同等以上の性能を示さないことがよくあります。NASH はこれらのシナリオで性能を大幅に向上させ、さまざまな選択比率においてベースラインを一貫して上回ります。
異質品質データセット：ラベルノイズを含む設定では、従来の Data Shapley は（悪いデータを区別できるため）改善しますが、NASH は依然として一貫してそれを上回ります。これは、NASH の利点（役割間の相互作用の処理）が、ノイズをフィルタリングする Data Shapley の能力とは異なり、補完的であることを示唆しています。
互換性：NASH は、さまざまなセミバリュー（例：Beta Shapley、Data Banzhaf）および効率的な近似手法（例：MC サンプリング、FreeShap）と互換性があり、それらの選択性能を一貫して向上させます。
ロバスト性：この手法は、集約関数におけるハイパーパラメータ $\lambda$ の選択に対してロバストであり、異なる有用性関数（例：検証損失、MSE）でも効果的に機能します。

意義

本論文は、Data Shapley/セミバリューが限られたデータセットまたは特定の設定（例：注入ノイズを含むもの）でのみ有効であるという制限を、NASH が大幅に解消すると主張しています。Shapley ベースの選択を多様なデータセットおよびモデルスケールにわたって一貫して信頼性が高く、ロバストにするフレームワークを提供することで、NASH は原理的なデータ評価手法のより広範な採用を可能にします。この進歩は、基礎モデルの近似効率とデータ選択の改善に関する将来の研究を支援し、Shapley 値の理論的利点（近視眼的でない相互作用と公平性）が実際において実現されることを保証します。