The Pragmatic Frames of Spurious Correlations in Machine Learning: Interpreting How and Why They Matter

技術的概要：機械学習における偽相関の実用的枠組み

問題定義
機械学習（ML）は、予測を行うためにデータから相関関係を学習することに依存しています。しかし、モデルはしばしば「偽相関（spurious correlations）」、すなわち訓練データ中に統計的に存在するが、対象現象の根本的な因果メカニズムを反映していない関係性を捉えてしまいます。偽相関の統計的定義（偶然や交絡に起因する非因果的関係）は明確ですが、ML 文献には、この形式的な定義と、研究者が実際の問題をどのように特定し対処しているかとの間に乖離が存在することが示されています。

標準的な ML パイプラインは、因果関係と相関関係を区別する能力を欠いていることが多く、その結果、意図しない相関（例：動物の特徴ではなく、草の背景に基づいて牛を分類するなど）によりモデルが失敗した場合、研究者はその相関がなぜ問題となるのかを決定しなければなりません。本論文は、研究者が相関を偽相関とラベル付けする際に、形式的な因果定義に頼ることは稀であると主張しています。代わりに、彼らは厳密な因果推論よりも、技術的パフォーマンス、タスクの整合性、あるいは倫理的成果を優先する代替的なレンズを通じて「意味づけ（sense-making）」を行います。

手法
著者らは、ML 研究において偽相関がどのように枠組み化され正当化されているかを特定するため、二段階の批判的文献分析を実施しました。

1. データ収集： Semantic Scholar API を用いて、ML、NLP、およびコンピュータビジョンの分野（プレプリント、学術誌記事、会議論文を含む）から、「spurious correlation（偽相関）」、「spurious feature（偽特徴）」、または「shortcut（ショートカット）」という用語を含む 713 件の論文を取得しました。
2. サンプリングとコーディング：
   • 第 1 段階： 200 件の論文のサブセットを無作為に抽出して手動スクリーニングを行い、49 件の関連論文を特定しました。文献レビューを通じて、さらに 16 件の高影響力論文を追加し、初期分析サンプルとして 65 件の論文を作成しました。2 名の著者がこれらの論文を独立してコーディングし、相関を偽相関とラベル付けるための反復的な根拠を抽出しました。
   • 第 2 段階： 確立されたコーディング枠組みを、関連性と品質のフィルタリング後に残った 513 件の論文に適用し、さらに 222 件の論文を追加しました。
3. 最終サンプル： 分析の結果、合計 287 件の論文がサンプルとなりました。著者らは、偽相関を解釈するために使用される 4 つの支配的な「実用的枠組み（pragmatic frames）」を特定し、論文がしばしば複数の枠組みを同時に参照していることを指摘しました。

主要な貢献：4 つの実用的枠組み
本論文は、相関の望ましさは固定的な統計的性質ではなく、「実用的枠組み」によって形成された状況依存的な判断であると仮説立てています。これらの枠組みは、固定的な定義ではなく、機能と規範的目標に基づいて問題の側面を特定し解釈するのを助ける、特定の視点のあり方を表しています。特定された 4 つの枠組みは以下の通りです。

1. 関連性（Relevance）：

   • 定義： 訓練データにおいて予測的であっても、特定の学習タスクに関連しない場合、その相関は偽相関とみなされます。
   • 根拠： 研究者は、モデルが背景色やテクスチャなどの偶発的なアーティファクトではなく、対象ラベルに本質的に固有の特徴（例：物体の形状）を利用することを期待します。
   • 批判： 「関連性」は、データそのものの内在的性質ではなく、データセットの制約や研究者の意図（例：単一ラベル画像分類では背景は無関係であると仮定するなど）によってしばしば定義されます。

2. 一般化可能性（Generalizability）：

   • 定義： 訓練データからテストデータへの移動時、あるいは「分布外（OOD）」のシフト下において、相関が異なるデータ分布間で成立しない場合、その相関は偽相関とみなされます。
   • 根拠： モデルは、環境に依存しない安定した関係性を学習すべきです。「環境固有」であったり、一般化しない「誤ったヒューリスティック」に依存する相関は、偽相関と見なされます。
   • 批判： 研究者は、モデルがどの分布に対して一般化しなければならないかをめったに特定しません。「ストレステスト」や「自然な分布シフト」の定義は、研究者の期待と、代表的なテストセットを構築する実用的な能力に依存しています。

3. 人間らしさ（Human-likeness）：

   • 定義： 人間が同じタスクを実行するために使用しない意思決定ルールや特徴に依存する場合、その相関は偽相関とみなされます。
   • 根拠： この枠組みは、「人間のような」機能がゴールドスタンダードであると仮定しています。例えば、人間が形状によって物体を認識するのに対し、モデルがテクスチャに依存する場合、モデルの相関は偽相関とみなされます。
   • 批判： この枠組みは、人間の認知に関する普遍的で安定した説明を前提としていますが、人間の知覚における文化的・人口統計学的な変異を示す証拠によって争われています。さらに、人間のバイアスを回避するために人間とは異なる動作をするシステムを構築する、あるいは人間のパフォーマンスを上回るシステムを構築するという目標と矛盾する可能性があります。

4. 有害性（Harmfulness）：

   • 定義： その使用が、保護されたグループに対するバイアスを増幅するなど、社会的または倫理的に有害な結果をもたらす場合、その相関は偽相関とみなされます。
   • 根拠： 相関が統計的に安定しており予測的であっても、社会的ステレオタイプを符号化している（例：「CEO」を男性と関連付けるなど）場合、あるいはマイノリティグループのパフォーマンス格差をもたらす場合は、望ましくないと判断されます。
   • 批判： 「害」を決定するには、世界が「あるべき姿」と「ある現状」についての規範的判断が必要です。安定した事実を反映する相関（例：看護職における性別分布など）であっても、ステレオタイプを強化する場合は偽相関とラベル付けされる可能性があり、この枠組みがデータの性質ではなく倫理的目標によって駆動されていることを浮き彫りにします。

結果と知見

• 普及率： 分析された 287 件の論文のうち、一般化可能性が最も頻繁に参照された枠組み（44%）であり、次いで関連性（36%）、有害性（28%）、人間らしさ（18%）の順でした。
• 操作化： 本研究は、研究者が形式的な因果理論を用いて偽相関を定義することは稀であることを発見しました。代わりに、彼らはこれらの実用的枠組みを、ロバストネス技術や公平性制約などの解決策を開発する動機として使用しています。
• 状況依存性： 相関を「偽相関」として分類することは、研究者の意図、特定のタスク、およびプロジェクトの規範的目標に強く依存しています。ある文脈（例：物体認識における背景色）では「ショートカット」と見なされるものが、別の文脈では有効な特徴となる可能性があります。

意義と主張
本論文は、「偽相関」といった技術的概念が、固定的な定義ではなく、状況依存的な実践を通じて定義され操作化されていることを示すことで、機械学習の認識論的文化に関するより広範な議論に貢献すると主張しています。

• 認識論的転換： 著者らは、実用的枠組みに依存することで、研究者は偽相関をデータの静的な性質から、データと研究者の期待との間の動的な関係へと変換していると論じています。
• 規範的含意： どの枠組みを優先するか（例：人間らしさよりも関連性を優先するなど）の選択は、トレードオフを伴う価値に満ちた決定です。本論文は、ML コミュニティが「偽相関」という用語を技術的な短縮語として使用することで、これらの規範的選択を曖昧にしている可能性を指摘しています。
• 今後の方向性： 著者らは、これらの枠組みを認識することが、ML 手法を改善するための資源となり得ると提案しています。これらの判断の実用的な性質を無視するのではなく、今後の研究は、研究者が関心を持つ特定の枠組みに明示的に対応するベンチマークや手法を開発すべきです（例：特定の分布シフトに設計する、あるいは害を明示的に軽減するなど）。
• 謙虚さ： 著者らは、自らの類型化が網羅的ではないことを明示的に述べており、ML 研究が多モーダルおよびエージェントベースの領域へと進化していくにつれて、新たな枠組みが出現する可能性があるとしています。彼らは、その目標が相関に基づく ML の限界を問うための理論的レンズを提供することであり、決定的な因果的解決策を提供することではないことを強調しています。