🤖 machine learning

In Defense of Information Leakage in Concept-based Models

本論文は、概念ベースのモデルにおける情報の漏洩は本質的に望ましくないものであるという従来の見解に異を唱え、不完全な概念が存在する現実世界のシナリオにおいては、精度と介入可能性の両立を実現するために「良質な漏洩（benign leakage）」の一形態が実際には必要であると論じ、この有益な漏洩を最適化するための新たな学習目的関数を提案するものである。

原著者： Mateo Espinosa Zarlenga

公開日 2026-06-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mateo Espinosa Zarlenga

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグアイデア：なぜ「漏洩」が良いことになり得るのか

想像してみてください。あなたはロボットに、さまざまな種類の鳥を見分ける方法を教えようとしています。あなたはロボットに、「赤い嘴（くちばし）を持っている」「青い羽を持っている」「体が小さい」といった、探すべき「概念（コンセプト）」のリストを与えます。これが、**概念ベースモデル（CM）**を構築する標準的な方法です。

この分野における従来のルールはこうでした。「ロボットは、与えられたリストにあるものだけを見なければならない。もしそれ以外のもの（例えば背景にある木の形など）を見たら、それは『ズル』をしているか、情報を『漏洩（リーク）』させていることになり、それは悪いことである」。

この論文は、このルールには欠陥があると主張しています。現実の世界では、あなたが作った概念のリストが完璧であったり、完全であったりすることは、まずありません。もし、不完全なリスト以外のすべてを無視するようにロボットに強制すれば、ロボートは愚かになり、間違いを犯すようになってしまいます。

著者たちはこう言います。「時には、ロボットが賢く正確であるために、少しだけ余分な情報を『漏洩』させる必要がある」。彼らはこれを**「良性漏洩（Benign Leakage）」**と呼んでいます。

アナロジー：探偵と足りない手がかり

なぜそうなるのかを理解するために、探偵のアナロジーを使ってみましょう。

シナリオ：
あなたは、ある犯罪を解決するために探偵（AI）を雇いました。あなたは彼らに、探すべき特定のヒントのリスト（「概念」）を与えます：泥のついた靴跡、割れた窓、そして消えた腕時計。

「厳格な」アプローチ（漏洩なし）：
あなたは探偵にこう命じます。「君はこれら3つの手がかりだけを使わなければならない。もしガラスに指紋を見つけたり、煙の匂いがしたりしても、それらはリストに載っていないのだから、完全に無視しなければならない」

問題点：
もし、あなたが探偵に与えたリストが不完全だったらどうでしょう？もし、事件解決の本当の鍵が「煙の匂い」だったとしたら、そしてあなたがそれをリストに入れ忘れていたら？
もし探偵があなたのルールを厳格に守ったとしても、彼らは事件を解決できずに終わります。たとえルールを完璧に守っていたとしても、仕事としては役に立たないのです。

「良性漏洩」アプローチ：
さて、今度はこう命じたとしましょう。「これら3つの手がかりを主なガイドとして使いなさい。しかし、もし事件解決に役立つ他の何か（例えば煙の匂いなど）を見つけたなら、メインの手がかりを使って理由を説明できる限り、それも使って構わない」

結果：
この探偵は、より頻繁に事件を解決できるようになります。彼らは依然としてあなたが与えた概念を使用していますが、あなたのリストに重要なピースが欠けていたとしても、そのせいで動けなくなることはありません。

「情報漏洩（Information Leakage）」とは何か？

論文におけるテクニカルな用語では、情報漏洩とは、AIの内部的な「概念」（例えば「赤い嘴」）が、意図せず他のもの（例えば「コマドリである」ことや、最終的な答えである「鳥である」こと）に関する情報を拾ってしまう現象を指します。

旧来の見方： これはバグである。AIが混乱しており、その説明を信頼できないことを意味する。
新しい見方： これはしばしば「機能」である。私たちの概念リストが不完全な世界において、AIが正しい答えを出すためには、データの残りの部分から追加の情報を掴み取る必要がある。

解決策：「セーフティネット」トレーニング

著者たちは単に「AIにズルをさせろ」と言っているわけではありません。彼らは、この「ズル」が安全で制御されたものになるような、具体的なトレーニング方法を提案しています。

彼らは、 $L_{int}$ と呼ばれる、AIの概念を「固定」するような役割を果たすトレーニング手法を紹介しています。仕組みは以下の通りです。

テスト： トレーニング中、研究者はAIの概念を「修正」するふりをします。「よし、君が考えている鳥の見た目は一旦忘れなさい。今から『赤い嘴』という概念が真実であると強制する。さて、それでも君は鳥を正しく推測できるかな？」
ゴール： もし、概念を完璧なものに強制したとしても、AIが依然として正しく推測できるのであれば、それはAIが（漏洩した）残りの情報を活用して、欠落を埋める方法を効果的に学んだことを意味します。
結果： AIは、漏洩した情報を安全な場所に保持するように学習します。AIは、自分の脳のどの部分が「赤い嘴」を見ており、どの部分が「煙の匂い」を見ているのかを正確に把握するようになります。

なぜこれが重要なのか

この論文は、漏洩に関する3つの一般的な懸念に異議を唱えています。

懸念： 「漏洩はAIの介入（操作）を不可能にする」
- 現実： 正しく訓練されていれば、概念を変更することでAIの考えを変えることができます。人間が入力した新しい情報に基づいて、AIは回答を調整します。まるで人間の探偵のように。
懸念： 「漏洩はAIの解釈可能性を損なう」
- 現実： 著者たちは、漏洩があっても、AIは依然として与えられた概念に大きく依存していることを示しています。AIが突然ランダムに推測し始めるのではなく、単に正確さのために少しだけ助けを借りているだけなのです。
懸念： 「漏洩は常に危険である」
- 現実： 完璧なデータがある完璧な世界なら、そうかもしれません。しかし、混沌とした現実の世界では、すべての漏洩を阻止しようとすると、AIはあまりにも硬直的になりすぎて、役に立たなくなってしまいます。

結論

この論文は、あらゆるものを無視する「純粋な」概念モデルを作ろうとするのをやめるべきだと主張しています。代わりに、自らの限界に対して正直なモデルを作るべきなのです。

もしあなたの概念リストが不完全であるなら（それはほとんどの場合そうです）、正確であるために、モデルには少しの情報を「漏洩」させる必要があります。目標は、漏洩を排除することではなく、モデルが正確で、役に立ち、人間のフィードバックを聞き入れられるように、その漏洩を**手懐ける（コントロールする）**ことなのです。

要するに： あなたが指示していないことを見つけたからといって、探偵を解雇しないでください。代わりに、その追加の手がかりを使って、より良く事件を解決する方法を教え込みましょう。

技術要約：概念ベースモデルにおける情報漏洩の擁護

問題提起

概念ベースモデル（CM）は、予測を人間が理解可能な概念（例：「縞模様」、「翼」）に根ざすように設計された深層ニューラルネットワークである。この分野における支配的な言説は、情報漏洩（information leakage）——すなわち、概念表現が意図された意味論に厳密に帰属しない情報をエンコードしてしまう現象——は本質的に望ましくないというものである。この漏洩は通常、概念間漏洩（ある概念の表現が他の概念に関する情報をエンコードすること）と、タスク漏洩（概念表現がダウンストリームのタスクラベル $Y$ に関する情報をエンコードすること）に分類される。

従来の視点では、漏洩は介入可能性（intervenability）（概念入力を修正することで予測を修正できる能力）および解釈可能性（interpretability）（概念のみからモデルの推論を再構成できる能力）を損なうとされている。その結果、近年の研究は、アーキテクチャ上の制約や正則化を通じて漏洩を排除することに焦点を当ててきた。

しかし、著者らは、このような厳格な見方は不適切であり、特に概念の不完全性が常態である実世界の環境においては逆効果であると主張している。このようなシナリオでは、利用可能な訓練概念の集合 $C$ は、ダウンストリームタスク $Y$ を完全に記述できないことが多い（すなわち、 $I(Y; X | C) \neq 0$ である）。著者らは、このような不完全な設定において、厳密に非漏洩な表現を強制することは高いタスク精度を阻害し、CMを実用不可能なものにすると断じている。

手法

1. 良質な漏洩（Benign Leakage）の定式化

本論文は、不完全な設定において正確なCMにとって必要かつ望ましい特定の形態の漏洩として、**良質な漏洩（Benign Leakage）**という概念を導入する。表現 $\hat{C}$ が良質な漏洩を示すとは、以下の2つの条件を満たす場合を指す：

充足性（Sufficiency）： その表現は、グラウンドトゥルース（真の）概念 $C$ によって捉えられないラベルに関連するすべての情報を保持している。形式的には、 $I(Y; R | C) \approx I(Y; X | C)$ である。ここで $R$ は表現の残差成分である。
局在化（Localization）： $Y$ を予測するために有用な特定の概念 $C_i$ に関する情報は、表現の特定のコンポーネント $\bar{C}_i$ 内に局在している。形式的には、 $I(Y; \bar{C}_i | R_i, \hat{C}_{-i}) \approx I(Y; C_i | C_{-i})$ である。

この分解により、モデルは精度を得るために漏洩を利用しつつ（ $R$ を通じて）、介入可能性（ $\bar{C}_i$ を通じて）を維持することが可能になる。

2. $L_{int}$ による最適化

良質な漏洩を実現するために、著者らは新しい訓練目的関数である $L_{int}$ （介入損失：Intervention Loss） の最適化を提案する。この損失は、すべての概念に対して介入が行われたとき（すなわち、訓練中にそれらをグラウンドトゥルースの値に強制したとき）のタスク損失を最小化するものである：
$L_{int} = \mathbb{E}_{(x,c,y) \sim D} \left[ -\log P_f(y | \hat{C} = g(x | C := c)) \right]$

論文では、最小化 $L_{int}$ が充足性を暗黙的に促進すると論じられている。ラベル予測器が適切に指定されているという仮定の下では、全介入下での負の対数尤度の最小化は、概念が与えられたときの残差表現とタスクラベルとの間の相互情報量を最大化することと等価である。

さらに、著者らは、深層ニューラルネットワークの単純性バイアス（simplicity bias）（SGDはより単純な仮説を好む）により、 $L_{int}$ を最小化することが局在化も暗黙的に促進すると仮定している。モデルにとってより単純な仮説とは、ラベル予測器が概念固有の推論のために概念に整合したコンポーネントに依存するように学習し、概念情報を残差漏洩へと再エンコードしないようなモデルである。

3. 実験設定

著者らは、CUB-200 データセット（鳥類）を用いて自らの主張を検証した。具体的には、元の112個の概念のうち22個（7つのグループ）に概念注釈をサブサンプリングすることで、**不完全なバージョン（CUB-Incomplete）**を構築した。以下の様々なアーキテクチャをテストしている：

Independent/Sequential/Joint CBMs: 異なる程度の漏洩を持つ標準的なベースライン。
Hybrid CBMs: バイパスチャネル（残差接続）を備え、明示的に漏洩を許容するモデル。
Concept Embedding Models (CEMs) & ProbCBMs: 動的な埋め込みを使用するモデル。
Black Box Baselines: 概念整合損失を持たないDNN。

主要な指標には、タスク忠実度（Task Fidelity）（精度）、概念忠実度（Concept Fidelity）（概念予測の精度）、および介入可能性（Intervenability）（グラウンドトゥルースの概念が提供された際の性能向上）が含まれる。

主な結果

1. 漏洩は必ずしも介入可能性を破壊しない

支配的な言説に反して、著者らは、適切に条件付けられていれば、漏洩のあるモデルでも不完全な設定において高い介入可能性を維持できることを示している。

$L_{int}$ なしの場合： 多くの漏洩モデル（例：Joint Logit CBMs、大きなバイパスを持つHybrid CBMs）は、不完全な設定において介入不能になる。つまり、概念が修正されても精度が向上しない（あるいは低下する）。
$L_{int}$ ありの場合： これらの同じ漏洩モデルであっても、 $L_{int}$ 正則化器を用いて訓練されると、高い介入可能性を取り戻す。例えば、大きなHybrid CBM（500個の残差ニューロンを持つ）は、 $L_{int}$ を用いることで、非漏洩なIndependent CBMと同等の介入可能性を維持しながら、大幅に高いタスク精度を保持する。

2. 良質な漏洩は解釈可能性を犠牲にすることなく精度を向上させる

精度： 不完全な設定において、 $L_{int}$ で訓練されたモデルは、不完全な概念集合のみに依存することを強制される非漏洩なベースライン（例：Independent CBMs）よりも、有意に高いタスク忠実度を達成する。
解釈可能性： プロキシ指標（概念ROC-AUCおよびラベル予測器の重み分析）を用いて、著者らは、適切に条件付けられた漏洩モデル（ $L_{int}$ を伴うHybrid CBMsなど）が、統計的に非漏洩モデルと区別がつかない概念対タスクの重み構造を示すことを示した。漏洩モデルがクラスを予測するために使用する上位の概念は、非漏洩モデルが使用するものと密接に一致しており、これは漏洩が標準的な指標で検出されるような形でモデルの推論プロセスを不明瞭にしていないことを示唆している。

3. 不完全性の役割

完全なデータセットを用いた実験では、漏洩のあるモデルは $L_{int}$ がなくても介入可能であることが多い。しかし、不完全な設定では、 $L_{int}$ が欠如すると漏洩のあるモデルは介入不能な挙動を示す。これは、「漏洩の害」は文脈依存的であり、モデルが不足しているタスク関連情報の十分な表現を学習できていない場合に発生することを裏付けている。

意義と主張

本論文は、CMにおける情報漏洩に関するパラダイムを、「現象として根絶すべきもの」から「制御し、活用すべきもの」へと転換することを主張している。

言説の再構築： 著者らは、漏洩を「解釈不能」とする厳格な見方は、不完全な実世界のシナリオにおける実用的な必要性を無視しているため、不適切であると論じている。彼らは、そのような設定で漏洩を排除することは、実用的な利益をもたらさない理論的な純粋さのために精度を犠牲にすることを強いると主張している。
実用的な必要性： 本論文は、概念集合が不完全な場合に、正確かつ介入可能なCMを構築するためには、良質な漏洩が不可欠であると断じている。漏洩を通じて $I(Y; X | C)$ を捉えることを許容しなければ、CMはその主要な機能である正確な予測を行うことができない。
方法論的貢献： $L_{int}$ の導入は、「良質な漏洩」を可能にする、シンプルでアーキテクチャに依存しない正則化手法を提供する。これは、既存の様々なメカニズム（CEMsにおける確率的介入など）を特殊なケースとして回収し、堅牢なCMを訓練するための統一的なアプローチを提供する。
行動への呼びかけ： 著者らは、検証可能な基準なしに「漏洩が解釈可能性を破壊する」という広範な主張をすることをコミュニティに控えるよう求めている。代わりに、研究者が以下のことに注力することを促している：
- 不完全な設定におけるCMの評価。
- 漏洩の排除ではなく、漏洩の制御（局在化と充足性）への注力。
- CM特有の現象と、ショートカット学習のような一般的なディープラーニングの失敗モードの分離。

結論として、本論文は「漏洩」が本質的に悪質なものではないと主張している。むしろ問題なのは制御されていない漏洩である。 $L_{int}$ を通じて充足性と局在化を最適化することで、不完全な設定においても高い精度を実現しつつ、解釈可能性と介入可能性という核となる特性を維持したCMを構築することが可能となる。