Statistically valid explainable black-box machine learning: applications in sex classification across species using brain imaging

リンゴとオレンジの違いを、外見からではなく、果物の中にある何百万もの微細で目に見えない粒子の分析によって判別しようとしている場面を想像してみてください。これは、科学者が脳スキャンを用いて、その脳が男性のものか女性のものかを判断する際に行っていることです。

問題点：「ブラックボックス」と「騒がしい群衆」
通常、コンピュータはスマートなプログラム（機械学習）を使用してこれらの推測を行います。しかし、多くの場合、これらのプログラムは「ブラックボックス」として機能します。つまり、正解は出してくれるものの、なぜその選択をしたのかという理由を教えてくれないのです。それはまるで、友人が「これはリンゴだと分かっているよ」と言いながら、何が決め手となったのか（茎の色なのか、あるいは形なのか）を指し示すことを拒むようなものです。

さらに、脳スキャンは非常に乱雑です。それは、全員が一斉に叫んでいる満員のスタジアムのようなものです。従来のツールは重要な「声」を選び出そうとしますが、ノイズに混乱したり、いくつかの声が組み合わさった時に初めて意味を成すという事実（複雑な相互作用）を見逃したりすることがよくあります。「ランダムフォレスト」、「LIME」、「SHAP」といったツールは標準的な群衆管理官のようなものですが、この論文では、これらがこの特定の種類のノイズが多く複雑なデータを扱うことや、その発見を厳密な数学で証明することに苦慮していると論じています。

解決策：新しい探偵チーム
著者らは、これを解決するために2つの主要な部分からなる新しいツールキットを構築しました。

1. 斜めランダムフォレスト (ORFs): 標準的な決定木を、厳格に南北・東西方向に作られた壁のセットだと想像してください。それらは部屋を直線でしか切ることができません。新しい手法であるORFsは、あらゆる角度で壁を作ることができる探偵チームのようなものです。これにより、データに対して斜めの複雑な方法で切り込むことができ、直線的な壁では見逃してしまうような微妙なパターンを捉えることができます。彼らは、脳の異なる部位間の隠れたつながりを見つけることに長けています。

2. NEOFIT (真実のテスター): ORFsが推測を行った後、それが真実なのか、それとも単なる偶然の産物なのかを知る必要があります。NEOFITは厳格な裁判官のようなものです。数千回の「もしも」のシナリオ（無作為分布の作成）を実行し、見出されたパターンが実際に有意なものなのか、それとも単なるランダムなノイズなのかを検証します。これは、どの脳の特徴が本当に重要であるかを、統計的な確実性をもって証明する「p値」というスコアを与えます。

実験：ヒトとマカク猿
チームはこの新しいツールキットを2つの方法でテストしました。

• 第一に、偽のデータを用いたテスト: 彼らは、事前に答えが分かっているシミュレーションデータセットを作成しました。これにより、彼らの手法が堅牢であり、数学的に破綻することなく処理できることが証明されました。
• 第二に、実際の脳を用いた調査: 彼らは、ヒトとマカク猿（サル）の両方の脳スキャンに対してこのツールキットを使用しました。彼らは2種類のデータを用いました。すなわち、脳全体の3D構造（ボクセル単位のMRI）と、大脳皮質の厚さ（皮質厚）です。

結果

• 精度: 新しい手法は非常に優れた推測を行いました。ヒトにおいては80%以上の確率で正解を導き出し、マカク猿においては70%以上の確率で正解を導き出しました。
• 明快さ: 旧来の「ブラックボックス」型の手法とは異なり、この新しいシステムは、男女間で違いがあることが知られている特定の脳領域を指し示しました。単に推測しただけでなく、統計的な証明とともに「なぜ」を示したのです。

結論（要点）
この論文は、現時点で病気を治したり患者を診断したりすることを主張しているわけではありません。むしろ、将来的にそれが可能となるような「道具」を構築するための、より優れた方法を提示しています。データの切り分け方（ORFs）をよりスマートにし、そこに厳格な証明方法（NEOFIT）を組み合わせることで、著者らは正確かつ説明可能な手法を作り上げました。これにより、ヒトとサルの両方における、進化的な男女の脳の違いを理解するための強固な基礎が築かれました。