Probabilistic Block Term Decomposition for the Modelling of Higher-Order Arrays

あなたは、ミステリーを解決しようとしている探偵だと想像してください。しかし、目の前にあるのは単一の犯罪現場ではなく、手がかりが幾重にも重なった巨大なライブラリです。中には、単なるリスト（買い物リストのようなもの）もあれば、スプレッドシート（予算表のようなもの）もあり、最も興味深いのは、3次元のキューブや、さらに高次元の「ハイパーキューブ」のようなデータです。科学の世界では、これらはテンソルと呼ばれます。これらは至る所に存在します。例えば、化学において、特定の光の下で化学物質がどのように光るかを追跡する場合や、生物学において、遺伝子が時間や異なる条件下でどのように変化するかをマッピングする場合、あるいは心理学において、人々がさまざまな対象に対してどのように回答したかを追跡する場合などです。

これらの巨大で乱雑なデータの立方体を理解するために、科学者はテンソル分解という手法を用います。これは、複雑なレゴのお城を分解して、個々のレンガと、それらがどのように組み合わされているかを確認する作業に似ています。目的は、データをより単純で理解しやすいパターンへと分解することです。長い間、科学者は主に2つの方法を使用してきました。一つは、すべてのパターンを完全に独立した別々の線として扱う方法（単一のレゴブロックの積み重ねのようなもの）、もう一つは、パターンをすべてが互いに触れ合う巨大で相互接続されたウェブとして扱う方法です。しかし、もし真実がその中間にあるとしたらどうでしょう？もし、あなたのデータがいくつかの明確な「ブロック」で構成されており、各ブロックは小さな相互接続されたウェブであるものの、ブロック同士は互いに干渉しないとしたら？これが「ブロック項分解（Block-Term Decomposition: BTD）」であり、完璧な中間地点を見つけようとする手法です。

しかし、落とし穴があります。従来のパズル解法は、単一の「最善の推測」を見つけることに依存しています。もしデータがノイズだらけであったり、乱雑であったりする場合（暗い場所で撮った写真のように）、その単一の推測は簡単に騙され、誤った結論を導いてしまう可能性があります。ここで、新しい論文が登場します。単一の答えを推測する代わりに、著者たちはよりスマートな「確率論的」なアプローチを提案しています。レゴのお城の「唯一の真の形」を問うのではなく、「このお城が取り得るすべての形は何か、そしてそれぞれの形がどの程度起こり得るのか？」と問うのです。ベイズ推論と呼ばれる手法を用いることで、彼らは単一の答えを見つけるだけでなく、可能性のランドスケープ（景観）を描き出し、不確実性を把握し、ランダムなノイズに過ぎない部分を自動的に無視することができます。

論文の新しいツール：「スマート」なレゴ・ビルダー

この論文の中で、イェスパー・レーヴェ・ヒンリッヒ（Jesper Løve Hinrich）とモルテン・ムーラップ（Morten Mørup）は、BTDに特化した、非常に効率的な新しい確率論的手法を導入しています。彼らはこれを pBTD（確率的ブロック項分解）と呼んでいます。彼らの大きなアイデアは、未知の部分を固定された数値ではなく「分布（可能性の範囲）」として扱うことで、現実世界のデータの乱雑さに対応できるモデルを構築することです。

これを実現するために、彼らは難しい数学的問題を解く必要がありました。それは、データの異なる「ブロック」を区別し、それらが混ざり合わないようにすることです。彼らは、構築ブロックが「直交」し続けるよう強制する特別な数学的ルール（フォン・ミーゼス・フィッシャー分布）を使用することで、これを達成しました。日常的な言葉で言えば、直交性とは、部屋の角のように、レゴブロックが互いに完全に垂直であることを意味します。これにより、他の手法でよくある問題である、異なるパターンが絡み合ってしまうことを防いでいます。

彼らが発見したこと：賢い推測とノイズ除去

著者たちは、2つの方法でpBTDツールのテストを行いました。一つは、正解が分かっているコンピューター生成の「偽の」データを用いた方法、もう一つは、産業用化学プロセスと脳波（EEG）記録という2つの実世界のデータセットを用いた方法です。

偽のデータを用いてツールをテストした際、彼らは非常に興味深い発見をしました。データが非常にノイズが多い場合（ハリケーンの中でささやき声を聞き取ろうとするような状態）、従来のメソッド（最大尤度推定、またはMLEと呼ばれるもの）は、ノイズを無理やりパターンに適合させようとし、本質的に「過学習（オーバーフィッティング）」を起こして、乱雑で誤ったモデルを作り出してしまいます。対照的に、新しいpBTBツールは、「おい、この部分はただのノイズだ」と気づくほど賢く、意味をなさない部分のモデルを効果的にオフにすることができました。それは単に答えを見つけるだけでなく、いつ答えを探すべきでないかを知っていたのです。

彼らはまた、データの「正しい」構造を見極めるためにもこのツールを使用しました。レゴの箱を持っていて、それを一つの大きな塔にするべきか、いくつかの小さな塔にするべきか、あるいは平らな壁にするべきか分からない状況を想像してください。pBTBツールは、**証拠下界（Evidence Lower Bound: ELBO）**と呼ばれるスコアを「審判」として使い、どの構造がデータに最も適合するかを判断します。シミュレーションにおいて、このツールは、モデルにパーツが多すぎる状態からスタートした場合でも、ほとんどのケースで正しいブロック数とそのサイズを特定することに成功しました。ツールは、余分で不要なパーツを「剪定（せんてい）」し、枯れた枝を取り除いて健康な木を露出させる庭師のように、それらをほぼゼロに近いサイズまで縮小させることができたのです。

実世界での結果：化学から脳へ

彼らが実データにpBTDを適用した際の結果も、同様に有望なものでした。

• 化学データ： 産業用射出成形プロセスからのデータセットにおいて、ツールは完全な「タッカー（Tucker）」モデル（すべてが相互接続しているモデル）が最適であることを示唆しました。しかし同時に、そのモデル内の多くの接続が非常に弱い、あるいは不確実であることを示し、それらを事実上剪定して核となる構造を明らかにしました。
• 脳データ： 手の刺激中の脳活動を測定したEEGデータセットにおいて、ツールは再び、完全な相互接続モデルを支持しました。しかしここで、著者たちはトレードオフについても指摘しています。統計的には完全なモデルの方が「最適」であったものの、より単純な分離されたモデル（CPDモデルのようなもの）の方が、人間にとっては理解しやすいものでした。例えば、より単純なモデルは、左手の刺激時に特定の脳活動パターンが発生し、右手の刺激時には別のパターンが発生することを明確に示していました。複雑な完全接続モデルは、数学的には堅牢であるものの、解釈がより困難でした。

結論

この論文は、この新しい確率論的アプローチが、最も単純なものから最も複雑なものまで、あらゆる種類のテンソル分解を扱うための統一的な方法を提供すると結論付けています。それは過学習に対する「セーフティネット」を提供し、データがノイズだらけであっても、科学者が結果に対してより自信を持てるようにします。背後にある数学は重厚ですが、その結果として得られるのは、単に数字を計算するだけでなく、信号とグリッチ（不具合）の違いを理解するツールです。著者たちは、この手法が従来のやり方と同じくらい高速でありながら、データが実際に何を伝えているのかについて、より豊かで信頼できる全体像を与えてくれると述べています。また、高速化のために「変分推論」という特定の数学的トリックを使用しましたが、このフレームワークは、将来さらに詳細な手法を用いるための柔軟性も備えています。究極的に、彼らは科学者に、ノイズの中で迷うことなくパターンを見出すための、多次元の世界を見るためのより優れた方法を提供したのです。