Handling Missingness and Censoring in Dirichlet Mixture Models

スムージーの味を想像してみてください。でも、中に入っている果物の味は、ほんの少ししか分かりません。例えば、イチゴとバナナが入っていることは分かっても、マンゴーやキウイはブレンダーの中に隠れてしまっています。データサイエンスの世界では、これを「組成データ（compositional data）」と呼びます。これは、レシピの材料や岩石の化学成分のように、ある「全体」を構成する「部分」がどのように成り立っているかを表す情報です。厄介なのは、これらのパーツが互いにロックされていることです。一つの材料が増えれば、合計が必ず100%になるため、自動的にもう一方の材料は減ることになります。科学者たちは、山がどのように形成されるかから、なぜ空気が汚れていくのかまでを理解するために、このデータを使用します。しかし、大きな問題があります。現実世界のデータは非常に「乱雑」なのです。センサーが故障したり、化学物質が小さすぎて検出できなかったり、あるいはデータが単に欠落したりすることがあります。このようなことが起きると、通常の数学的ツールは混乱してしまいます。なぜなら、それらは「欠落した」ピースを取り扱うことができず、スムージーを丸ごと捨ててしまうか、あるいはレシピを元の姿とは分からない形に変えてしまうからです。

この論文は、まさにその頭痛の種に取り組んでいます。著者であるジェイソン・ピレイ氏とそのチームは、欠落したピースを捨て去ることのない、新しい数学的手法を考案しました。データを無理やり特定の形に押し込めるのではなく、彼らは特別な「探偵」アルゴリズムを作り上げました。それは、データをグループ分けしながら、欠落している部分がおそらくどうなっているのかを推測できるものです。これは、パズルのピースがいくつか足りない状況を想像してみてください。諦めてしまう代わりに、この探偵は周囲のピースの形を利用して、欠落したピースが本来どこにあるべきかを正確に突き止め、同時にパズルの絵が元の姿を正しく保つようにします。彼らは、欠落したピースを含む「偽のデータ」と、岩石や大気汚染に関する「現実のデータ」を用いて、この探偵のテストを行いました。その結果、彼らの手法は、単に乱れたデータを削除してしまう従来の方法よりも、正しいグループを見つけ出し、正しいカテゴリー数を選択することにおいて、はるかに優れていることが分かりました。それは、物語の筋書きを失うことなく、不完全な物語を理解する方法なのです。

問題点：「欠けているピース」のパズル

科学において、私たちはしばしば、ある「全体」をその「部分」によって記述するデータを取り扱います。例えば、さまざまな鉱物で構成された岩石や、さまざまな化学物質を含んだ空気の塊を想像してください。ルールは単純です。すべてのパーツを合計すると100%にならなければなりません。もし岩石が50%の石英であれば、残りのすべてを合わせても50%にしかなりません。これが「組成データ」と呼ばれるものです。

問題は、データが不完全な場合に発生します。特定の鉱物の測定に機械が失敗したか、あるいは化学物質が微弱すぎて目に見えず、数値が隠されてしまった場合です。過去において、科学者には2つの悪い選択肢がありました：

1. 捨てる： 一つのピースが欠けているという理由だけで、サンプル全体を削除する。これは多くの情報を無駄にします。
2. 偽造する： 欠落した数値を推測して埋め込み、その後に数学的な計算を行う。これは結果を欺き、グループ分けを誤らせる可能性があります。

この論文の著者たちは、第三の道を模索しました。それは、「シンプレックス（100%のルールを表す数学的な名称）」に留まり、欠落したピースを削除したり偽造したりすることなく、直接的に扱う手法です。

解決策：スマートな探偵アルゴリズム

著者たちは、期待値最大化（EM）アルゴリズムと呼ばれる有名な数学ツールの新しいバージョンを開発しました。このアルゴリズムは、乱雑な手がかりの山を異なるグループに分類しようとしている、非常に賢い探偵だと考えてください。

この新しい手法における探偵の仕組みは以下の通りです：

• セットアップ： 探偵は、岩石や空気のサンプルには異なる「タイプ（クラスター）」が存在することを知っていますが、どのサンプルがどのタイプに属するかはまだ分かりません。
• 推測（Eステップ）： 探偵は、欠落したピースがあるサンプルに遭遇しても、パニックに陥りません。判明しているピースを見て、「もしこのサンプルがグループAに属するとしたら、欠落しているピースはおそらくどうなっているだろうか？」と問いかけます。そして、そのグループのルールに基づいて、欠落した部分の確率を計算します。
• 更新（Mステップ）： その推測を用いて、探偵はグループAとグループBが実際にどのような姿をしているのかという理解を更新します。
• ループ： このプロセスを何度も繰り返します。ループを繰り返すごとに、推測はより正確になり、グループはより明確になっていきます。

魔法のような点は、これらがすべて同時に行われることです。アルゴлоリズムは、すべてが100%になるというルールを守りながら、欠落した値を特定すると同時に、サンプルをグループへと分類していくのです。

テスト：シミュレーションと現実世界の謎

自分たちの探偵が本当に優秀かどうかを確認するため、著者たちは2種類のテストを実施しました。

1. シミュレーション・ラボ（偽のデータ）
彼らは、真のグループを知っている状態で、意図的にデータの欠落（0%から90%の範囲）を作った1,000個の偽のデータセットを作成しました。

• 結果： データの90%が欠落している状態であっても、彼らの手法は驚くべき精度でサンプルを分類できました。
• 比較： 彼らは、不完全なサンプルを単に削除するという従来の方法と比較しました。データが欠落している場合、従来の方法は正しいグループ数を見つけることができませんでした。しかし、新しい手法は、データが非常に疎な状態であっても、正しいグループ数（このテストでは4つ）をはるかに高い頻度で見つけ出すことができました。
• センサリング： また、測定限界を下回って数値が見えなくなっている「センサリング（検閲）」されたデータについてもテストを行いました。新しい手法は、欠落データと同様にうまく対処できました。

2. 現実世界の謎
彼らは、自分たちの手法が実際の科学的なパズルを解けるかどうかを確認するため、2つの実データに適用しました。

• 謎 1：地球のマントル（ゼノリス）
  彼らは、地球の深部から採取された1,256個の岩石サンプルを分析しました。これらの岩石は、異なる場所から異なる道具を使って採取されたため、33%の測定値が欠落していました。

  • 発見： アルゴリズムは、岩石を4つの明確なグループに分類しました。これらのグループは、実際の地質学的タイプと完璧に一致していました。例えば、あるグループはマグネシウムとケイ素が豊富であり（ペリドタイト）、地球の地殻の古い安定した部分に由来しますが、別のグループは鉄やクロムが多く含まれていました。この手法は、乱れたサンプルを捨てることなく、これらの岩石タイプを特定することに成功しました。

• 謎 2：私たちが吸う空気（PM2.5）
  彼らは、米国の空気質システムから、微小粒子状物質（PM2.5）を追跡したデータを分析しました。このデータには、欠落した値と、化学物質が小さすぎて測定できない「センサリング」された値の両方が含まれていました。

  • 発見： アルゴリズムは、4つの明確な空気汚染のタイプを見つけ出しました。
    • グループ1： 硫酸塩や硝酸塩が多く含まれる冷たい空気（多くは産業排出によるもの）。
    • グループ 2： 炭素と硝酸塩の混合物。
    • グループ 3： 熱い空気で、汚染の大部分が「未知（残留成分）」であったもの。これは、光を吸収しにくい目に見えない粒子が存在することを示唆しています。
    • グループ 4： 有機炭素（煙や排気ガスなど）が支配的な暖かい空気。これは都市部でよく見られるものです。
  • 洞察： この手法は、暖かい天候において汚染の組成が変化すること、そして、センサーでは捉えきれないものが大量に含まれていることを示しました。これは、科学者にとって「何を空気中で探すべきか」という新たな手がかりを与えています。

なぜこれが重要なのか

この論文は、私たちは「悪いデータを捨てる」か「数値を偽造する」かの二択を迫られる必要はないということを示唆しています。ゲームのルール（100%の合計）を理解し、欠落したピースを扱うことができるモデルを構築することで、科学者は乱雑なデータからより明確な答えを得ることができます。

著者たちは、彼らの手法が、従来の「悪いデータを削除する」アプローチよりも、正しいグループ数を見つけ出し、サンプルを正しく分類することにおいて優れていることを明らかにしました。この論文は、あらゆる問題がこれで解決すると主張しているわけではありませんが、岩石や空気の質に関する問題において、この新しい探偵が強力なツールであることを示しています。それは、たとえ一部のピースが暗闇の中に隠れていたとしても、研究者が全体像を見渡すことを可能にするのです。