Doubly robust nearest neighbors in factor models

現代の膨大なデータの世界において、情報は決して完全なものではありません。数ヶ月にわたる患者の健康状態の追跡であれ、顧客が次に何を購入するかという予測であれ、あるいは異なる地域における製品のパフォーマンスの把握であれ、研究者たちはしばしば、かなりの空白を抱えた数値の行列に直面します。センサーの故障、ユーザーによる調査のスキップ、あるいは治療が適用されなかったことなどにより、いくつかの項目は欠落しています。課題は、これらの空白を、信頼できる意思決定を行うのに十分な精度で埋めることです。これを行うために、統計学者は、世界は隠れたパターンによって支配されているという考え方に依存することがよくあります。彼らは、私たちが目にしているデータは、ユーザーの一般的な好みや特定の時刻といった、データ全体に繰り返されるいくつかの潜在的な力によって形作られていると仮定します。もしこれらの隠れたパターンを見つけることができれば、欠落している数値が本来あるべき姿を推測できるのです。

数十年もの間、こうした推測を行うための一般的な方法は、「近傍（隣人）」を探すことでした。特定のユーザーが製品をどう思うかを知りたい場合、そのユーザーに非常に似ている他のユーザーを見つけ、その「近傍」が何を好んだかを確認します。これが「最近傍法（nearest neighbors）」の論理です。しかし、この手法には致命的な欠陥があります。それは、適切な近傍を実際に「見つけることができる」場合にのみ機能するという点です。もし対象となるユーザーが独特であったり、あるいはその時期が異例なものであったりする場合、似たような存在をコピーすることができないため、この手法は失敗します。ラズ・ディヴィディ（Raaz Dwivedi）とその同僚たちによる新しい研究は、二種類の異なる近傍探索を組み合わせるよりスマートな方法を構築することで、この脆弱性に対処しています。単一のタイプの類似性に頼るのではなく、彼らの新しい手法である「二重に頑健な最近傍法（Doubly Robust Nearest Neighbors）」は、似たユーザーが存在するか、あるいは似た時刻が存在するかの「いずれか」が利用可能である限り、成功します。もし両方が存在すれば、この手法はさらに精密になり、以前は到達不可能だったレベルの精度を提供します。

研究者たちは、観測された点の散在した集合から完全なグリッドを再構成することを目的とする、「行列補完（matrix completion）」として知られる特定の数学的パズルに取り組んでいました。彼らは、データが「ユニット（単位）」（人や製品など）を表す一組の要因と、「時間」（日や時間など）を表すもう一組の要因を混合した隠れた関数によって生成されるシナリオに焦点を当てました。この設定では、任意の交差点における値は、ユニットの隠れた特性と時間の隠れた特性がどのように相互作用するかによって決定されます。標準的なアプローチには、二つの異なる戦略が含まれます。第一の「ユニット最近傍法」は、ターゲットとなる行と似ているデータの他の行を探します。第二の「時間最近傍法」は、ターゲットとなる列と似ているデータの他の列を探します。どちらの戦略も、データが似たパターンで密に詰まっている場合にはうまく機能しますが、データが疎である場合や、ターゲットが外れ値である場合には苦戦します。

チームは、これら二つの戦略は互いに排他的なものではなく、互いの弱点を補い合うために組み合わせることができるということに気づきました。彼らは、二つの質問を同時に投げかける効果的な新しい推定量を開発しました。「私は似たユーザーを持っているか？」そして「私は似た時間を持っているか？」。もしどちらかの質問への答えが「イエス」であれば、新しい手法は信頼できる推定値を生成します。これが彼らの言う「二重に頑然（robust）」という意味です。一方の戦略が機能しなくても、もう一方が機能していれば、この手法は頑健です。研究者たちは、もし両方の戦略が優れた近傍を見つけた場合、新しい手法は単にそれらの結果を平均するのではなく、それらの強みを「掛け合わせる」ことを数学的に証明しました。これにより、誤差率が劇的に改善され、どちらの手法も単独では達成できなかったレベルの精度を実現します。技術的な観言では、この改善は誤差の「ほぼ二次的な減少」を意味し、つまり、わずかな追加データで推定が非常に鋭くなることを意味します。

理論を検証するために、研究者たちは、単純な線形関係とより複雑な非線形関係の両方を含む実世界のシナリオを模した合成データを用いて、広範なシミュレーションを実施しました。彼らは、新しい手法を、従来のユニット最近傍法、時間最近傍法、およびその他の標準的な行列補完アルゴリズムと比較しました。結果は明白でした。新しい手法は一貫して他の手法を凌駕しました。データが単純な線形ルールによって生成されたケースでは、新しい手法はデータセットのサイズに応じて増大する係数で誤差を減少させ、古い手法の性能をはるかに上回りました。要因間の関係が非線形であるより複雑なシナリオにおいても、この新しいアプローチは大きな優位性を維持し、しばしば従来の最良の手法に匹敵するか、あるいはそれを上回り、かつ最悪のケースでの失敗を回避しました。

チームはまた、この手法を「HeartSteps」と呼ばれるモバイルヘルス臨床試験の現実世界のデータセットに適用しました。この研究では、参加者は活動量計を装着し、身体活動を促すための通知をランダムに受け取りました。目標は、特定の条件下で通知を受け取った場合、あるいは受け取らなかった場合に、その参加者が1時間に何歩歩くかを推定することでした。通知がランダムに送信されたため、データは自然に疎（スパース）な状態にありました。研究者がこの新しい「二重に頑健な最近傍法」を用いてこれらの空白を埋めたところ、標準的な手法によって生成されたものよりも正確な推定値が得られました。誤差の分布はよりタイトであり、つまり、推測値が真の値に一貫して近いものでした。これは、この手法が理論やコンピュータ生成の数値だけでなく、欠落した情報が常態であるような、乱雑で現実世界のデータにおいても機能することを証明しました。

この研究からの重要な洞察は、データの処理方法に関わるトレードオフでした。数学的な保証を証明するために、研究者たちは当初、特定の種類の統計的バイアスを避けるために、データを別々のチャンク（塊）に分割しました。しかし、実際の実験においては、データを分割せずに全データを使用する方がより良い結果をもたらすことが分かりました。データの分割は理論的な証明には役立ちましたが、近傍を見つけるための利用可能な情報を減少させ、推定値のノイズを増加させてしまいました。実用においては、より多くのデータを用いて類似性を見出すことのメリットが、理論的なバイアスのリスクを上回ったため、現実世界のアプリケーションでは、利用可能なすべての情報を使用することが優れた選択となることが多いことが示唆されました。

この研究の意義は、単に欠落した数値を埋めることにとどまりません。データが疎であったり、不均質であったりする場合でも、信頼できる推定を行う能力は、個別化医療やターゲット広告といった分野において極めて重要です。これらの分野における意思決定は、しばしば個別の、あるいは未経験の状況に直面している個人に対して行われます。もし手法が完璧な一致を見つけられないという理由で失敗すれば、その結果は不適切な推奨や効果のない治療につながります。一つのタイプの類似性が欠けていても推定プロセスが頑健であり続けることを保証することで、この新しいアプローチは意思決定に対するセーフティネットを提供します。これにより、システムはデータが完璧に構造化されていないことを理由に失敗するのではなく、利用可能なデータから学習することができるようになるのです。

研究者たちはまた、彼らのアプローチが、ユニット、時間、そして第三の要因（特定の介入や場所など）を含む三次元テンソルといった、より複雑なデータ構造にも拡張可能であることも指摘しました。複数のソースの類似性を組み合わせて頑健な推定値を作成するという論理は、そこにも適用でき、潜在的に「三重に頑健な（triply robust）」手法へとつながります。これは、単一の完璧な一致を見つけることから、複数の不完全な情報のソースをインテリジェントに組み合わせる方向へと、統計的推論の焦点がシフトしていくという、より広い進むべき道を示唆しています。彼らの研究は、単純で直感的なアイデアである「近傍を見つける」という概念を再考することで、その部分の総和よりもはるかに弾力性と正確性に優れたツールを構築できることを示す実証となっています。

結局のところ、この論文は、不完全な情報という共通の問題に対する実用的な解決策を提示しています。それは、良い推測をするために完璧なデータや完璧な一致を待つ必要はないということを示しています。異なる種類の類似性が存在することを認め、それらを共に活用することを学ぶことで、不確実性に直面してもより信頼できるモデルを構築できるのです。この手法は、その論理は単純ですが実行においては強力であり、大規模で複雑なデータによって駆動される世界において、欠落したデータを扱うための新しい標準を提供しています。