funOCLUST: Clustering Functional Data with Outliers

巨大なスパゲッティの箱を想像してみてください。しかし、これらはただの麺ではありません。これらは、一日の気温変化や交通量、あるいは植物の成長を表すような、うねうねとした、くねくねとした線です。データサイエンスの世界では、これらは**関数データ（functional data）**と呼ばれます。問題は？これらの線は無限次元（無限の点を持つ）であり、非常に乱雑だということです。時には、麺が変な折れ曲がり方をしたり、突然の嵐によって一団全体が狂ってしまったりして、「外れ値（アウトライヤー）」が生じ、パーティーを台無しにしてしまうことがあります。

ここに、funOCLUSTが登場します。これは、Katharine M. ClarkとPaul D. McNicholasによって提案された新しい手法です。funOCLUSTを、形に基づいてスパゲッティの麺を完璧な山に仕分けようとする、少し偏屈で非常に賢いシェフだと考えてください。ただし、その前に、不適切なもの、焦げたもの、あるいは壊れたピースを追い出さなければなりません。

大きなアイデア：うねうねをベクトルに変える

無限のスパゲッティを標準的な仕分け機に投げ込むことはできません。複雑すぎるからです。著者たちは巧妙なトリックを提案しています：曲線を「平坦化」することです。

彼らは**立方Bスプライン基底（cubic B-spline basis）**と呼ばれるものを使用しています。すべてのうねうねとした線を、無限の点としてではなく、特定の「組み立てブロック」を使ってその線をどのように構築するかを説明する、短い数字のリスト（係数）として記述することを想像してください。それは、複雑な絵画をシンプルなレシピカードに変換するようなものです。曲線がこれらの短い数字のリスト（ベクトル）に変換されると、問題ははるかに扱いやすくなります。

「外れ値」の捜索：対数尤度のゲーム

ここからが魔法の始まりです。著者たちは、通常のデータ用に設計された既存の手法であるOCLUSTを取り上げ、これらの新しい「レシピカード」用に適応させました。

このアルゴリズムは、「もしこれを外したらどうなるか？」というゲームを行います。

1. 全体の曲線のグループを見ます。
2. 「もし、この 特定の曲線を追い出したとしたら、残りのグループはより完璧で整然としたクラスターに見えるだろうか？」と問いかけます。
3. これは**部分集合対数尤度（subset log-likelihood）**を用いて測定されます。これは「整然度スコア」と考えてください。もし、ある曲線を取り除くことでスコアが大幅に上昇する場合、その曲線はおそらくトラブルメーカーです。
4. アルゴリズムは、「トラブルメーカー」が特定の数学的パターン（シフトおよびスケールされたベータ分布）に従っているかどうかを確認します。もし、その変な曲線がこのパターンに適合する場合、それらは正式に外れ値として追い出されます。

著者たちは、（数学的に）もし曲線が標準的なガウス混合モデルから生成されているならば、「整然度スコア」は通常の曲線を取り除いたときに予測可能な形で変化することを証明しました。もしスコアが変化しすぎているなら、その曲線は外れ値です。

論文が述べていること（および述べていないこと）

著者らは、シェフの腕をテストするために、100個のシミュレーション・データセットを実行しました。彼らは、以下の要素を混ぜ合わせながら、8つの異なるシナリオを作成しました。

• クラスター: 2つのグループがある場合もあれば、5つの場合もありました。
• 複雑さ: 単純な曲線（直線のようなもの）もあれば、激しい動き（凹凸があるもの）もありました。
• 希薄性: データが密集している（点が多い）場合もあれば、疎である（欠損点が多い）場合もありました。
• 外れ値: 2種類のトラブルメーカーを作成しました。一つは「シフト・スケール（全体が移動または拡大したもの）」、もう一つは「ヘビーテイル（ランダムで荒っぽいエラー）」です。

結果:

• ヘビーテイル・エラー: データに激しくランダムなエラー（ヘビーテイル）が含まれていた場合、funOCLUSTはfunHDDC、T-funHDDC、tkmeansといった競合手法を打ち破り、明確な勝利を収めました。
• シフト・スケール・エラー: 外れ値が通常の曲線と同じ形状の移動やスケール変更であった場合、tkmeans（トリムされたk-means法）が実際にはわずかに優れた成績を収めましたが、funOCLUSTも健闘しました。
• 実世界のテスト1（歩行者交通量）: 彼らはメルボルンの時間別歩行者交通量を用いてテストを行いました。アルゴリズムは、平日と週末／祝日をうまく分離できました。また、ニューイヤーデー、クリスマス、旧正月を含む22の「外れ値」の日を正しく特定しました。これらは、交通パターンの型が通常の平日や週末の型に適合しなかった日です。
• 実世界のテスト2（NOxデータ）: バルセロナの空気汚染（NOxレベル）データを用いてテストを行いました。この手法は、モデルの設定に応じて0.51から0.86の間の正解分類率（CCR）を達成しました。最適な設定（EEE共分散構造）は0.86に達し、他のトップレベルの手法と同等でした。

論文が除外していること

著者らは、自分たちの手法が「何ではないか」についても慎重に述べています。

• 彼らは、一部の手法が「部分空間」内でデータをクラスター化しようとする（特定の 방식으로 次元を削減する）一方で、funOCLUSTは関数ドメイン全体を保持し続けることを明示しています。彼らは、時にはスライス（切り出し）ではなく、全体像が必要であると主張しています。
• 彼らは、自分たちの手法が、係数（レシピカード）が多変量正規分布から生成されているという仮定に依存していることを指摘しています。もしデータが極端に歪んでいたり、これに適合しなかったりする場合、手法は苦戦する可能性があります（ただし、多くの実世界のケースに対しては十分に堅牢であると示唆しています）。
• 彼らは、これがすべての関数データに対する「解決済み問題」であるとは主張していません。実際、シミュレーションにおいて、複雑性が高く疎なデータを含む5つのクラスターがある場合、偽陰性率（外れ値を見逃す確率）は**51%**まで跳ね上がりました。彼らは、そのような特定の、非常に乱雑な条件下での外れ値検出は、本質的に困難であることを認めています。

結論

論文は、funOCLCASTが**堅牢な（ロバストな）**新しいツールであることを示唆しています。それはすべてを一瞬で解決する魔法の杖ではありませんが、データにノイズが多い場合やヘビーテイルのエラーがある場合には、非常に強力な候補となります。

著者らは、これがOCLUSTを関数データへと拡張した最初の拡張であると結論づけています。彼らは、これがステップの一つであると考えています。将来的には、歪んだデータを扱うように拡張したり、あるいは「レシピ」（基底分解）を、単なる最初のステップとしてではなく、クラスタリングアルゴリズムの内部で推定できるようにすることさえ可能であると考えています。

したがって、もし手元に乱雑で、うねうねとしたスパゲッティの箱があり、それらを分類しながら焦げたものを排除する必要があるなら、funOCLUSTは雇う価値のあるシェフです。ただし、もしスパゲッティがあまりにも奇妙すぎて、キッチンが暗すぎる場合は、完璧に機能することを期待しないでください！