Reliable Hierarchical Operating System Fingerprinting via Conformal Prediction

あなたは、インターネット上で自分に話しかけてくるコンピュータがどのような種類のものかを突き止めようとしているデジタル探偵だと想像してください。それはWindowsのノートパソコンでしょうか、Androidのスマートフォンでしょうか、それともLinuxサーバーでしょうか？この探偵作業は「OSフィンガープリント（OS指紋識別）」と呼ばれます。通常、探偵はコンピュータがメッセージを送信する方法における、特定のユニークな癖（例えば、ハンドシェイクの開始方法やデータパケットの大きさなど）を探ります。しかし、問題があります。インターネットは混沌とした場所です。時には手がかりがぼやけていることもあり、標準的な探偵が自信満々に「これは間違いなくAndroidだ！」と叫んでも、実際にはiPhoneであることがあります。高レベルのセキュリティが必要な場面では、そのような自信に満ちた間違いは致命的になりかねません。

この問題を解決するために、科学者たちは「共形予測（Conformal Prediction）」という数学的ツールを使用します。これは、単一の答えを出す「水晶玉」ではなく、「セーフティネット」と考えてください。単に「それはXである」と言うのではなく、「それはほぼ確実にX、Y、またはZのいずれかである」と言います。これにより、もしあなたが95%のケースを捉えるようにセーフティネットを設定すれば、データがいかに奇妙であっても、実際に95%の確率で捉えられるという保証が得られます。しかし、一つ問題があります。オペレーティングシステム（OS）は単なる名前のフラットなリストではなく、「家系図」のようなものだからです。Windowsは「祖父母」であり、Windows 10は「親」、そしてWindows 10 22H2は「子供」です。もしあなたのセーフティネットが「それはMacである」と言いつつ、同時に「それはWindows 10でもある」と言ったら、それは論理的な混乱を招きます。この論文は、この家系図を尊重するセーフティネットをどのように構築するかを探求しています。つまり、もしあなたが「子供」を推測したなら、正しい「親」も一緒に推測するようにすることです。

家系図の問題

ネットワークセキュリティの世界において、OSを特定することは、足音の音だけで群衆の中から人物を特定しようとするようなものです。あなたは重いブーツの音（Windows）、軽いスニーカーの音（Linux）、あるいは特定のブランドのランニングシューズの音（Android）を聞き取っているかもしれません。伝統的に、セキュリティシステムは、ある人物を指さして「それが容疑者だ！」と断定する、一本気な探偵のように振る舞います。しかし、もしその探偵が間違っていたら、セキュリティ計画全体が失敗してしまいます。

この論文の著者たちは、OSには「Windows」や「Linux」といった大きな家族、その下に「Windows 10」や「Ubuntu 20.04」といった主要なバージョン、そして一番下には「Windows 10 22H2」のような具体的なマイナーバージョンがあるという、自然な階層構造があることに気づきました。問題は、標準的な「セーフティネット」の手法（共形予測）は、通常、すべてのOSをリスト上の無関係で独立した項目として扱うことです。もし予測を求めると、彼らは「Windows 10」と「Android 11」を含むリストを提示しながら、「Windows」ファミリーを忘れてしまったり、さらに悪い場合には、「家族はAndroidだが、特定のバージョンはWindows 10である」と言ったりすることがあります。これは、「この動物は犬だが、同時に猫でもある」と言っているようなもので、意味をなしません。

セーフティネットを構築する2つの方法

研究者たちは、この論理的な混乱を修正するために、ある大学の10万件以上の実際のネットワークトラフィック記録のデータセットを使用して、2つの異なる戦略をテストしました。彼らは、どちらの方法が、曖昧になりすぎることなく、論理的な可能性のリストを提供できるかを確認したいと考えました。

戦略1：独立した推測者（レベル別CP）
同じ事件に取り組んでいる3人の異なる探偵がいると想像してください。一人の探偵は家族の名前だけを見て、もう一人は主要なバージョンだけを見、三人目はマイナーバージョンだけを見ます。彼らは互いに話をしません。

• 仕組み: 各探偵が独自にセーフティネットを構築します。
• 結果: この方法は非常に鋭いです。非常に小さく具体的なリストを提供します。もし家族の探偵が「Windows」であると確信していれば、リストは極めて小さくなります。
• 欠点: 彼らは互いに話をしないため、時に矛盾が生じます。家族の探偵が「それはLinuxだ」と言っている一方で、マイナーバージョンの探偵が「それはWindows 10だ」と言うことがあります。テストでは、これは約30%から40%の「階層的不一致率（HIR）」を生み出しました。効率的ではありますが、論理的に壊れています。

戦略2：上方投影（投影ベースCP）
次に、最も細かい詳細（マイナーバージョン）を見て、そこから家系図を上に遡っていく一人の探偵を想像してください。

• 仕組み: 探偵は特定の「葉」（例：「Windows 10 22H2」）を見つけ、次に「よし、これがこれであるならば、それは必然的に『Windows 10』であり、『Windows』でもあるはずだ」と考えます。答えを上に投影して、空白を埋めていきます。
• 結果: この方法は完全に論理的です。「階層的不一致率」は正確にゼロになります。「家族はWindowsだが、子供はAndroidである」といったことは決して起こりません。
• 欠点: これは少し慎重な方法です。特定の推測のあらゆる親を含める必要があるため、上位レベル（家族レベル）のリストは大きくなります。もし探偵が特定のバージョンについて確信が持てない場合、家系図全体がセーフティネットに含まれることになり、上位レベルでの精度が低下します。

大きなトレードオフ

この論文の主な発見は、**「効率的であること（小さく精密なリスト）」と「一貫性があること（論理的に完璧なリスト）」**の間の根本的なトレードオフです。

• 人間が結果を読む必要がある場合: 「独立した推測者（レベル別CP）」の方が優れています。人間のアナリストは、「家族：Windows、バージョン：Android 11」というリストを見て、「ああ、マシンはバージョンについて混乱しているが、間違いなくWindowsだ」と気づくことができます。彼らは頭を使って間違いを修正できるのです。
• コンピュータが意思決定を行う必要がある場合: 「上方投影（投影ベースCP）」が勝者です。自動化されたシステムは矛盾を処理できません。もしコンピュータに「Androidをブロックせよ」と命じられ、かつリストが「家族：Windows」と言っていたら、コンピュータは行き詰まってしまいます。投影法は、たとえリストが少し長くなったとしても、常に意味の通るリストを提供することを保証します。

彼らが発見したこと

研究者たちは、確実を期すためにテストを50回実施しました。両方の方法が、設定されたターゲットに対して少なくとも95%の確率で正解を捉えたことを発見し、セーフティネットが機能することを証明しました。しかし、「独立型」の方法は家族レベルでリストが約10〜20%小さかったものの、論理的には乱れていました。「投影型」の方法は、完璧に論理的なリストを作成しましたが、あらゆる可能性を考慮しなければならないため、家族レベルのリストはやや大きくなりました。

結局のところ、論文は「唯一の最善の方法」は存在しないことを示唆しています。それは、誰がその答えを使うかによります。もし人間がフォレンジック調査を行っているのであれば、乱雑だが精密な方法でも構いません。しかし、もしロボットがネットワークへのアクセスを遮断するのであれば、愚かな間違いを避けるために、完璧に論理的で、かつ少し長めのリストが必要なのです。著者たちは、他の人々が自身のネットワークでこれらの方法を試せるよう、コードとデータを公開しており、私たちが何を扱っているのかを正確に把握できる、より安全なインターネット作りに貢献しています。