あなたは、ハイテクな巨大な城のセキュリティ責任者だと想像してください。毎日、何千人もの人々が中に入ろうとしており、あなたの仕事は、正しい人だけを通すことです。あなたには、顔を認識できる魔法の鏡がありますが、それは完璧ではありません。時々、見知らぬ人が居住者に似ていると判断したり（誤検知／false match）、居住者が見知らぬ人に似ていると判断したりすることがあります（未検知／false non-match）。城の安全を守るために、あなたは非常に厳格なルールを設定しなければなりません。「鏡が、その人が所属しているとほぼ100%確信できた場合にのみ、通行を許可する」というルールです。これは「しきい値（スレッショルド）」と呼ばれるものです。もしハードルを低く設定しすぎると、なりすましが入ってきてしまいます。逆に高く設定しすぎると、友人たちが締め出されてしまいます。

ここで、城が開門する前に、鏡のテストを行いたいと考えているとしましょう。実際に人々が現れてミスをするのを待つことはできません。それはあまりにも危険だからです。そこで、あなたはコンピューターで生成された「偽の」人々をたくさん作り出し、鏡をテストすることにしました。これが「合成データ（synthetic data）」の世界です。AIによって作られたデジタルな顔であり、本物の顔のように見えますが、実在はしません。大きな疑問は、科学者たちがこう問いかけていることです。「これらの偽の顔は、セキュリティのバー（しきい値）をどこに設定すべきかを正確に教えてくれるほど、信頼できるのだろうか？」もし偽の顔が実在の人々と異なる動きをするならば、あなたのセキュリティシステムは災難への序曲となるかもしれません。この論文は、まさにその問題に切り込んでいます。特に、極めて精密さが求められる新しい欧州の国境管理システムに焦点を当てています。

---

失敗に終わったデジタル・ドレスリハーサル

この研究において、オウルの大学のアルト・アピラ（Arto Apila）は、国境警備員のテストパイロットの役割を演じることに決めました。目的は、国境管理システムのセキュリティ「しきい値」を設定するために、合成顔データ（コンピューター生成された顔）を使用することが、現実世界で通用するかどうかを確認することでした。これは、飛行シミュレーターのようなものです。パイロットはシミュレーターで訓練して操縦を学びますが、もしシミュレーターの物理演算がわずかに異なっていれば、実際の飛行機に乗ったときに墜落してしまうかもしれません。研究者たちはこう知りたかったのです。「『シミュレーター』（合成データ）は、『実際の飛行機』（実際の国境管理）のルールを設定するのに十分なほど優秀なのか？」

彼らは、EdgeFaceと呼ばれる特定のAIモデルを使用しました。これは、空港のゲートにあるような小型デバイスでも動作するように設計された、非常にスマートな顔検出器の軽量・高速版のようなものです。彼らは、2種類の異なる「偽の」顔（合成データセット）を使用してこのモデルをテストし、それらを「本物の」顔のセット（制御された環境および雑多な現実世界の条件下で撮影された写真）と比較しました。

物語の「裾（テール）」の部分

ここからが、この論文が明らかにするトリッキーな部分です。顔認識システムがスコアを算出する方法を見ると、それは一つのグラフのようになっています。ほとんどの人は中央付近のスコアを得ます（明らかに一致している、あるいは明らかに一致していない）。しかし、危険地帯はグラフの非常に端の部分、つまり「裾（テール）」にあります。こここそが、システムが混乱し、見知らぬ人を友人と間違えてしまう可能性がある場所なのです。

研究者たちは、合成データがグラフの中央部分では素晴らしく見える一方で、**裾（テール）**の部分については完全に間違っていることを発見しました。それは、パニック状態の群衆の行動を予測しようとして、穏やかなリハーサルの様子だけを見ているようなものです。偽の顔には、実在の人々が持つような「最悪のシナリオ」が存在しなかったのです。

研究者たちが、偽の顔から学んだルール（しきい値）を実在の人々に適用しようとしたとき、事態は暗転しました。

• 「厳しすぎる」問題： 時には、バーを高く設定しすぎてしまい、実在の旅行者を拒絶し始めてしまいました。あるテストでは、極めて厳格に設定しようとした際（エラー率0.001%を目指した際）、本来通すべき実在の人々の約**26%**を拒絶してしまったのです！
• 「緩すぎる」問題： 他のケースでは、システムは人を信じすぎていました。なりすましを、安全基準よりもはるかに高い割合で通してしまったのです。
• 「モーフ（合成）」攻撃： 研究者たちは、二つの顔を混ぜ合わせることで（「モルフ」攻撃）、潜り込もうとする試みについてもテストしました。彼らは、合成データから導き出された設定では、システムがこうしたトリックに対して非常に脆弱になることを発見しました。もし合成データに基づいてルールを設定すると、混ぜ合わされた顔がドアを通り抜けてしまうかもしれません。

結論：最終判断をシミュレーターだけに頼ってはならない

この論文の主な発見は、合成データだけに頼って素早く簡単に解決策を得たいと考えている人々にとって、少し残念な内容です。それは、高リスクな国境管理のようなシステムにおいて、合成データだけで最終的なセキュリティルールを設定することは信頼できない、ということを示唆しています。特に、極めて精密な精度（低い誤検知率）が必要な場合にはなおさらです。

著者らは、たとえ2種類の異なるタイプの偽のデータを使用したとしても、それらが異なる答えを出すことを発見しました。それは、二人の異なる気象予報家にハリケーンの予測を依頼するようなものです。一人は「傘を持って行って」と言い、もう一人は「防空壕を建てて」と言う。実際の嵐を見るまでは、どちらが正しいのか分からないのです。

この研究は、単に百万個の偽の顔を生成し、テストを実行し、その結果に基づいて国境セキュリティのルールを設定するという考えに対し、明確に反対しています。データの「不一致」は、裾の部分にあるため、適用されたときにルールが間違ってしまうからです。しかし、この論文は合成データが役に立たないと言っているわけではありません。むしろ、開発の初期段階や予備的なキャリブレーション（調整）には使用できるとし、最終的かつ決定的なしきい値の選択には、必ず実世界のデータで検証する必要があると主張しています。

代わりに何をすべきか？

では、合成データは無用なのでしょうか？決してそうではありません！論文は、合成データがシステムの構築における初期段階においては依然として優れたツールであることを示唆しています。AIを訓練したり、コードが機能するかを確認したり、大まかなチェックを行うために使用できます。しかし、最終的な、生死を分けるセキュリティのしきー値を設定する時には、必ず実世界のデータを使用しなければなりません。

これは、ケーキを焼くことに例えられます。レシピ本（合成データ）を使って、材料を混ぜ、テスト用のバッチを焼く練習をすることはできます。しかし、女王にケーキを出す前に、実際の材料で作った実際のケーキを味わわなければなりません。もし味見をせず、レシピ本だけを信じてしまったら、塩辛すぎたり甘すぎたりするものを出してしまうことになるでしょう。

研究者たちは、欧州の入出国システム（EES）のような、極めて高いセキュリティが求められるシステムにおいて、コンピューター生成された顔だけに頼ることは危険な賭けであると結論付けています。「偽の」顔は、現実世界の人間が持つ、予測不能で混沌とした現実を十分に捉えきれておらず、現実世界のためのルールを設定するには不十分なのです。境界を守るためには、システムのテストを、デジタル上の双子ではなく、実在の人々に対して行う必要があります。特に、最終的な決定を下す際には、それが不可欠なのです。