LoRA-based Adaptation Alone Is Not Enough: Understanding the Limits of Foundation Models for Face Presentation Attack Detection

ロボットに偽造IDカードを見分ける方法を教えようとしている場面を想像してみてください。あなたは、実在する人物の写真を1,000枚と、印刷された写真やスマートフォンのビデオで顔を提示している人の写真を1,000枚見せます。ロボットはその特定の部屋、その特定の照明、その特定のカメラの下では、偽物を識別するのが非常に上手くなります。しかし、そのロボットを別の部屋に連れて行ったり、照明を変えたり、カメラを交換したりした途端、ロボットはすべてを忘れてしまい、ランダムに推測し始めます。これは「顔プレゼンテーション攻撃検知（Face Presentation Attack Detection: PAD）」のもどかしい現実です。これは、写真、マスク、あるいは再生されたビデオによるトリックから顔認識システムを守るために捧げられた、コンピュータビジョンの分野の一つです。大きな夢は、カメラや照明に関係なく、どこでも機能する検知器を構築することです。最近、科学者たちは、数十億のインターネット上の画像とテキストで訓練された巨大で超スマートなAIの脳である「基盤モデル（Foundation Models）」を使って、この問題を解決しようとしています。その期待は、これらの巨大な脳がすでに世界の多くのことを知っているため、わずかな追加訓練だけで偽物を見分けることを容易に学習できるのではないか、というものでした。

この論文は、その期待を大規模な実験によって検証しています。研究者たちは、32種類のこれら巨大なAIの脳（有名なCLIPなどを含む）を取り上げ、「LoRA」と呼ばれる巧妙で軽量なテクニックを使って、顔の偽物を識別するように教えようとしました。LoRAを、巨大な犬に小さな調整可能なトレーニングカラー（首輪）をつけることだと考えてください。犬全体を再訓練するのではなく、新しい芸を習得させるために、その脳のわずか1%未満という極めて小さな部分を微調整するのです。結果は、驚くべき成功と、厳しい現実チェックが混ざり合ったものでした。AIが訓練したのと同じデータでテストされたとき、それはスーパースターとなり、完璧に近い精度（エラー率2%未満）で偽物を識別しました。しかし、研究者がAIを、見たことがない新しい環境でテストしたとき、そのパフォーマンスは崩壊しました。エラー率は20%から43%の間へと跳ね上がり、これはコイン投げで決めるのとほとんど変わりません。論文は、LoRAが特定の仕事のためにモデルを磨き上げるには優れているものの、あらゆる世界でAIを機能させるという、より深い問題を解決するには不十分であると結論付けています。「脳」の大きさよりも、モデルの「種類」が重要であり、モデルが訓練された「データ」はさらに重要なのです。

スマートなロボットと、ずる賢い偽物の物語

冒険の世界に飛び込みましょう。科学者たちはまず、シンプルな問いを投げかけました。「わずかな追加訓練（LoRA）は、これらの巨大なAIの脳が、どこでも顔の偽物を識別できるほど頑健（ロバスト）になるのに十分だろうか？」

これを確かめるために、彼らは大規模なトーナメントを設定しました。彼らは32種類の異なる「ビジョン・エンコーダー（Vision Encoders）」を集めました。これらはAIの「目」であり、実際に画像を見る部分です。これらの目のいくつかは画像のみで訓練されたモデルから来ており、他のものは、画像とテキストを同時に理解できる巨大な「視覚言語モデル（VLM）」から引き抜かれた「ビジョン・タワー」でした。彼らはまた、これら9つの巨大なVLMを「ゼロショット（zero-shot）」モードでテストしました。ゼロショットとは、学生にその主題を事前に勉強させることなくテストを渡すようなものです。ただ、「これは本物の顔か、それとも偽物か？」と問いかけ、その答えを見るだけです。

ゼロショットの驚き
まず、彼らはゼロショットのアプローチを試しました。彼らは、教師が質問をするように、単純なプロンプトを使って巨大なVLMに偽物を識別させました。結果はどうだったでしょうか？ AIは完全に迷走していました。精度は約50%であり、これはコインを投げて「表か裏か」を予想するのと同じでした。数十億のパラメータを持つ最もスマートで高価なモデルでさえ、特定の訓練なしには問題を解くことができませんでした。これは、単にスマートな脳を持っているだけでは不十分であり、その脳が偽物を識別するという仕事のために特別に調整される必要があることを示していました。

LoRAのマジック（とその限界）
次に、彼らはLoRA法を試しました。彼らはこれら32のモデルの凍結された「目」を取り出し、そこにあの小さな調整可能なトレーニングカラーを追加しました。彼らはこれらを4つの異なるデータセット（異なるカメラや照明で撮影された顔写真のコレクション）で訓練しました。

• 良いニュース： AIを学習したのと同じデータセットでテストしたとき、それは驚異的でした。ほとんどのモデルはエラー率を2%未満に下げました。CLIP ViT-B/32のようなモデルに至っては、0.3%まで低下しました。まるで、AIが突如として、その特定の部屋における名探偵になったかのようでした。
• 悪いニュース： AIを別のデータセット（別の部屋、別のカメラ）に移すと、魔法は消えてしまいました。エラー率は19.8%から42.6%の間へと急上昇しました。

研究者たちは、LoRAが非常に優れた「仕立て屋」として機能していることに気づきました。それは、ボタンを少し調整することで、一人の人物（一つのデータセット）に完璧にフィットするスーツを作ることができます。しかし、ボタンを調整するだけで、全く異なる人物（別のデータセット）にそのスーツをフィットさせることはできません。スーツの形は、依然として最初の人物に合わせて作られているのです。

サイズは重要ではない（多くの場合）
AIにおける一般的な信念は、「大きいことは良いことだ」というものです。研究者たちは、小さなモデルと巨大なモデルを比較することでこれをテストしました。彼らは、わずか0.09億のパラメータしか持たないCLIP ViT-B/32という比較的小さなモデルが、80億以上のパラメータを持ついくつかの巨大なモデルよりも優れた性能を発揮することを発見しました。実際、この小さなCLIPモデルは、異なるデータセット間を横断して偽物を識別することにおいて最も優れたものの一つでしたが、一方で、5.54億のパラメータを持つInternViT-6Bという巨大なモデルは、データセット間のギャップを埋める能力が最も低いものの一つでした。

これは、モデルが元々受けていた訓練の「種類」が、モデルの大きさよりもはるかに重要であることを示唆しています。「対照学習（contrastive methods）」（画像とそのテキスト記述を一致させる学習）や「自己蒸留（self-distillation）」（自分自身と一貫性を持たせる学習）を用いて訓練されたモデルは、画像の欠損部分を埋めるためだけに訓練されたモデルよりも優れた結果を出しました。

「データのダイエット」が重要
チームはまた、モデルが元の訓練中にどれだけのデータを「食べた」かについても調査しました。彼らは、モデルが良好な結果を得るためには「ウェブスケール（web-scale）」の食事（インターネット上の数十億の画像）を食べることが必要であるが、それ以上に食べてもあまり効果がないことを発見しました。一度モデルがインターネットのすべてを飲み込んでしまえば、それ以上データを追加しても、新しい場所での偽物検知において向上することはありませんでした。それは、図書館にあるすべての本を読んだ学生のようなものです。数冊の本をさらに読んだところで、突然特定の新しい主題における天才になることはありません。

隠された手がかり：「部屋」か「顔」か
最も興味深い発見は、AIがどのように画像を「見て」いるかを分析した際に得られました。研究者たちは、AIの内部的な思考を可視化するためにt-SNEという手法を用いました。彼らは、LoRA訓練の後であっても、AIは「何であるか（本物か偽物か）」ではなく、「どこで撮られたか（データセット）」に基づいて画像をグループ化していることを発見しました。

あなたが、写真の山を「実在の人物」と「偽の人物」に分類しようとしていると想像してください。しかし、AIはそれらを「ラボで撮られた写真」と「街頭で撮られた写真」に分類し続けています。LoRA訓練は、AIが「ラボ」の写真を完璧に分類するのを助けましたが、AIが「街頭」の写真を見たとき、AIは混乱しました。なぜなら、AIは依然として「ラボ」特有の手がかりを探していたからです。AIは「偽の顔」という普遍的な概念を学んだのではなく、単に訓練された部屋の特定の照明やカメラの癖を認識することを学んだに過ぎなかったのです。

結論
論文は、LoRAによる適応だけでは、クロスデータセットの顔検知の問題を解決するには不十分であると結論付けています。LoRAは、訓練された環境においては驚異的な精度を実現しますが、新しいカメラ、新しい照明、あるいは新しい攻撃手法に対処するための頑健性を持たせることはできません。著者らが発明した新しい指標である「汎用性スコア（generalization score）」（二つのシナリオの両方でモデルがどれほどうまく機能するかを測定するもの）は、最高のモデルであっても、依然としてそのギャップを埋めるのに苦労していることを示しました。

著者らは、問題はモデルのサイズやLoRAという巧妙なテクニックにあるのではないと考えています。問題は、モデルが依然として訓練されたデータの特定の「風味」に依存しすぎていることです。これを真に解決するためには、モデルを根本から訓練する方法を変える必要があるかもしれません。例えば、AIに「部屋」を無視して「顔」だけに集中するように教えたり、あるいはAIに普遍的なルールを学ぶよう強制する異なる訓練戦略を用いたりすることです。

要するに、私たちは、自分の管轄内では優秀だが、一歩外に出ると道に迷ってしまうAI探偵を作ってしまったのです。小さなLoRAの首輪は、彼らの歩き方を少し良くしてくれますが、世界全体の地図を与えることはできないのです。