A Large-scale Evaluation of Text-guided Models for Facial Editing

たった一文をコンピュータに入力するだけで、人物の髪の色を変えたり、メガネをかけさせたり、あるいは地平線の方を向くように顔の向きを変えたりできるデジタルアーティストを想像してみてください。これは、テキストによる画像編集（text-guided image editing）が約束する世界です。これは、人工知能が人間の言語を理解し、その指示を写真に適用することを学習する、急速に成長している分野です。長年、研究者たちはこうした芸当ができるシステムを構築してきましたが、ある特定の課題にしばしば直面してきました。それは、写真の中の人物が本人らしく見える状態を維持しながら、要求された変更を加えるという課題です。古い手法では、顔を大きく変えすぎて誰だか分からなくしてしまうか、あるいは、頭の角度を変えるといった非常に限定的な調整しかできないかのどちらかでした。現在、複雑でリアルな編集をテキストのプロンプトに基づいて行う能力を謳う、新しい世代のツールが登場しています。しかし、これらのツールが強力になるにつれ、ある重要な疑問が残ります。これらはすべての人に対して平等に機能しているのでしょうか、それとも、異なるグループの人々を不公平に扱う隠れた欠陥を持っているのでしょうか。

ある研究チームは、最も人気のある6つのテキスト誘導型編集モデルをテストすることで、この問いに答えるべく乗り出しました。彼らはコンピュータにいくつかのランダムな変更をさせただけではありません。約100万件の画像編集を含む、大規模かつ体系的な評価を実施しました。その目的は、これらのモデルが、例えば「髪の色を変える」「帽子をかぶせる」「帽子を変更する」「そして頭の向きを変える」といった、4つの異なる指示を連続してどれほど上手く処理できるかを確認することでした。これを行うために、研究者たちは髪、アクセサリー、および頭の位置に焦ついた、169の具体的な編集タスクからなる広範な新しいライブラリを作成しました。彼らは、男女、若年層と高齢者、そして明るい肌の色と暗い肌の色が混在する多様なセレブリティの写真を用いた2つの大規模なコレクションを用いて、モデルをテストしました。

結果は、これらのテクノロジーが現在どのような状況にあるのかを明確に示しました。モデルは、髪やアクセサリーの変更を扱うことに関しては、かなり高い能力を発揮しました。ヘアスタイルを変更したり、サングラスをかけさせたりするよう求められた際、ほとんどのシステムは、人物の顔の識別性を保ちながら、指示に成功裏に従いました。しかし、同じモデルであっても、人物のポーズ（例えば、左や右を向かせるなど）を変更するよう求められると、著しく苦戦しました。このようなケースでは、システムは指示に従えなかったり、人物を判別不能にするほど顔を変えてしまったりすることが頻繁にありました。

おそらくより懸念すべきは、すべてのモデルが「オーバーエディット（過剰編集）」をする傾向があるという発見でした。これは、特定の指示が与えられた際、コンピュータが求められていない部分まで変更してしまうことを意味します。例えば、ユーザーが人物のヘアスタイルをボブカットに変更するようモデルに指示したとき、モデルはユーザーが色の変更を求めていないにもかかわらず、髪の色を茶色に変えてしまうことがあります。研究者たちは、これが頻繁に起こっており、モデルが100回の指示につき約25回の余計な、望まない変更を行っていることを発見しました。これらのエラーはランダムなものではありませんでした。これらは多くの場合、特定のヘアスタイルには常に特定の髪の色が伴うといった、モデルが誤った関連性を学習していることに起因していました。

この研究はまた、これらのモデルが異なる人々をどのように扱うかにおける重大なバイアスをも明らかにしました。オーバーエディットは、すべての顔に対して均等に発生していたわけではありません。モデルは、男性、特に肌の色の濃い男性の顔を編集する際、および高齢者の顔を編集する際に、より多くの望まない変更を行う傾向がありました。例えば、肌の色の濃い男性の髪を編集するよう求められた際、システムは、肌の色の明るい女性を編集する場合と比較して、髭を追加したり肌のトーンを変えたりといった他の特徴を誤って変更する可能性がはるかに高かったのです。同様に、モデルは高齢者の顔のアイデンティティを保持することにも苦戦しており、若い人よりも顔を若返らせたり、特徴をより劇的に変えてしまったりすることがよくありました。

これらの知見は、テキスト誘導型の編集ツールが実用レベルに達しつつある一方で、まだ完璧ではないことを示唆しています。それらは帽子の追加や髪色の変更といった単純なタスクには適していますが、より複雑な動きには依然として苦戦しており、特定のグループに対して不公平または不正確な結果をもたらす隠れたバイアスを抱えています。研究者たちは、将来の研究が、これらのオーバーエディットの習慣を修正し、年齢、性別、肌のトーンに関わらず、あらゆる顔に対してテクノロジーが同等の精度と敬意を持って扱われるようにすることに焦点を当てなければならないと強調しています。これらの問題が解決されるまでは、ユーザーは、これらのデジタルアーティストはまだ学習過程にあり、時には求められた以上の変更を行ってしまう可能性があることを認識しておくべきです。