AI assistance and error communication in deepfake evidence evaluation: A systematic review of human authenticity judgments

現代の世界において、ビデオ録画はしばしば、変えることのできない真実の記録として扱われる。カメラが誰かの発言を捉えた場合、その人はその瞬間にそこにいて、その言葉を発していたのだという前提がある。この信念は、犯罪捜査や法的判断の根幹を成している。しかし、「ディープフェイク生成」と呼ばれる新しい技術が、この確信を揺るがしている。これらのシステムは、人物の顔や声を、実際には起こっていない出来事であるかのように、極めて説得力のある形で置き換えたり変更したりすることができる。捜査官にとっての問題は、単にこれらを見破ることではなく、それらを検知すると主張するコンピュータツールをどのように活用すべきかを判断することである。人間の裁判官や警察官が、ビデオと共に「これは偽物である」というコンピュータの意見を見せられたとき、その助言はどうやって彼らの考えを変えるのだろうか。コンピュータは彼らが真実を見出す助けとなるのか、それとも、彼らが一人では犯さなかったであろう間違いを犯すよう仕向けるのだろうか。

この問いは、研究者ハリアント・ジャンギハによる最近の系統的レビューの焦点となっている。この研究は、新しいコンピュータプログラムをテストしたり、単一の実験を行ったりしたものではない。代わりに、ビデオや画像が本物かどうかを判断する際に、人間が人工知能からの助けを受けたときにどのように反応するかを具体的に調査した既存の7つの研究を収集し、分析したものである。研究者は、この支援が人間の判断の正確性を向上させるのか、助言の提示方法がどのように重要なのか、そしてこれらの知見が法廷の場で信頼できるものかどうかを知りたかった。レビューの結果、答えは単純な「イエス」や「ノー」ではないことが判明した。AIの価値は、その助言が正しいかどうか、そしてそれがどのように人間に示されるかに完全に依存している。

このレビューでは、人々がビデオを見たり顔を見たりして、それが本物か操作されたものかを判断する実験を検証した。ケースによっては、参加者は最終決定を下す前に、コンピュータモデルによる予測を与えられた。またあるケースでは、コンピュータが偽物の隠れ場所と考えている領域を強調した視覚的な手がかりを見せられたり、コンピュータが通常どの程度信頼できるかについて説明を受けたりした。結果は、コンピュータが正しい助言を行った場合、それが人々の正解率を高めることが多いことを示した。例えば、ビデオクリップを用いたある研究では、コンピュータの予測を示すことで、正しい識別率が66パーセントから73パーセントに上昇した。しかし、この研究は危険な副作用も明らかにしている。コンピュータが誤った助言を与えたとき、人々はたとえそれが誤った結論を導いたとしても、その助言に従う傾向があった。支援は人々を賢くしただけでなく、ツール自体に欠陥がある場合に、特定の誤りを犯す可能性も高めたのである。

情報の提示方法も、情報そのものと同じくらい重要であった。ある研究では、単純なテキストラベルと、ディープフェイクの作成によって残される微細で不自然なアーティファクト（痕跡）を増幅させた視覚的表示を比較した。視覚的表示は、人々が判断に対してより自信を持つようになり、コンピュータの評価を受け入れやすくさせた。しかし、この自信が必ずしも正解を意味するわけではなかった。別の実験では、研究者が参加者に対し、コンピュータは非常に正確であると伝えたが、実際のコンピュータの性能はその主張と一致していなかった。参加者は、基礎となるテクノロジーが同じであっても、コンピュータがより優れていると言われると、そのコンピュータをより信頼した。このことは、エラー率がどのように伝えられるかが、ツールが実際に約束通りに機能しているかに関わらず、人がツールにどの程度依存するかを変え得ることを示唆している。

レビューは、助言の出所が重要であるかどうかも調査した。ある実験では、参加者は全く同じガイダンスを受け取ったが、それが人工知能からのものとしてラベル付けされることもあれば、人間からのものとしてラベル付けされることもあった。参加者が誰から助言を受けていると考えているかに基づいて、最終的な判断の正確さが変わることはなかった。この発見は、人々が機械を人間よりも自動的に信頼したり、あるいはコンピュータに対して自然に疑念を抱いたりするという考えに異を唱えるものである。むしろ、助言の質と基礎となるデータの正確さこそが、成功や失敗の真の要因であった。研究者らは、これらの研究の多くにおいて、参加者に与えられた助言は完璧またはシミュレーションされたものであり、現実世界の検知器がミスをした場合に何が起こるかを完全にはテストしていないと指摘している。

この研究の決定的な限界は、含まれた研究のどれもが、実際の刑事裁判でこれらのツールがどのように機能するかをテストしていないことである。実験が行われたのは、研究所やオンラインで素早い判断を下す一般の人々であり、被告人の運命を決定する裁判官や弁護士ではない。レビューによれば、これらのツールを使用することが、実際の法的ケースにおいてより正確な判決につながるという証拠は見つからなかった。また、これらの研究は、人々が偽のビデオを作成した人物を正しく特定できるかどうか、あるいはビデオ内の人物が実際に犯罪を犯したかどうかを測定することもできなかった。研究は、ビデオが本物か偽物かという、より狭い問いのみを扱った。このギャップは重要である。なぜなら、ビデオは技術的には真正であっても、誤解を招くストーリーを伝えるために使用されることがあり、あるいは偽のビデオが無害な目的で使用されることもあるからである。

著者は、この分野における人間とAIの関係は複雑であると結論づけている。支援、信頼、そして正確な判断は、それぞれ異なるものである。人はツールを信頼してそれに同意することもあるが、それでも間違っていることがある。レビューは、これらのツールが犯罪の証拠として有用であるためには、それらに関するコミュニケーションが非常に精密でなければならないことを示唆している。専門家は、ツールがどのような条件下でテストされたのか、そしてツールができないことは何かを正確に説明する必要がある。彼らは「この録画は偽物である」といった広範な主張を避け、「このファイルには、特定の種類の操作に関連する特徴が含まれている」といった、具体的で検証可能な記述に留めるべきである。また、研究は透明性の必要性も強調している。もしツールがビデオ内の疑わしい領域をハイライトする場合、元のビデオが他の人々がそのハイライトツール自体が正しく機能しているかどうかを確認できるように、引き続き利用可能でなければならない。

結局のところ、このレビューはテクノロジーへの賛辞というよりも、警告としてのガイドとして機能している。それは、AIによる支援が人間のディープフェイク検出能力を向上させ得る一方で、助言が誤っていたり、人間が機械に依存しすぎたりした場合に、新たなリスクをもたらすことも示している。研究結果は、法的な場面において、焦点はツールがどれほど自信を高めるかではなく、人々が有益な助言と誤解を招くエラーをどのように区別できるかにあることを示唆している。これらのツールが、現実の法的シナリオと現実の結果を伴ってテストされるまで、正義を確保する能力については未解決の問いである。前進するための道筋には、慎重なテスト、限界に関する明確なコミュニケーション、そして単にコンピュータの言葉を受け入れるのではなく、その仕事をチェックする能力を持ち続ける人間が必要である。