An Evidence-Grounded Retrieval-Augmented Transformer Framework for Health Misinformation Verification

インターネットを、誰もが健康に関する事実や噂、あるいは突拍子もない推測を叫ぶことができる、巨大で賑やかな図書館だと想像してみてください。時には、その本の内容が正しいこともあれば、人々を病気にさせたり不安にさせたりするようなデタラメで満たされていることもあります。近年、科学者たちは、これらの叫び声を読み取り、それが真実か嘘かを判断する「賢いロボット（AIと呼ばれるもの）」を作り上げました。これらのロボットは、「Transformer」と呼ばれる特別な種類の脳を使用しており、これは人間の言語を理解することに非常に長けています。しかし、ここに落とし穴があります。これらのロボットは、信頼できる百科事典を確認するのではなく、自分が学習した記憶だけに頼るため、時として作り話をしてしまうことがあるのです。これを解決するために、研究者たちは「検索拡張生成（RAG）」と呼ばれるトリックを考案しました。RAGを、ロボットに信頼できる本が入ったバックパックを持たせることだと考えてみてください。ロボットは質問に答える前に、バックパックの中に手を伸ばし、最も関連するページを取り出して読み、自分の答えが現実に基づいていることを確認するのです。

これは、ナイジェリアとロシアの研究者による新しい研究で取り組まれた課題そのものです。彼らは、世界保健機関（WHO）やナイジェリア疾病管理予防センター（NCDC）のような信頼できる情報源を用いて、特にナイジェリアの健康に関する噂を特定するための超スマートな司書を作れるかどうかを調べたいと考えました。彼らはこう問いかけました。「もし私たちのAIロボットに、公式のナイジェリアおよびグローバルの健康報告書が入ったバックパックを与えたら、ラッサ熱、コレラ、あるいはエムポックス（サル痘）のような病気に関する嘘を見抜く能力は向上するのだろうか？」答えは、驚くべきことに、単純な「イエス」ではありませんでした。バックパックというアイデアは素晴らしいのですが、研究者たちは、自分たちが作ったバックパックはあまりにも小さく、空っぽすぎて、ロボットをあまり助けることができないということを発見しました。むしろ、ロボットの成功は、追加の書籍を与えたかどうかよりも、どの特定の「脳」モデルを使用したか、そしてどのように教えたかに依存していました。

デジタル司書のお話

研究者たちはまず、ナイジェリアの人間によるファクトチェッカーによってすでに検証済みの、67件の健康に関する主張を集めることから始めました。これらの主張は、COVID-19、ラッサ熱、コレラ、麻疹、およびエムポックスの5つの主要な疾患をカバーしていました。いくつかの主張は真実であり、いくつかは偽りであり、またいくつかは（例えば、ある飲み物がアウトブレイクの原因であると言いつつ、実際にはその飲み物を作るために使われた水が原因であった場合のような）誤解を招くものでした。彼らは、AIのテストを作成するために、これらの主張に「真実」「偽り」「誤解を招く」というラベルを付けました。

次に、彼らは「バックパック」を作りました。彼らはWHOとNCDCの公式文書を取り出し、それらを読みやすい小さな断片に切り分け、デジタルライブラリへと変えました。計画では、AIが噂を読み取り、このライブラリから最も一致する事実を検索し、それらの事実を使用して、その噂が嘘であるかどうかを判断するというものでした。彼らは、BERT、RoBERTa、DeBERTaという3種類の異なるタイプのAIの脳をテストしました。また、ライブラリ内の事実を検索することを許可された、DeBERTaの特別なバージョンもテストしました。

大きな驚き

ここで、物語は展開を見せます。バックパックに信頼できる事実を入れたら、AIが天才になるだろうと予想するかもしれません。しかし、結果は少し期待外れなものでした。

研究者たちは、バックパックの助けを借りていないBERTモデルが、実は最も優れた仕事をしたことを発見しました。BERTは71%の確率で正解を導き出し、スコアは0.66（正解することと、見逃さないことのバランスを示す指標）でした。これがチャンピオンとなりました。

豪華なDeBERTaを含む他のモデルは苦戦しました。実際、彼らが「増強（augmentation）」と呼ばれる手法を用いて、より多くの学習例を与えることでDeBERTaを助けようとしたり、ライブラリ内の事実を検索させようとしたりしても、状況は改善しませんでした。むしろ悪化し、ほとんどすべての質問に対して同じ答えを推測するようになってしまったのです。それはまるで、教科書を与えられた生徒が、混乱したために思考を停止し、すべての質問に対して「真実」と書いてしまうようなものでした。

なぜバックパックは失敗したのでしょうか？ 研究者たちは、自分たちのライブラリが小さすぎたことに気づきました。具体的には、システムがメインのライブラリ内で完璧な一致を見つけられなかった場合、5つの一般的な疾患要約（各疾患につき1つ）からなるフォールバック（代替）オプションに頼らざるを得ませんでした。この極めて小さなコレクションは、真実の主張と偽りの主張を区別するために必要な具体的な詳細を提供するには、あまりにも一般的すぎたのです。AIが「ラゴスでのこの特定のアウトブレイクは本当か？」と尋ねたとき、バックパックにはそれを示す特定のページがなく、ただ漠然とした要約しか持っていませんでした。ライブラリが実質的に具体的な証拠のない空っぽの状態であったため、AIはより良い判断を下すために追加の情報を使うことができなかったのです。それは、まるで特定の針を干草の山の中から探そうとしているのに、その干草の山には藁が3本しか入っていないようなものでした。

これが意味すること

この研究は、単に「検索」機能（バックパック）を追加することが魔法の杖ではないことを示唆しています。もしバックパックの中に入れるライブラリが十分に大きく、詳細でなければ、AIはそれを使うことを学習できません。研究者たちは、今回の設定においては、追加の書籍よりもAIの脳（BERT）の種類の方が重要であったと結論付けました。また、彼らのデータセットが非常に小さかった（わずか67件の主張）ことも指摘しており、それが、真実の物語、嘘、そして誤解を招くような半分だけの真実の違いをAIが学習することを困難にしたのです。

しかし、研究者たちは希望を持っています。もし彼らが、WHOやNCDCからの何千もの具体的な報告書を含む、より大きく、より整理されたライブラリを構築できれば、バックパックはようやくその魔法を発揮できるかもしれないと考えています。今のところ、彼らは、AIのファクトチェックの世界において、優れた脳を持つことは重要ですが、優れたライブラリを持つことも同様に不可欠であり、もしライブラリが空っぽであれば、脳はその役割を果たすことができないということを私たちに示してくれました。