NeSy-RAG: Neuro-Symbolic RAG for Explainable Question Answering
NeSy-RAGは、検索されたテキストから属性付け可能なPrologモジュールを合成することで、透明かつ決定論的な回答を提供し、ユーザーのコンテキストの欠落を自動的に検知する、モジュール型のニューロ・シンボリックな検索拡張生成フレームワークであり、ShARCベンチマークにおいて標準的なRAGベースラインを上回る優れた精度を実現している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは謎解きに挑んでいるところだと想像してください。ただし、探偵の代わりにいるのは、超スマートで、驚くほどお喋りなロボットの助手です。このロボットは図書館にあるほぼすべての本を読み終えており、ほとんどあらゆる質問に対して答えを出すことができます。これは、私たちが「大規模言語モデル（LLM）」と呼んでいるものです。しかし、一つ落とし穴があります。時として、このロボットは作り話をしたり（これを「ハルシネーション（幻覚）」と呼びます）、思考プロセスを説明する際に、明確な地図というよりも、霧がかかった夢のような曖昧なものにしてしまうのです。なぜその答えを出したのか、あるいは本当に図書館の正しいページを読んだのかどうかを、必ずしも判断することができません。これは、情報の出所を正確に把握し、それが真実であることを確認しなければならない法律や医療といった深刻な分野において、大きな問題となります。これを解決するために、科学者たちは、このお喋りなロボットを「シンボリック推論（記号的推論）」、つまり厳格なステップ・バイ・ステップの数学的証明のように機能するコンピュータ・ロジックと組み合わせようと試みてきました。これは、ロボットに単なる推測をさせないよう、厳格なチェックリストに従わせるようなものです。大きな問いは、「私たちを理解できるほどお喋りで、かつ信頼できるほど厳格なロボットを作ることができるのか？」ということです。
そこで、Jonas GannとMichael Gertzによって提案された新しいフレームワークであるNeSy-RAGが登場します。このロボットの図書室は、バラバラの紙片（テキストの塊）が詰まった巨大な倉庫だと想像してください。通常、質問を受けると、ロボットはいくつかの紙片を掴み、それを読み、答えを推測します。NeSy-RAGは、それとは異なることを行います。紙片を掴んだとき、それはただ読むだけでなく、即座に「Prolog」と呼ばれる言語で書かれた、小さく自己完結した「論理パズル」へと翻訳するのです。これは、パラグラフを厳格な「もし〜ならば、その時〜」という一連のルールへと変換するような作業です。例えば、テキストに「18歳以上であれば給付を申請できる」とあれば、システムはそれをルール if age > 18, then eligible（もし年齢が18歳より大きければ、受給資格あり）へと変換します。
ここからが巧妙なところです。システムは、見つけた紙片からこれらの論理パズルのコレクションを構築します。しかし、この乱雑な図書室全体を一度に解こうとするのではなく、「0次述語（0-arity predicates）」と呼ばれる特別なトリックを使用します。これは、あらゆる複雑なルールを、「その人は18歳を超えているか？」や「その人は市民か？」といった単純な「はい／いいえ」の質問へと変えることを意味します。ロボットはスマートな探索を用いて、あなたのクエリに一致する特定の「はい／いいえ」の質問だけを見つけ出します。そして、これらを一つの最終的な論理クエリへと繋ぎ合わせ、実行します。論理プログラムを実行しているため、答えは決定論的であり、推測が含まれることはありません。さらに優れたことに、システムはあらゆるステップに対して完璧な「レシート（領収書）」を保持しており、どのテキストの断片がどのルールにつながったのかを正確に示し、答えをソースまで遡って追跡できるようにしています。
しかし、もしロボットに十分な情報がない場合はどうなるでしょうか？ 例えば、あなたが「私は受給資格がありますか？」と尋ねたものの、ロボットがあなたの年齢を知らない場合です。通常のロボットなら、単に「はい」か「ノー」と答え、あとは運に任せるかもしれません。しかし、NeSy-RAGは「知識ギャップ検出器」を備えています。それは自身の論理パズルを見て、「おっと、『年齢』という変数に対する値が足りないぞ！」と気づきます。推測する代わりに、システムは立ち止まり、「あなたは何歳ですか？」とあなたに問いかけます。パズルを解くために必要なピースがすべて揃うまで、こうした的を絞った追跡質問を繰り返します。これにより、ロボットが事実を捏造することを防いでいるのです。
研究者たちは、英国政府の給付金に関する法的質問を含む「ShARC」というデータセットを用いて、このシステムをテストしました。彼らはこの特定のデータに対してシステムを学習させることはせず、その場で仕組みを理解させました。結果は有望でした。NeSy-RAGは61.1%の確率で正解を導き出しました。これは、論理ルールなしで同じことを試みた標準的な「チャットボットのみ」のシステムが42.8%しか正解できなかったことと比較して、大幅に高い数値です。また、新しいシステムはより高速で、質問1件あたり平均7.4秒かかり、標準的なチャットボットのアプローチの11.4秒よりも短い時間で済みました。
しかし、論文はこれが完璧な解決策であるとは述べていません。このシステムはまだプロトタイプです。時として、少し慎重になりすぎることがあります。もし欠けている事実について100%確信が持てない場合、たとえ厳密には必要なくても、さらなる情報を求めることがあります。その結果、決定的な「はい」や「いいえ」を出す代わりに、「もっと情報が必要です」と答えてしまうのです（研究者はこれを「more」と呼んでいます）。実際、彼らは「はい」という回答の約**31%**を「more」と誤分類しており、これは「情報不足」のフラグを立てすぎてしまう傾向があることを示唆しています。これはスピードの面では少し厄介ですが、著者らは、法律のような重大な場面においては、自信満々に間違えるよりも慎重である方が安全であると述べています。また、システムは「無関係な」質問に対しても苦戦しており、テキストの断片が質問に関連しているかどうかについて混乱することがありました。
要するに、NeSy-RAGは、テキストを厳格な論理パズルへと変換し、足りない情報を求めることで、より透明性が高く、正確で、嘘をつく可能性が低いAIを構築できることを示しています。それはすべてを完璧に解決する魔法の杖ではありませんが、私たちが真実に対して信頼を置けるAIアシスタントへと向かうための、力強い一歩なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。