Multi-Agent LLMs as Ethics Advocates for AI-Based Systems

あなたはロボットを作っていると想像してみてください。でも、ただのロボットではありません。医師の診断を助けたり、ローンの審査を決定したり、あるいは聴覚障害者のために手話を翻訳したりするロボットです。「スタート」ボタンを押す前に、あなたはそれに対するルールブックを書かなければなりません。このルールブックは「要求工学（requirements engineering）」と呼ばれます。それは家の設計図のようなものです。設計図に「ここに窓を置く」と書いてあれば、建築家はそこに窓を設置します。しかし、もし設計図に「台風が入ってこないように、窓を大きくしすぎないこと」という指示を書き忘れたらどうなるでしょうか？人工知能（AI）の世界では、こうした欠落したルールは「倫理的要件（ethics requirements）」と呼ばれます。これらは、AIに対して、偏見を持ったり秘密主義になったりするのではなく、公平で透明性が高く、親切であるように指示するものです。

問題は、こうした倫理的なルールを書くことは難しいということです。通常、エンジニア、弁護士、コミュニティのメンバーなど、多くの異なる人々が集まって、何時間も議論やブレインストーミングを行う必要があります。それは時間がかかり、費用もかかり、時には、みんなが疲れてしまったために、最も重要な倫理的ルールが見落とされてしまうこともあります。この論文は、大きな問いを投げかけています。超スマートなコンピュータの脳、すなわち「大規模言語モデル（LLM）」のチームを使って、より速くこれらのルールを書くための「道徳的な監視役」として機能させることはできるでしょうか？これは、あなたのロボットの設計図をチェックして、実際に作り始める前に「おい、これが公平かどうかを確認するのを忘れているぞ！」と叫んでくれる、AI探偵のチームを雇うようなものです。

AI探偵のチーム

研究者のアスマ・ヤマニ、マラク・バスリマン、モアタズ・アーメッドは、MALEA（Multi-Agent LLM Ethics-Advocate）と呼ぶシステムを構築しました。一つのコンピュータにすべての思考を任せるのではなく、それぞれが特定の役割を持ち、物語を編集する友人グループのように協力し合う、4つのAIエージェントからなる仮想チームを作成しました。

まず、「要求エンジニア（Requirements Engineer）」が、システムの単純な説明（例：「偽のレビューを見つけるアプリ」）を受け取り、初期のルールを作成しようと試みます。次に、「品質保証（Quality Assurance）」エージェントが厳格な編集者のように振る舞い、ルールが明確で理にかなっているかをチェックします。そして、主役が登場します。「倫理アドボケイト（Ethics Advocate）」です。このエージェントの唯一の仕事は、ルールを見て、「待てよ、これは公平か？ プライバシーはどうなっている？ もし誰かが傷ついたらどうするんだ？」と指摘することです。最後に、「ドキュメンテーション・アシスタント（Documentation Assistant）」が、すべてを整然と書き留めます。

これらのエージェントは単に一列に並んで作業するのではなく、ループの中で対話します。エンジニアがルールを書き、品質エージェントが文法を直し、倫理エージェントが道徳性を批判し、そしてエンジニアが修正するために戻ります。彼らは全員がそのルールが良いと合意するまで、ボールを何度もパスし合います。研究者たちは、このチームを2つの実世界のシナリオでテストしました。一つはアラビア語で書かれた偽のオンラインレビューを見つけ出すシステム、もう一つはサウジアラビアの手話をテキストに翻訳するアプリです。

チームが見つけたこと

研究者がこのAIチームを人間の専門家および単一のAIコンピュータと比較したところ、結果は「驚き」と「失敗」が入り混じったものでした。

偽レビュー検出器の場合、人間の専門家は30分間の会議で8つの倫理的ルールを見つけました。単一のAIコンピュータは約6つのルールを見つけましたが（再現率75%）、MALEAチームは7つのルールを見つけました（再現率87.5%）。AIチームは、人間のミスを捉えることに長けていました。例えば、人間は「偽陽性」（本当のレビューが誤って偽物としてフラグ立てされること）を追跡するというルールを見落としていましたが、AIチームはこれらのエラーを追跡するための四半期報告書の要件を追加しました。

手話アプリのシナリオでは、人間の専門家は13のルールを見つけました。単一のAIは約8つを見つけ（62%）、MALEAチームは約7つを見つけました（54%）。ここでは、人間の方が、応答時間を5秒未満にする必要があるといった具体的な技術的詳細を捉える点において、実際にはわずかに優れた仕事をしていました。しかし、AIチームは、人間が考えていなかった「新しいアイデア」を追加することに関しては達人でした。AIチームは、「監査可能な匿名化（ユーザーの身元をチェック可能な方法で隠すこと）」や、人間が完全に逃していた特定の暗号化標準（TLS 1.3など）を提案しました。

この論文は、AIチームが広範な倫理的アイデアをブレインストーミングし、曖昧なルールを非常に具体的にすることに優れていることを示唆しています。例えば、単に「データを安全に保つ」と言う代わりに、AIチームは「AES-256暗号化を使用する」と書きました。しかし、論文はAIは完璧ではないとも警告しています。時には文化的なニュアンスを見落としたり、数字を間違えたりすることがあります。ある実行では、AIはサウジアラビアの女性が異なる種類のヘッドカバーを着用していることに気づき、学習データにそれぞれのタイプに応じたビデオ数を入れるべきだと提案しました。しかし、別の実行では、この詳細を完全に忘れてしまいました。これは、AIが、ある時は細部を覚え、ある時は忘れてしまうクリエイティブな作家のようなものであることを示しています。

結論：代わりの手段ではなく、便利な助手

主な教訓は、このマルチエージェント・システムは、倫理的ルールの「初稿」を迅速に作成するための強力なツールであるということです。それは単一のコンピュータよりも多くのアイデアを生み出し、より具体的であり、短時間の会議で人間が見落としがちなこともしばしば捉えます。しかし、研究者たちは非常に明確に述べています。これは人間を置き換えるものではない、と。

AIは提案することには長けていますが、人間が「それは良いアイデアだ」あるいは「いや、それは私たちの文化には合わない」と言う必要があります。このシステムは、エンジニアが具体的な詳細を記入する必要があることを思い出させるために、小さな「プレースホルダー」（例：[ここに数値を入力]）さえ残しておきます。論文は、倫理を完全に自動化しようとするのではなく、基本的なルールを書くことではなく、より困難で重要な問題について議論することに人間が時間を割けるよう、これらのAIチームを使用してプロセスを加速させるべきだと主張しています。

要約すると、論文は、AIエージェントのチームは素晴らしい「道徳的なブレインストーミングのパートナー」として機能し、私たちがより安全で公平なAIシステムを構築するのを助けてくれるが、それは人間が最終決定を下すためにプロセスに関わり続ける場合に限られる、と示唆しています。