AI LEGO: Scaffolding Cross-Functional Collaboration in Industrial Responsible AI Practices during Early Design Stages

あなたは、仲間と一緒に巨大で複雑なロボットを作っていると想像してみてください。そこには、脳となるコードを書く方法を知っているエンジニア、見た目をデザインするアーティスト、そしてそのロボットが実際に人々のために「何をするのか」を考えるマネージャーがいます。通常、エンジニアはまず脳を作り、難解なコードを大量に書き上げ、それから他のメンバーにこう言って渡します。「はい、これで動かしてみて。」しかし、多くの場合、アーティストやマネージャーはそのコードを理解できず、大きな問題を見逃してしまいます。例えば、そのロボットが特定の人々に対して失礼な態度を取ったり、悪い判断を下したりする可能性があるといったことです。問題に気づいたときには、ロボットはすでに完成しており、修正するのは悪夢のような作業になります。これは人工知能（AI）の世界でもよくある問題です。専門家が異なる背景を持っているために、有害な製品として現実化してしまう前に、互いに早期にコミュニケーションを取ることができないのです。

これを解決するために、研究者たちは「境界オブジェクト（boundary objects）」と呼ばれる概念に着目しています。境界オブジェクトとは、いわば「万能翻訳機」や「共有のレゴセット」のようなものです。それは、全員にとって見た目は違っても、グループ全体にとっては同じ意味を持つツールです。エンジニアにとって、レゴのブロックは構造的な部品かもしれませんが、デザイナーにとっては色のブロックです。しかし、チーム全体にとっては、それは皆が手に取って議論できる単なる「ブロック」なのです。これから読む論文は、AIチームのためのより優れた「共有レゴセット」をどのように構築するかを探求しています。具体的には、コードを書き始める前に、危険な間違いを見つけ出すためのものです。

---

論文：AI LEGO

この研究を行ったカーネギーメロン大学やノースウェスタン大学などの研究チームは、企業が「責任あるAI（安全で公平なAI）」を作ろうとする際、プロセスがしばしば破綻していることに気づきました。技術的な人々（コーダー）と、非技術的な人々（プロダクトマネージャーやデザイナーなど）が、共通の認識を持てていないのです。コーダーは複雑な技術的専門用語で話し、非コーダーは置いてけぼりにされたと感じ、コードが書かれるまで潜在的な危害を察知することができません。

これを解決するために、彼らは AI LEGO というウェブツールを開発しました。

大きなアイデア：ブロックで組み立てる

あなたが、友人に夢の休暇について説明しようとしている場面を想像してください。もしあなたがフライト番号やホテルのコードについて延々とまくしたてたら、相手は退屈したり混乱したりするでしょう。しかし、もし「フライト」「ホテル」「ビーチ」といった大きなカラフルなブロックが入った地図を使えば、計画の全体像を簡単に把握できます。

AI LEGOも、AIプロジェクトにおいて同様に機能します。Googleドキュメントのようなツールで長く退屈な文書を書く代わりに、チームは**ライフサイクル・ブロック（Lifecycle Blocks）**で満たされたデジタルキャンバスを使用します。

• 技術チームは、まずこれらのブロックをドラッグ＆ドロップして計画のスケッチを作成します。各ブロックは、「問題の定式化（何を解決するのか？）」、「データセットの構築（どのようなデータを使うのか？）」、「モデルの定義（脳はどう機能するのか？）」といった、AI構築の各段階を表しています。各ブロックの中には、自分たちの選択を平易な言葉で説明するためのシンプルなプロンプトが含まれています。
• 非技術チームが次に加わります。彼らはコードを書く必要はありません。彼らはブロックを見て、**ステージ中心のチェックリスト（Stage-centered Checklists）**を使用します。これは安全点検カードのようなものです。「データセット」のブロックであれば、チェックリストは「ここにバイアスを引き起こす可能性のある機密データは含まれていないか？」と問いかけます。これにより、非コーダーは自分たちが見落としていたリスクを見つけることができます。

秘密兵器：「ペルソナ」ミニフィギュア

ここからが本当に楽しい部分です。AI LEGOには、**ペルソナ中心の評価（Persona-centered Evaluation）**という特別な機能があります。

新しいビデオゲームをデザインしていると想像してください。公平であることを確認するために、単に一般的な「プレイヤー」について考えるだけではありません。あなたは特定のキャラクターを想像します。「スポーツ好きのティーンエイジャー」、「タブレットで遊ぶおばあちゃん」、「英語を話さない人」などです。

AI LEGOでは、チームがこれらの異なるユーザータイプを表すデジタル**ミニフィギュア（小さなレゴの人形）**を作成できます。ツールは、これらのミニフィギュアが計画に対してどのように反応するかをシミュレートするために、スマートなAI（大規模言語モデル）を使用します。

• 例： もしチームが映画推薦AIを作っているなら、「映画好きのティーン」という名前のミニフィギュアを作成できます。ツールは、このティーンが言いそうなことをシミュレートします。「ねえ、僕が男だからって、アクション映画ばかり勧めるのは不公平だよ！」
• これにより、チームは、異なる人物の視点を通してプロジェクトを見ることで、「エッジケース（極端な事例や特殊な状況）」を文字通り目にすることができます。

結果：分かったこと

研究者たちは、このツールを18人の業界の実務家（AI開発者6名、プロダクトマネージャー6名、UI/UXデザイナー6名）が参加する6つのチームでテストしました。彼らには、以下の3つの方法でAIシステムを設計してもらいました。

1. Google ドキュメント（従来の方法、単なるテキスト記述）
2. AI LEGO Lite（ブロックとチェックリストを使用するが、ミニフィギュアはなし）
3. AI LEGO Full（ブロック、チェックリスト、およびミニフィギュアを使用）

結果は非常に明確でした。

• より多くの問題を発見： AI LEGOを使用したチームは、Google ドキュメントを使用した場合よりも、195%多い問題のある設計上の選択肢を発見しました。これは、潜在的な災難をほぼ倍の数で見つけたことになります！
• より高い品質： 発見された問題は単なる当てずっぽうではなく、実際に起こり得るものでした。AI LEGO Fullを使用したチームが発見した問題は、Google ドキュメントのグループと比較して、発生可能性の尺度（4点満点中）で1.25ポイント高く評価されました。
• ミニフィギュアの効果： ミニフィギュアを含むツールの「Full」バージョンは、「Lite」バージョンよりもさらに多くの問題を発見するのに役立ちました。シミュレートされたペルソナによって、非技術的な人々は、現実の人間にどのような影響を与えるかについて、より深く考えることができました。
• 全員が満足： 参加者は、AI LEGOはGoogle ドキュメントよりも使いやすく、楽しいと答えました。彼らは、単にメモをやり取りしているのではなく、実際に一つのチームとして協力していると感じました。

なぜこれが重要なのか

この論文は、AIをどのように作るかという方法自体が、AIそのものと同じくらい重要であることを示唆しています。もし私たちが、コーダーはコーダーと話し、マネージャーはマネージャーと話すという「サイロ化」された状態で作り続けるなら、人々を傷つける間違いを繰り返すことになるでしょう。

AI LEGOは、もしチームに共有された視覚的な言語（レゴブロックのようなもの）を与え、他人の立場に立つ方法（ミニフィギュアのようなもの）を提供できれば、悪いアイデアを早期に捉えられることを示しています。そして最も素晴らしい点は、早期に捉えるということは、完成したロボットを解体して最初からやり直すことなく、被害が出る前に修正できるということです。

この研究は、このツールが世界中のあらゆる問題を解決する魔法の杖であると主張しているわけではありません。研究者たちは、このツールがプロトタイプであり、現実世界のチームは研究セッションよりも複雑であることを認めています。しかし、彼らは、AIのデザインについて語る方法（視覚的に、構造的に、そして包括的にすること）を変えることが、私たちの未来のテクノロジーをより安全で公平なものにできると示唆しています。