あなたは、あらゆる本が数字や言葉のスプレッドシートになっている、巨大で魔法のような図書館を歩いているところだと想像してください。この図書館には、あなたが手に持っている本と「似ている」本を見つけ出すのが仕事のロボットたちがいます。もしあなたが「壊れたトースターの修理」についての本を手に取ったら、ロボットはケーキの作り方や車の運転に関する本ではなく、トースターの修理に関する他の本を持ってくるべきです。これが**表形式データ（tabular data）の世界――私たちのビジネス、病院、工場を動かしている、整理された情報のグリッドです。ロボットはエンベディング（embeddings）**と呼ばれるものを使います。これは、各行のデータを巨大な多次元空間内の点へと変換する、目に見えない磁石のようなコードです。2つの点が近いほど、ロボットはそのデータが似ていると判断します。

長い間、科学者たちはこれらのロボットに対し、「この部品は壊れるか？」や「価格はいくらか？」といった特定の質問に対して、非常に優れた推測ができるよう教えてきました。しかし、ここに落とし穴があります。答えを当てるのが上手いことは、必ずしも人間にとって「似ている」と感じられるものを見つけるのが上手いこととは限らないのです。ロボットは、ある部品に「5」という数字が入っているという理由だけで、それらが双子であると判断してしまうかもしれません。しかし、人間のエンジニアなら、一方がネジであり、もう一方がボルトであることを知っています。この論文は、非常に重要な問いを投げかけています。どうすれば、エンジニア、工場の作業員、あるいは買い物客といった、異なる人々が使う際に、彼らにとって本当に意味のあるものを見つけ出せるようにできるのか？

---

問題点：ロボットが「バイブス」を読み違えるとき

この論文の著者たちは、製品ライフサイクル管理用のソフトウェアを構築している企業と共に作業する中で、ある大きな隔たりに気づきました。彼らは、ロボットがテーブル形式のデータをあの目に見えない磁石のコードへと変換することには長けてきている一方で、そのコードが人間が実際に重視していることと一致しているかどうかを確認する良い方法がないことに気づいたのです。

例えば、新しい自動車部品に関する「類似の変更リクエスト」をロボットに探してほしいと頼んだとします。エンジニアは、「これらはどちらもエンジンの冷却システムに関するものだから似ている」と言うでしょう。工場の作業員は、「いや、これらは同じ溶接機を使用するから似ているのだ」と言うかもしれません。そして購買担当者は、「これらは同じサプライヤーから来ているから似ている」と言うかもしれません。

この論文は、現在のロボ用テストは、詩人になろうとしている学生を、数学のテストのスコアだけで採点するようなものだと主張しています。標準的なテストは、ロボットが数値やカテゴリを正しく予測できるかを測定しますが、「人間がその結果を役に立つと感じたか？」とは問いません。著者たちは、人間の意見を聞かなければ、私たちは目隠しをして飛行しているようなものだと示唆しています。私たちは、数学においては完璧だが、人間のニーズを理解することに関してはひどく下手なロボットを抱えている可能性があるのです。

解決策：「データの味覚テスト」

これを解決するために、著者たちは、データのブラインド・テイスト・テスト（目隠しでの味覚テスト）に似た新しいワークフローを提案しています。単にロボットを実行して結果を待つのではなく、人間からのフィードバックを得るための3つのステップを提案しています。

1. セットアップ： まず、ロボットがすべてのデータの磁石のコードを作成し、保存します。
2. 選択： 人間のユーザーに、特定のアイテム（「アンカー」）が表示されます。例えば、特定の部品やチケットなどです。するとロボットは、それが最も近いと判断したアイテムのリストを提示します。
3. 投票： 人間は、元のアイテムと、ロボットが提案したアイテムの1つを並べて見比べます。そして、「同一」「類似」「やや類似」「類似していない」といった評価を下します。

これは一度きりの作業ではありません。著者たちは、このプロセスを何度も繰り返し、数千もの「投票」を集めることを提案しています。これにより、異なるグループの人々が実際に何を「似ている」と考えているのかという地図が作成されます。

彼らが発見したこと：誰もが世界を異なる見方をしている

彼らのアイデアをテストするために、チームは小規模なパイロット研究を実施しました。20種類の異なる「チケット」（ヘルプリクエストや変更依頼など）のリストを作成し、それぞれに対してロボットが見つけた上位6つのマッチングを、3人の異なる人物に評価させました。

結果は驚くべきものでした。検討した120組のアイテムペアのうち、3人の人物が評価で一致したのはわずか**63ペア（52.5%）**でした。**52ペア（43.3%）では、2人は一致しましたが3人目が異なっていました。そして5ペア（4.2%）**では、3人全員が異なる評価を下しました！

これは、「類似性」とは単一の固定された事実ではないことを証明しています。それは完全に、あなたが誰であるかに依存するのです。エンジニアは購買担当者が気づかないパターンを見るかもしれませんし、その逆も然りです。

次に、チームは10種類の異なるロボットアルゴリズムをテストし、どのアルゴリズムが人間の望みを最もよく推測できるかを調べました。ここでひねりがあります。単一の「勝者」は存在しませんでした。

• アノテーター1とアノテーター3にとっては、アルゴリズム7が最適でした。
• しかし、アノテーター2にとっては、アルゴリズム4が最適でした。

さらに興味深いことに、アノテーター2にとっての「最高」と「次点」の差は、165個のトリプレット（3つの項目のグループ）のうち、わずか1つという極めて小さなものでした。これは、これほど少ない投票数では、どのロボットが本当に優れているかを100%確信するのは難しいことを示唆しています。著者たちは、自信を持つためにはもっと多くのデータが必要であると指摘していますが、主な教訓は明確です。**「One size does not fit all（一つのサイズがすべてに合うわけではない）」**ということです。エンジニアにとって完璧なロボットが、購買担当者にとっては役に立たないこともあります。

なぜこれが信頼に重要なのか

論文は、AIが真に信頼できるものになるためには、ロボットの内部的な数学だけに頼ることはできないと結論付けています。私たちは、人間が常にロボットの仕事をチェックできるシステムを構築する必要があります。

彼らは、このアプローチによる4つの主要な利点を強調しています。

• 公平性（Fairness）： ロボットが（エンジニア対購買担当者のように）異なるグループに対して、特定の視点を優先することなく、公平に扱うことを保証します。
• 透明性（Transparency）： 人々が、なぜロボットがそのアイテムを選んだのかという理由を知ることができるようにし、「ブラックボックス」を少しでも明るくします。
• 堅牢性（Robustness）： 重複データや混乱したカテゴリなど、ロボットが間違えやすい「乱れたデータ」を見つけるのに役立ちます。
• 説明責任（Accountability）： 人間の決定の履歴（トレイル）を作成します。これは、規制された業界においてAIがミスをした場合に極めて重要です。

著者たちは、人間がこのような作業を行うことは困難であり、時間もかかることを認めています。彼らは、この問題を完璧に解決したと主張しているわけではありません。むしろ、科学界に対して、これらの「人間の味覚テスト」をAI構築の標準的な一部として使い始めるよう呼びかけているのです。彼らは、信頼とは一度コードに焼き付けるものではなく、システムを使う人々の声に絶えず耳を傾けることで築き上げるものだと主張しています。