A Lexical Analysis of online Reviews on Human-AI Interactions

デジタル世界を、人間とロボットが共に生活を築こうとしている、巨大で賑やかな都市だと想像してみてください。長い間、科学者たちは私たちがこれらのロボットとどのように対話しているかを研究してきました。彼らは、「私たちは彼らを信頼しているのか？」「それは公平なのか？」「私たちの仕事はどうなるのか？」といった大きな問いに焦点を当ててきました。しかし、そこにはパズルの欠けているピースがありました。私たちは全体像は知っていますが、人々が日常的にこれらのツールを使おうとする際に、つい漏らしてしまう、小さく具体的な不満については、あまり耳を傾けてこなかったのです。それは、車が速いことは分かっていても、ラジオが壊れていたりシートが熱すぎたりすることを知らないようなものです。この論文は、人々がAIソフトウェアを実際に使用している際に出す、雑多で現実的なフィードバックを見ることで、その欠けているピースへと切り込みます。これはロボットを構築することではなく、運転席に座っている人の声を聞くことなのです。

研究者のパリーサ・アルバブ（Parisa Arbab）とシャオウェン・ファン（Xiaowen Fang）は、デジタル探偵のように振る舞うことに決めました。人々に退屈なアンケートに答えてもらう代わりに、彼らは情報の源へと直接向かいました。彼らは、3つの人気テックサイト（G2.com、Producthunt.com、Trustpilot.com）から、55,968件ものオンラインレビューを集めました。これは、新しいAIツールを試したばかりの人々からの、55,968枚のポストカードを集めるようなものです。

このテキストの山を理解するために、彼らは「語彙的アプローチ（lexical approach）」を用いました。すべてのレビューから、あらゆる単語を取り出し、「the」「and」「is」のような退屈な言葉を捨て、残った単語をその意味ごとにグループ化することを想像してください。彼らは、人々が自身の体験を説明するために実際に使用した、13,522個の重要な単語（主に名詞と形容詞）の巨大なリストを作成しました。そして、「探索的因子分析（Exploratory Factor Analysis）」と呼ばれる統計ツールを使用して、これらの単語を、靴下をまとめたりシャツをまとめたりするように、クラスターへと分類しました。

彼らが発見したのは、人間がAIと共に働く際に直面する15の明確な課題のマップでした。以下は、人々が使用した言葉に基づいた、これらの課題がどのようなものかを示す論文の示唆です。

• 「ロボットの受付係」問題（カスタマーサービス自動化）： 人々は、AIチャットボットが複雑な問題に対処しようとして、単に一般的で定型的な回答しか返さないときに苛立ちを感じます。それは、返金を求めているのに「コインを入れてください」としか言えない自動販売機と話しているようなものです。AIには、困難な問題を解決するために必要な「人間味」や共感が欠けています。
• 「フェイクニュース」工場（コンテンツの品質）： AIが記事を書いたり盗作をチェックしたりする際、事実を間違えたり、ニュアンスを見落としたりすることがあります。それは、教科書を暗記しただけで、物語の内容を理解していない学生のようなものです。速く書くことはできますが、細部が不安定になることがあります。
• 「混乱を招くチャート」（可視化）： AIはグラフや絵を作ることができますが、時として非常に分かりにくかったり、不正確であったりするため、誰もデータを理解する助けになりません。それは、道路が間違った場所に描かれた地図を渡されるようなものです。
• 「お金の計算」の不具合（財務業務）： 銀行業務や会計において、AIは完璧である必要があります。もし税金の計算や取引で小さなミスをすれば、その結果は甚大です。人々は、AIが混乱することなく、お金に関する厳格なルールを扱えるかどうかを懸念しています。
• 「タイポの罠」（綴りと文法）： AIは私たちの文章を修正することになっているにもかかわらず、システムへの入力作業やAIの修正機能自体が、新たなエラーを生み出すことがあります。
• 「要塞」との格闘（クラウドファイアウォールとセキュリティ）： AIセキュリティシステムのセットアップは困難です。インターフェースはしばしば複雑すぎ、人々はAIがどのように自分たちを守っているのかが見えないため、AIの判断を信頼できません。それは、ドアをロックするけれど、なぜそうしたのかを教えてくれない警備員を持っているようなものです。
• 「監視カメラ」のジレンマ（監視）： AIは脅威を見つけることには長けていますが、プライバシーに関する大きな懸念を引き起こします。人々は、これらのシステムが自分たちを監視しすぎたり、個人データを悪用したりするのではないかと恐れています。
• 「重量級の持ち上げ」問題（技術的統合）： 古いコンピュータシステムにAIを組み込むことは、自転車にジェットエンジンを載せようとするようなものです。それはあまりにも多くの電力、メモリ、そして技術的な知識を必要とし、しばしばすべてを停滞させます。
• 「ブラックボックス」（倫理的意思決定）： AIが選択（誰を採用するかなど）を行うとき、それはしば僚不明です。人々は公平性と透明性を懸念しています。もしAIに偏りがあれば、誰にも理由が分からないまま、人々を不当に扱う可能性があります。
• 「信号のノイズ」（信号の完全性）： 時として、AIが受け取る情報は「ノイズ」が多く、歪んでいます。そのため、誤った行動につながります。それは、騒がしい嵐の中で友人の声を聞こうとしているようなもので、メッセージが混ざり合ってしまうのです。

この論文は、これらが単なるランダムな不満ではなく、人間と機械の間の現在の葛藤を定義する、具体的で繰り返されるテーマであることを示唆しています。著者たちは、AIは強力ではあるものの、共感、深い文脈、倫理的判断、そして正確な精度を必要とする事柄においては、しばしば躓く（つまずく）ことを発見しました。

この研究は「予備的な」調査であり、これはより大きな調査の第一歩であることを意味します。著者たちはまだこれらの問題を解決したわけではありませんが、15の主要なカテゴリーとなる問題箇所を特定することには成功しました。チャットボットが話を聞いてくれないのか、あるいはセキュリティシステムが使いにくいのかといった、摩擦がどこで起きているのかを正確に理解することで、私たちはAIを単に「私たちのために動く」ものとしてではなく、「私たちのために機能する」ものとして構築し始めることができます。目標は、これらの混乱し、苛立たしい相互作用を、よりスムーズで信頼できるパートナーシップへと変えることです。