Evaluating the Empirical Relevance of Clustering in Survey-Based Social Research

あなたは、指紋を探す代わりに、同じように考える人々の集まりを探している探偵だと想像してください。社会科学の世界では、研究者たちは、気候変動やパンデミック中の感じ方といった大きなトピックについて、人々が考えを書き留めるための調査票を配布することがよくあります。目的は、これら数千もの乱雑な回答を、整理された小さな「塊（クラスター）」へと分類し、どのようなタイプの人々がいるのかを理解することです。長い間、科学者たちは、その「塊」が「良い」ものであるかどうかを数学的にチェックしてきました。彼らは、回答がいかに密に集まっているかを確認します。まるで、ビー玉の山が箱の中にきれいに積み重なっているかを確認するようなものです。もしビー玉が近くに集まっており、他の山から離れていれば、数学は「素晴らしい仕事だ！」と言います。

しかし、ここに落とし穴があります。ビー玉の山は完璧に整然としていても、現実世界については何一つ教えてくれない可能性があるのです。例えば、数学的には2つのグループが明確に分かれていると示されていても、実際には、そのグループに属する人々は、同じ食料品を買ったり、同じ候補者に投票したりする可能性が高いかもしれません。この論文は、シンプルかつ極めて重要な問いを投げかけます。「人々をグループに分類することは、実際にその人が誰であるか、あるいは何をするかを予測するのに役立つのだろうか？」著者たちは、「交差検証による予測精度（CVPA）」と呼ばれる新しいテスト方法を紹介しています。単に「これらのグループは数学的に整っているか？」と問うのではなく、「もしある人のグループ名を教えられたら、その人の年齢、性別、または所得を、単に推測する場合よりも正確に当てることができるか？」と問うのです。これは、トランプの束を色で分けること（それは見た目がきれいになるだけ）と、数字で分けること（それはゲームに勝つのに実際に役立つ）の違いのようなものです。

論文の物語

この研究において、研究者のリーナ・ファルハット、サイモン・ウィルコック、ウィリアム・ティーハンは、この新しい「有用性テスト」を究極の試練にかけようと決めました。彼らは3つの実世界の調査を用いました。一つはノルウェーの、人々が「気候変動」という言葉を聞いたときに何を思い浮かべるかを尋ねる調査。二つ目はイギリスの、潮の満ち引きについて人々がどの程度理解しているかに関する調査。そして三つ目はウェールズの、新型コロナウイルス感染症（COVID-19）のパンデミック中に人々がどのように生活を経験したかに関する調査です。

まず、彼らはこれらすべての記述回答を、コンピュータが理解できる数値に変換しなければなりませんでした。彼らは3つの異なる方法を試しました。一つはTF-IDFと呼ばれる古風な手法（単語がどの程度出現するかを数えるだけのもの）であり、残りの二つは人工知能に基づいたよりスマートな新しい手法、S-BERTとBERTです。TF-IDFを、単語が何回使われたかしか知らない辞書だとすれば、S-BERTとBERTは、言葉の背後にある「意味」を理解する賢明な司書のようなものです。結果は明白でした。スマートな司書たち（S-BERTとBERT）は、文章の意味を維持することにおいて、はるかに優れた仕事をしたのです。データを可視化した際、古い手法ではすべてが乱雑で密な塊のように見えましたが、新しい手法では、人々の異なる考えを実際に反映するように、回答が分散して表示されました。

次に、彼らは6つの異なるコンピュータ・アルゴリズムを使って、これらの回答をグループに分類しようと試みました。あるアルゴリズムは、整った円形のグループを見つけようとし、別のアルゴリズムは、たとえ散らばっていても、あらゆる形状のクラスターを見つけようとしました。通常、科学者は数学的に最も「密な」円を作るアルゴリズムを選びます。しかし、著者たちはそこで止まりませんでした。彼らは新しいCVPAテストを適用しました。彼らはこう問いかけたのです。「もしコンピュータに『この人はグループAに属している』と伝えたら、コンピュータはその人の性別、年齢、または所得を、単なる推測よりも正確に当てることができるだろうか？」

その発見は非常に興味深いものでした。COVID-19の調査において、コンピュータは、人々の経験が彼らのお金や性別に深く結びついていることを見出しました。アルゴリズムは、その人がどのグループに属するかを知るだけで、驚くほどの精度でその人の所得や性別を推測できました（性別で約60％、所得で54％）。これは、グループが単なるランダムな数学的処理ではなく、現実の異なる社会的世界を表していることを意味していました。例えば、あるグループは「玄関のドアから犬の散歩に行けるだけの人々」であり、別のグループは「広い庭へのアクセスがある人々」であるといった具合です。コンピュータはこの分裂を完璧に捉えていました。

しかし、物語は他の調査では変わりました。ノルウェーの気候調査では、コンピュータは、年齢や性別が多少影響を与えるものの、お金はグループを全く分けていないことを見出しました。あらゆる所得層の人々が、洪水や氷の融解といった同じ事柄を心配していました。所得に対するCVPAスコアは非常に低かったのですが、これは著者たちが「優れた発見」であると述べている通りです。これは、政策立案者に対し、気候変動について富裕層と貧困層に対して異なるメッセージを送る必要はなく、すべての人に通用する一つの大きな統一されたメッセージが機能することを伝えているのです。

この論文の最もエキサイティングな部分は、コンピュータが人間の専門家とどのように渡り合うかという点です。研究者たちは、コンピュータが生成したグループを、人間が回答を読んで手動で分類したグループと比較しました。コンピュータは素晴らしい成果を上げました。COVIDの調査では、コンピュータのグループは、人間の専門家が示した予測精度にほぼ匹らついていました（0.605 対 0.609）。ノルウェーの調査では、コンピュータは実際には人間の専門家をわずかに上回りました（0.572 対 0.571）。これは、コンピュータが、人間が一つひとつ読み進めることで見出すものと同じくらい、あるいは時にはそれ以上に一貫した、言語におけるパターンを見つけ出すことができることを示唆しています。

論文は、クラスターの「整然とした様子」だけを信頼すべきではないと結論づけています。グループは数学的に完璧であっても、現実世界では役に立たないことがあります。新しいCVPAテストは、現実のチェック機能として作用します。それは、あるグループが本当に現実世界において区別されたものであるのか、それとも単なる数学的な錯覚であるのかを教えてくれます。もしグループがあることが、人々の属性を予測する助けになるのであれば、それは有用なグループです。もしそうでなければ、たとえグラフ上で美しく見えたとしても、公衆衛生、政策、あるいはマーケティングに関する意思決定に用いる価値はないかもしれません。著者たちは、この手法が、単なる推測から脱却し、実際に現実世界で重要となっている事柄に基づいた意思決定へと私たちを導くものであると示唆しています。