Validating LLMs in social science: Epistemic threats and emerging norms

社会科学者が、人間行動の謎を解こうとする探偵のようなものだと想像してみてください。長年、彼らは何千もの文書を読んだり、それらをカテゴリーに分類したり、人々がアンケートにどう回答するかを推測したりするために、人間の助手チームを雇わなければなりませんでした。それは時間がかかり、費用もかかり、疲れる作業でした。

そこに大規模言語モデル（LLM）が登場しました。これは、誰よりも速く読み書きができる、超スマートなデジタルロボット助手です。研究者たちは今、これらのロボットに重労働を任せ、乱雑なテキストを整然とした数字やチャートへと変えようとしています。まるで魔法の杖のようですよね？しかし、ミーラ・デサイ、ダラス・カード、アビゲイル・Z・ジェイコブスによる新しい研究は、その杖はキラキラと輝いているものの、その魔法は私たちが考えているよりも少しトリッキーかもしれないことを示唆しています。

大きな発見：「ブラックボックス」問題

著者たちは、2023年から2025年の間にトップクラスの社会科学ジャーナルに掲載された27本の論文を調査しました。そして、研究者が「攻撃性」、「政治的思想」、あるいは「感情」などの要素を測定するために、これらのAIロボットを使用した50の具体的なタスクを見つけ出しました。

ここにひねりがあります。ほとんどすべてのケースにおいて、ロボットによる測定値が主要なイベントとなっていました。それらは、社会がどのように機能しているかという大きな主張を行うための核心的な証拠だったのです。しかし、著者たちがカーテンの裏側を覗き込み、研究者が「ロボットが実際に真実を語っているかどうか」をどのように確認したのかを調べたところ、そこには混乱がありました。

ケーキを焼くことを想像してみてください。高級でハイテクなオーブン（LLлоン）を使ってケーキを焼くことができます。しかし、もし温度をチェックせず、生地を味わわず、正確にどのようなレシピを使ったのかも知らないとしたら、焼き上がったものが本当にケーキなのか、それともレンガなのか確信が持てません。この研究は、研究者たちがこうしたハイテクなオーブンを使って料理をしているものの、「味見」をスキップしていることが多いということを明らかにしました。

3つの大きな間違い

この論文は、研究者がどのように迷走しているかについて、主に3つの方法を挙げています。

1. 「曖昧なレシピ」（概念化）
   想像してみてください。あなたがロボットに「『悪い』投稿を見つけて」と伝えたとします。しかし、あなたは何が「悪い」のかを一度も定義していません。失礼なのか？悲しいのか？それとも間違っているのか？
   研究では、13本の論文（29のタスクをカバー）において、研究者が概念を全く定義していなかったことが分かりました。彼らは単一の単語や短いフレーズだけを使用していたのです。これは、シェフに「『美味しい』食事を作って」と頼むのに、それが辛いものなのか、甘いものなのか、あるいは塩味なのかを伝えないようなものです。明確な定義がなければ、ロボットは研究者が意図したものとは全く異なる何かを測定している可能性があります。

2. 「ランダムな設定」（操作化）
   LLMを使うことは、何百万ものつまみやダイヤルがある車を運転するようなものです。どのモデルを使うか、「温度」（回答の創造性やランダム性）をどうするか、そしてロボットの長くおしゃべりな回答からどのように答えを取り出すかを決めなければなりません。
   著者たちは、研究者が直感や推測に基づいて、これらのつまみを極めてバラバラな方法で操作していることを見つけました。ある者はゼロショット・プロンプト（例示なしの指示のみ）を使い、別の者はフューショット・プロンプト（指示に加えて例示を加える）を使用していました。ある者はロボットに数字で答えるよう求め、別の者は文章で答えるよう求めました。
   恐ろしい点は、これらの設定の微細な変化が結果を完全に変えてしまう可能性があるということです。それは、ラジオのダイヤルをわずかに回しただけで、突然別の局が聞こえてくるようなものです。それにもかかわらず、多くの研究者はなぜ特定のセッティングを選んだのかを説明しておらず、他の人が実験を再現することを困難にしています。

3. 「ワンノート」のチェック（妥当性の検証）
   これが最大の問題です。ロボットを使って何かを測定する場合、それが正確であることを証明する必要があります。黄金律（ゴールドスタンダード）は、ロボットの仕事と人間の仕事を比較することです。
   研究では、50のタスクのうち38が、ほぼ完全に一つの種類のチェック、すなわち収束的妥当性に依存していました。これは、単に「ロボットは人間と一致しているか？」と問うものです。
   しかし、論文はこれでは不十分であると論じています。それは、新しい温度計が正しく機能するかどうかを、おそらく壊れているかもしれない古い温度計と比較してチェックするようなものです。著者たちは、研究者が以下のような「ツールボックス」全体を活用すべきだと示唆しています。

   • 顔妥当性（Face validity）: 一見して、その答えが妥able（妥当）に見えるか？
   • 仮説妥当性（Hypothesis validity）: そのデータは、現実の興味深い問いに答えるのに役立つか？
   • 予測妥当性（Predictive validity）: そのデータは将来の出来事を正しく予測するか？
   • 判別妥当性（Discriminant validity）: ロボットは私たちが求めたこと「だけ」を測定しているのか、それとも他の要素まで拾い上げているのか？

   驚くべきことに、研究対象となったタスクのうち8つは、検証が全く行われていませんでした。彼らはただ、ロボットの言葉をそのまま信じていたのです。

この論文が否定していること

著者たちは、この研究が何を言おうとしていないのかについても非常に明確に述べています。彼らは、LLMが役に立たないと言っているのではありません。LLMの使用をやめるべきだと言っているのでもありません。

しかし、彼らは、これらのモデルを単に「プラグ・アンド・プレイ（差し込んで使うだけ）」できると考えている考えを明確に否定しています。LLMを、使うたびに同じ結果を出す標準的な定規や温度計のように扱うことはできません。論文は、これらのモデルが自動的に意味のある測定を引き出す「普遍的な器具」であるという考えに異を唱えています。むしろ、それらは**入念な設計、精密な定義、そして厳格なテストを必要とする「カスタムメイドの道具」**なのです。

また、現在のやり方が「十分である」という考えも否定しています。研究者が概念の定義やバイアスのチェックといったステップを飛ばしていることは、単なる些細な見落としではなく、分野全体への脅威です。測定が不安定であれば、社会に関する結論も不安定になるからです。

私たちはどの程度確信できるのか？

著者たちは、自分たちの発見に非常に自信を持っています。なぜなら、彼らは単に推測したのではなく、実際に作業を行ったからです。彼らは2,143本の論文の包括的なリストを収集し、27本の論文を、50の具体的なタスクとともに手作業でコーディングしました。これはシミュレーションではなく、実際の、出版された研究を精査した結果です。

彼らは、LLMが社会科学の中心になりつつある一方で、それらを安全に使用するための「規範（ルール）」がまだ追いついていないことを発見しました。論文は、もしより良いルール（例えば、常に用語を定義し、使用したすべての設定を報告し、複数の手法で自らの仕事をチェックすること）がなければ、私たちは崩れやすい土台の上に「カードの家」を築くリスクがあると示唆しています。

テイクアウェイ（要点）

論文は、行動喚起（コール・トゥ・アクション）で締めくくられています。それは「止まれ」という停止信号ではなく、「注意して進め」という注意信号です。社会科学者は、これらのAIツールを、人間の調査員に対して行うのと同様のリスペクトと厳格さを持って扱う必要があります。彼らは、ロボットに何を、どのように尋ね、どのように答えをチェックしたのかを、正確に書き記さなければなりません。

それまでは、ロボットは強力な助手かもしれませんが、依然として少し謎めいた存在です。そして科学において、謎は楽しいものですが、確かな事実を作るものではありません。