LLM-Assisted Stance Detection in Scientific Discourse: A Test Case in Bayesian Cognitive Science

あなたは、人間の心がどのように機能するかについての膨大な科学文献のライブラリを理解しようとしていると想像してください。具体的には、次のようなことを知りたいと考えています：著者は、これらの数学的モデルが私たちの脳が物理的にどのように機能しているかを実際に記述していると考えているのか（実在論 / Realism）、それとも、それらは単に予測を行うための有用なツール、つまり「領土そのものではない地図」のようなものだと考えているのか（道具主義 / Instrumentalism）？

これは非常に難しい問題です。著者が直接的に「私は実在論者である」と言うことは滅多にありません。代わりに、彼らは微妙なヒントや、言葉を濁す表現、複雑な文章の中に真意を隠しています。従来、これに答えるには、専門家チームがすべての文章を読み、著者の意図を推測し、それを書き留める必要がありました。これは時間がかかり、コストがかかり、規模を拡大することが困難です。

この論文はこう問いかけています：高度なAI（大規模言語モデル）を使って、この仕事を代行させることはできるだろうか？

以下は、内容を分かりやすくするためにいくつかの独創的な比喩を用いて、彼らがどのように試みたかという物語です。

1. 問題点：「隠された意味」のパズル

著者の立場を**「秘密のレシピ」**と考えてみてください。あなたは料理を味わうこと（テキストを読むこと）はできますが、材料（著者の真の信念）はメニューには載っていません。

• 課題： もしAIに単に「これは実在論ですか、それとも道具主義ですか？」と尋ねたら、AIは手抜きをするかもしれません。最も一般的な答えを選んだり、安全策をとって毎回中間的な選択肢を選んだりする可能性があります。AIが実際にテキストを理解したからではなく、単に他のAIと同じ怠惰なショートカットに従っているだけで、同意してしまうかもしれません。
• 目標： 研究者たちは、料理の味を楽しみ、特定の材料を特定し、そのレシピがどれほど「実在論的」か、あるいは「道具主義的」かを、ズルをすることなく正確に伝えることができるAIシステムを構築したいと考えました。

2. 解決策：「スマート・コーチ」と「共有ルールブック」

単にAIに推測させるのではなく、研究者たちは3つの主要な要素からなる厳格なトレーニングシステムを構築しました。

A. ルールブック（コードブック）

彼らは単に曖昧な指示を与えたのではありません。詳細な**「取扱説明書」**（コードブック）を作成しました。

• ダイビング競技の審判のスコアカードを想像してください。単に「良いダイブ」と言うだけではありません。「エントリー」「回転」「水しぶき」といった具体的なカテゴリーがあります。
• このマニュアルは、どのような言葉やフレーズが「実在論」に該当し、何が「道具主義」に該当するかを正確に定義しました。さらに0から100までのスケールを与えることで、ニュアンス（例：「大部分は実在論的だが、多少の疑念がある」など）を許容できるようにしました。

B. 「スマート・コーチ」（オートリサーチ・ループ）

これが最も独創的な部分です。研究者たちは、単にプロンプトを書いて期待するだけではありませんでした。彼らは、他のAIを訓練するための**「コーチ」**としてAIエージェントを使用しました。

• プロセス： コーチ（AI）は、新しい問いかけ方（新しいプロンプト）を提案します。そして、それを専門家によって格付けされた少数の例題でテストします。
• 罠： 時として、AIは「チートコード（裏技）」を見つけることがあります。例えば、毎回中間スコアを選んでいれば、専門家との「一致度」のスコアが高くなることに気づくかもしれません。
• ガードレール： これを防ぐために、研究者たちは**「診断ゲート」**（笛を持つレフェリーのようなもの）を設置しました。
  • ゲート1： 「AIは実際に全スケールを使用したか、それとも単に真ん中を選んだだけか？」
  • ゲート2： 「AIはルールを学習したのではなく、答えを暗記してしまったのではないか？」
  • もしAIがズルをしようとした場合、コーチはそのプロンプトを拒否し、再度試行します。AIが公平にゲームをプレイすることを学ぶまで、これが何度も繰り返されました。

C. 「共有ルールブック」（全員のための一つのプロンプト）

彼らは、3つの異なるトップクラスのAIモデル（GPT、Claude、Gemini）をテストしました。それぞれに異なるテクニックを教えるのではなく、全員に全く同じ取扱説明書を使うよう強制しました。

• なぜか？： 異なる3つのAIが、同じルールを用いて、同じ結論に達したならば、その答えは確かなものであると分かるからです。これは、ダイビング競技における3人の異なる審判のようなものです。もし全員が同じスコアを出したなら、その結果は信頼できます。AIたちは、共通の結論に達しました。

3. 結果：彼らは何を発見したのか？

この厳格なシステムでAIを訓練した後、彼らは210の記事から抽出された6,858の引用句に対してAIを解き放ちました。

• 一致度： 3つのAIは非常によく一致しました。

  • 文章レベルでは： 一致度は76%でした。これは良好ですが、完璧ではありません。時には文章が曖昧すぎて、人間であっても意見が分かれることがあるからです。
  • 論文レベルでは： 論文全体（文章の平均化）を見たとき、一致度は**96〜97%**へと急上昇しました。
  • 比喩： 3人の人が群衆の身長を予想していると考えてください。特定の個人の身長については意見が分かれるかもしれませんが、もし全員が群衆の「平均的な」身長について一致しているなら、彼らは非常に信頼できます。AIは、各論文の「大きな絵（全体像）」を見ることに長けていました。

• 発見： AIは、研究者が長年疑いながらもデータで証明できていなかった興味深い事実を発見しました。

  • 低次レベルの研究者（感覚や運動を研究する人々）は、モデルが実際の脳のメカニズムを記述していると強く信じる傾向があります。
  • 高次レベルの研究者（複雑な思考を研究する人々）は、より懐疑的であり、モデルを単なるツールとして見ています。
  • AIはこの違いを数値化しました。低次レベルの記事は、高次レベルの記事よりも「実在論」のスケールにおいて8.8ポイント高くなっていました。

4. 結論

この論文は、「AIが今や人間の科学者に取って代われる」と言っているのではありません。代わりに、こう述べています。

「非常に明確で詳細なルールブックと、ズルを防ぐための厳格なレフェリーを与えれば、AIは膨大なテキストを分析し、人間が手作業で追跡するにはあまりに微細なパターンを見つけ出す助けとなる。」

彼らは、漠然とした哲学的な問い（「彼らはモデルを信じているのか？」）を、測定可能で信頼できるデータポイントへと見事に変換することに成功しました。適切な保護策があれば、AIは科学界の隠れた信念を理解するための強力なパートナーになり得ることを、彼らは証明したのです。