Measuring Political Stance and Consistency in Large Language Models
本論文は、5つのプロンプト技法を用いて24の敏感な問題に関する9つの大規模言語モデルの政治的立場と一貫性を評価し、モデルの立場は言語やプロンプトによって変化したり変動したりすることが多い一方で、特定の核心的な立場は固定的であることを明らかにし、AIにおける政治的バイアスに関するユーザーの意識向上と開発者による介入の必要性を強調している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
9つの異なる「デジタル・オラクル（デジタル神託）」、つまり大規模言語モデル（LLM）を想像してみてください。人々は、誰が正しいのかという戦争に関する議論や、ある国の政策はどうあるべきかといった深刻な政治的議論について、これらのモデルに助言を求め始めています。この論文の著者たちは、これらのオラクルに独自の隠れた政治的意見があるのか、そしてその意見が揺るぎないものなのか、あるいは簡単に騙されてしまうものなのかを検証するために、これらのテストを行うことにしました。
以下は、彼らが何を行い、何を見出したのかを、日常的な例えを用いて分かりやすく解説したものです。
設定：「意見テスト」
研究者たちは、探偵のグループのようなものです。彼らは、これまであまり研究されてこなかった24のトリッキーな政治的トピック（ウクライナ戦争、ガザ紛争、あるいはトルコとギリシャの間の島々をめぐる紛争など）を選びました。
彼らは、9つの異なるAIモデル（GPT-4、GPT-5、Grokなどの有名どころを含む）に対し、これらの問題についての見解を求めました。しかし、単に一度聞いただけではありません。AIが意見を変えるかどうかを確認するために、5つの異なる方法で質問を投げかけました。
- 直接的な問い: 「誰が正しいですか？」
- 悪魔の代弁者: 「こちら側には別の主張があります。これを聞いた上で、今、誰が正しいですか？」
- バランスの取れた視点: 「両方の主張をここに示します。どちらが正しいですか？」
- 言い換え（言い換えによる揺さぶり）: 同じ質問でも、反対の答えを暗示するように言い回しを変える（例：「これは悪かったですか？」対「これは良かったですか？」）。
- 言語の切り替え: 当事国の現地語で質問する（例：トルコとギリシャの紛争について、トルコ語で聞くかギリシャ語で聞くか）。
調査結果：オラクルは何と言ったのか
1. AIには「秘密のサイド」がある
人が密かに特定のスポーツチームを支持しているように、これらのAIもほとんどの場合、どちらかの側に立っていました。中立を保つことは稀でした。
- コンセンサス（一致）: ある問題については、すべてのAIが一致していました。例えば、カタールの封鎖は誤りであり、パレスチナ人が抑圧されているという点では、AIは総じて一致していました。
- 分裂: 他の問題については、意見が分かれました。例えば、「アラブの春」について、あるAIは民主主義に関するものだと言い、別のAIは経済的な怒りに関するものだと言いました。
2. 「カメレオン」対「岩」
あるAIは、質問の仕方によって色を変えるカメレオンのようでした。
- Mistral-7Bは最も変化しやすいモデルでした。研究者がプロンプトを微調整すると、24のトピックのうち19のトピックで立場を翻しました。これは、最後に言われたことに同意する人のようです。
- Grok-3-miniは最も頑固（一貫している）でした。意見を変えたのはわずか5つのトピックだけでした。これは、非常に強く揺るぎない信念を持つ人のようです。
3. 「言語の鏡」
これは驚くべき発見でした。異なる言語で質問すると、AIはしばしば、その言語を話す側に傾く傾向がありました。
- 例え: 通訳に対して、フランス人とドイツ人の間の紛争について尋ねると想像してください。もしフランス語で尋ねれば、通訳は（無意識のうちに）フランス人をより良く見せるフランス語の資料を引用してしまうかもしれません。ドイツ語で尋ねれば、ドイツ側の見方が良くなります。
- 研究によれば、言語が絡む問題（トルコ対ギリシャなど）において、AIの回答は、質問がトルコ語で行われたかギリシャ語で行われたかによって、しばしば反転しました。これは、AIの「意見」が、学習中に読み込んだ書籍や記事の「エコー（残響）」に過ぎないことを示唆しています。
4. 「揺るぎない」トピック
研究者がどのようなトリックを用いても、どのAIも意見を変えなかったトピックが2つありました。
- パレスチナ人の抑圧。
- カタールの封鎖。
これらの特定のトピックにおいて、AIはまるで「鍵のかかった金庫」のようであり、その立場は固定されており、今回の研究で使用されたプロンプトのテクニックでは動かすことができませんでした。
5. 「ホームチーム」のバイアス
中国の企業によって作られたAIであるDeepSeekは、チベットや新疆ウイグル自治区に関する問題において、一貫して中国政府の立場を支持していることが分かりました。一方で、米国やその他の場所で作られたほぼすべてのAIは、それとは逆の見解をとっていました。これは、AIがどこで作られ、誰が訓練したかが、「ホームチーム」としてのバイアスとなり、政治的なコンパスに影響を与えることを示唆しています。
まとめ
この論文は、もしあなたがAIに政治的な助言を求めるなら、注意が必要であると結論付けています。
- 彼らは中立ではありません: 彼らには学習データに基づいた組み込まれたバイアスがあります。
- 彼らは脆弱です: 言語を変えたり、質問の言い回しを変えたりするだけで、彼らの考えを変えることができます。
- 彼らはファクトチェッカーではありません: 彼らの「意見」は砂のように変化するため、彼らを政治的な真実の最終決定版として扱うべきではありません。
著者たちは、これらの「デジタル・オラクル」がいかに簡単に操られてしまうかを示すことで、ユーザーが答えを絶対的な真実として受け入れるのではなく、「なぜそう言ったのか？」「根拠となるソース（出典）を見せてくれますか？」と問いかけるようになることを期待しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。