How Temperature Shapes Ideological Discourse in Retrieval-Augmented Generation?
本研究は、検索拡張生成（RAG）システムが、検索されたソースからLLMの出力へとイデオロギー的バイアスを伝達および増幅させ得ることを示しており、この伝達の強さは、確率性とグラウンディングのバランスが取れた中程度のレベルでピークに達するサンプリング温度によって、有意に調整される。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたは「LLM」という名前の、ものすごく賢いロボット司書を持っています。彼はほとんど何でも知っていますが、難しい質問をされると、時々突拍子もない作り話をしてしまうことがあります。そこで、嘘をつかせないために、私たちはこの司書に、本物の本や記事が入った「RAG」という特別なバックパックを持たせました。考え方はシンプルです。「バックパックの中にあるものだけを使って答えなさい！」というものです。しかし、ここにひねりがあります。もし、そのバックパック自体が、同じトピックについて非常に異なる、偏った意見を持つ本で満たされていたらどうなるでしょうか？
この研究は、楽しくも真剣な問いを投げかけました。もし、司書に偏った本で満たされたバックパックを渡したら、その偏りはどれくらいロボットの回答に漏れ出し、ロボットの「気分」（これを「温度（temperature）」と呼びます）は、その偏りをコピーする量にどう影響するのか？ ということです。
実験：二つの世界の図書館
研究者たちは、2020年から2022年までのCOVID-19の治療法に関する1,117の記事を使った、特別なバックパックを作成しました。これらを二つの陣営に分けました。
- 「推奨」陣営： 公式の保健ルールや科学的基準に従った991の記事。
- 「論争」陣営： 公式機関が承認していない治療法（ヒドロキシクロロキンなど）を推す116の記事。
**語彙的多次元分析（LMDA）**という高度な数学的ツールを使用して、これら二つの陣営の言葉がどのように異なっているかを正確に特定しました。その結果、三つの明確な「イデオロギー的言説」（要するに、同じ論点を主張するための三つの異なる方法）が見つかりました。
「温度」のダイヤル
さて、ロボット司書には**「温度（Temperature）」**と呼ばれるダイヤルがあると想像してください。
- 低温度 (0.1)： ロボットは超真面目で、ロボットらしく、最も明白で安全な言葉を選びます。それはまるで、台本を読んでいるロボットのようです。
- 高温度 (0.9)： ロボットは自由奔放で創造的、かつランダムに言葉を選びます。それはまるで、即興のジャズ・ソロを奏でるロボットのようです。
研究者たちは、異なる温度と異なる種類の指示（プロンプト）を用いて、ロボットにこれらの治療法に関する質問に答えるよう求めました。
大きな発見： 「ゴールデン・ロックス（適温）」ゾーン
以下に判明した内容を記します。これは少し驚くべきことです。
1. バックパックの勝利：
ロボットがバックパックを使用したとき（RAG）、自分の脳だけを使うときよりも、バックパックの中の本からはるかに多く偏りをコピーしました。本が偏っていれば、ロボットの回答も偏っていました。バックパックこそが主要な要因でした。
2. 温度のひねり：
「ロボットが超真面目（低温度）なら、間違いを犯さないので、偏りをコピーしないだろう」と思うかもしれません。間違いです！ 研究はむしろ逆のことを示唆しています。
- 低温度 (0.1) のとき： ロボットはあまりにも硬直していました。それは偏りの伝達を抑制してしまいました。正確さに集中しすぎていたため、偏った本の「雰囲気（バイブス）」を完全には吸収できませんでした。
- 中程度の温度 (0.5) のとき： これが**「スイートスポット（最適値）」でした。ロボットはバランスが取れていました。本を読むには真面目でありながら、そのイデオロギー的な「風味」を吸収できる柔軟性も備えていました。ロボットの回答と偏った本との一致は、ここが最も高くなりました**。
- 高温度 (0.9) のとき： ロボットはあまりに混沌としていました。本を使用はしていましたが、激しいランダム性のために、回答は特定の偏りと完全に一致することはできなくなりました。ただし、RAGシステムによって、バックパックなしの状態よりはしっかりと根拠付けられてはいました。
3. 「強化された」プロンプト：
研究者がロボットに対し、「おい、これらの本には特定の視点がある。それに合わせようとせよ」という追加のメモを与えたところ、偏りの伝達はさらに強まりました。しかし、このメモがあっても、中程度の温度が依然として最もよく偏りに一致していました。
ロボットのモデル
彼らは4つの異なるロボットの脳をテストしました：GPT-4o-mini、GPT-3.5-turbo、Gemini-2.0、そしてQwenです。
- Qwenは、偏った本に最も影響を受けやすく、偏りとの一致スコアは0.85を超えました（1を完璧な一致とするスケールにおいて）。
- GPT-4o-miniは、最も頑固でした。スコアが最も低かったことは、より大きく賢いモデルの方が、たとえバックパックが偏ったものであっても、その偏りを無視するのに優れている可能性を示唆しています。
「偏りなし」については？
彼らはまた、「ネガティブ・プロンプト」、つまり「ここに偏った本があるが、そのスタイルをコピーするな！」という指示も試しました。
- これは効果がありました！ ロボットの回答は、偏りが大幅に減少しました。
- 興味深いことに、「偏りなし」という指示は**最高温度 (0.9)で最も効果的に機能しましたが、「偏りをコピーせよ」という指示は中程度の温度 (0.5)**で最も効果的に機能しました。
結論
この論文は、温度は単なる創造性の問題ではなく、ロボットがソース資料の偏りをどれだけコピーするかを変えるものであることを示唆しています。
- もし、ロボットに偏ったソースの特定の視点を吸収させたいのであれば、**中程度の温度（0.5前後）**が最も効果的であるようです。
- もし、ロボットが偏りをコピーするのを阻止したいのであれば、厳格な「やってはいけない」という指示と組み合わせた**高い温度 (0.9)**が最善の策かもしれません。
著者たちは、これはCOVID-19のテキストを用いたシミュレーションに基づいているため、これがすべてのトピックやすべてのロボットに当てはまると100%断言できるわけではない、と注意深く述べています。しかし、データは明確なパターンを示しています。ロボットの「気分（温度）」と「バックパック（検索された情報）」は、最終的な回答にどれだけの偏りが入り込むかを決定するために、共にダンスを踊っているのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。