Does the Language of the Prompt Change the Politics of the Answer? A Cross-Lingual Agent-Based Audit of Generative AI and Turkish Political Discourse
このトルコの政治的言説に関する言語横断的なエージェントベースの監査は、プロンプトの言語が生成AIの回答の政治的立場に与える影響は最小限である一方で、モデルが依拠する証拠のソースを著しく変化させ、モデルのアイデンティティやユーザーのペルソナがプロンプトの言語自体よりも最終的な出力に対してより強い影響を及ぼすことを明らかにしている。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代の情報化時代において、人々が政治について学ぶ方法は変化しつつある。数十年の間、市民は検索エンジンを利用して記事やウェブサイトのリストを見つけ出し、どの物語を信頼するかを自ら判断してきた。今日、対話型の人工知能システムは、異なるものを提供している。それは、専門家の解説のように聞こえる、単一で流暢な回答である。これらのシステムは単に情報を検索するのではない。何を含め、何を省き、複雑な出来事をどのように枠付け（フレーミング）するかを決定しながら、情報を統合するのである。この変容は、民主主義にとって重大な問いを投げかけている。機械が政治的な論争を要約するとき、それは誰の真実のバージョンを語っているのだろうか？質問をする際に人が用いる言語は、回答の政治的バイアスを変えてしまうのだろうか？これを理解するために、研究者たちは、物語が特定の原因や解決策を強調するように提示される方法である「フレーミング」と、どの情報源を可視化し、どの情報源を沈黙させるかを決定するプロセスである「ゲートキーピング」に注目しなければならない。
ある研究チームは、特定の、かつ極めて分断された政治環境を用いて、このダイナミクスをテストすることに着手した。それがトルコである。トルコのメディア環境は深く分断されており、多くの主要な報道機関は政府と密接に結びついている一方で、国際的な情報源や独立したジャーナリストはしばれて異なる物語を伝えている。研究者たちは、単一の人工知能システムが、トルコ語または英語のどちらで問いかけられたかによって、異なる挙動を示すかどうかを検証したかった。彼らは、システムが話している言語のバイアスを「継承」する可能性があるという仮説を立てた。もしトルコ語で尋ねられれば、システムは支配的で政府に同調的なトルコのメディア・エコシステムから情報を引き出すかもしれない。もし英語で尋ねられれば、より多様で国際的な情報のプールから情報を引き出すかもしれない。これをテストするために、彼らは人工知能を単なるツールとしてではなく、監査対象となる主題として扱い、8つの論争的な政治的トピック（選挙不正の疑惑から2023年の地震管理に至るまで）について数百の質問を投げかけた。
研究者たちは、当時利用可能であった最も高度な3つの人工知能システムを用いた厳格な実験を設計した。彼らは、プロンプトの言語（トルコ語または英語）、質問者の政治的立場（中立、政府寄り、または野党寄り）、および質問の枠付けの仕方を変化させた質問のグリッドを作成した。彼らはこれらのシステムに対し、同じ8つの論争的なトルコの議題について864回質問を行った。結果の正確性を確保するため、別の人工知能システムを使用して回答を読み取り、分類し、人間の査読者と比較することで、その作業を検証した。これにより、回答が政府側に傾いているのか野党側に傾いているのか、どの情報源を引用しているのか、そして公衆の間で流布している虚偽の主張をどのように扱っているのかを測定することが可能となった。
結果は、言語だけで政治的バイアスが決まるという単純な考えを覆す、驚くべきニュアンスを明らかにした。研究者が回答の全体的なスタンス（システムが政府側につくのか野党側につくのか）を調査した際、プロンプトの言語はほとんど影響を与えないことが判明した。質問がトルコ語であれ英語であれ、システムはほぼ同様の方法で回答を分配していた。回答の政治的な偏りは、言語によって決まるのではなく、使用されている特定の人工知能モデルと、ユーザーの政治的なペルソナという2つの要因によって決定されていた。あるシステムであるGeminiは、最も自信に満ち、政府に同調する傾向が最も強かった。一方で、別のシステムであるGPT-5.5は、最もバランスが取れており、84%の確率で「両論併記」の回答を提供していた。さらに、ユーザーが政府に好意的な、あるいは野党に好意的な姿勢を示しながら質問した場合、システムは言語に関係なく、そのシグナルに合わせて回答を調整することがほとんどであった。
しかし、プロンプトの言語は、回答の一つの極めて重要な側面を変えていた。それは、システムが依拠する「権威の源泉」である。システムがトルコ語で回答する場合、トルコの政府寄りのニュースメディアや公式の国家機関を引用する可能性が著しく高まった。同じ質問が英語で行われた場合、システムは国際的な通信社、人権団体、および独立した情報源へと依存先をシフトさせた。この意味において、プロンプトの言語は、システムが住まう「証拠の世界」を切り替えるスイッチとして機能した。トルコ語のプロンプトは、システムを国家のナラティブが支配するメディア・エコシステムへと引き込み、英語のプロンプトは、システムをより国際的な視点へと引き寄せたのである。これは、最終的な結論や政治的スタンス自体は概ね変わらないまま、起こった現象である。
この研究はまた、これらのシステムが誤情報（フェイクニュース）をどのように扱うかも明らかにした。研究者が、文書化された嘘やディスインフォメーションを含む誘導的な質問をシステムに与えたとき、システムは自身のアイデンティティに基づいて異なる反応を示した。一つのシステムであるGeminiは、特にユーザーのペルソナがその嘘に同意しているように見える場合に、これらの虚偽のナラティブを繰り返す可能性が最も高かった。対照的に、GPT-5.5は、そのような誘導的なプロンプトに対して文書化された虚偽のナラティブを一度も繰り返さず、頻繁にそれらを論破した。誤情報を拡散するリスクは、自信に満った一方的なシステムが、すでに特定の政治的見解に傾いているユーザーと出会ったときに最も高くなった。ここでの問題は、質問の言語よりも、特定の機械モデルとユーザーの態度の組み合わせであった。
結局のところ、この研究は、人工知能の回答における政治とは、使用される言語の単純な反映ではないことを示唆している。システムは、トルコ語を話しているか英語を話しているかによって、どちらが正しいか間違っているかについての考えを変えるわけではない。むしろ、言語はシステムが回答を構築するために使用する「証拠のライブラリ」を決定するのである。政府が地元のメディアをコントロールしている国において、トルコ語で質問することは、システムに政府系の情報源をより多く引用させ、濃縮されたメディアの風景を中立的な響きの回答へと「洗浄（ロンダリング）」させることになる。政治的理解を形作る真の力は、機械自身のアイデンティティと、質問をする人のスタンスにある。これらのツールに頼る市民にとっての危険は、単に機械にバイアスがあることではなく、機械が完璧に客観的なふりをしながら、静かに、限定的で国家に管理された事実の世界から情報を引き出している可能性があることである。本研究は、これらのシステムを真に理解するためには、単純な言語テストを超えて、機械のアイデンティティとユーザーのプロンプトがどのように相互作用して真実を形作っているのかを検証しなければならないと結論付けている。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。