Beyond speculation: Measuring the growing presence of LLM-generated texts in multilingual disinformation
本研究は、ChatGPTのリリース後、現実世界の多言語的なディスインフォメーション（誤情報）データセットにおいてLLM生成コンテンツが増加しているという最初の経験的証拠を提供し、この脅威の実際の規模に関する学術的な議論を埋めるべく、言語、プラットフォーム、および時期にわたる特定のパターンを記録するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
大きな全体像：「ロボットのペン」は嘘を書いていますか？
誰でも、あらゆる言語で物語やニュース、投稿を書くことができる、超スマートで即座に書ける「魔法のペン」（大規模言語モデル、またはLLM）を手に取れる世界を想像してみてください。ChatGPTのようなツールのリリース以来、人々は不安を感じています。このペンは、偽ニュースや嘘（ディスインフォメーション）を書くために使われているのではないか？ と。
長い間、専門家たちは堂々巡りの議論をしてきました。ある人は「心配いりません、インターネットはあまりにも混沌としていて、ロボットが支配するには不向きです」と言いました。またある人は、「注意が必要です、ロボットがすでに問題を引き起こしている隠れた領域が存在します」と言いました。
この論文は、現実の世界にこれら「ロボットが書いた」嘘がどれくらい存在するかを、実際にカウントした初めての研究です。彼らは単に推測したのではなく、事実確認が行われたニュースやソーシャルメディアのデジタルアーカイブに潜り込み、その証拠を見つけ出しました。
探偵の道具：彼らはどのようにロボットを見つけたのか
研究者たちは、2つの「デジタル嘘発見器」を作り上げました。これらを、クラブの入り口に立つ2人の異なるセキュリティガードだと考えてください。
- ガードA (Gemma_GenAI): 一般的なパターンに基づいて、ロボットによる文章を見分けるよう訓練されています。
- ガードB (Gemma_MultiDomain): ソーシャルメディアやニュースに特化して、ロボットによる文章を見分けるよう訓練されています。
彼らは、これらのガードが仕事を適切にこなせるよう、既知の「人間対ロボット」の文章リストを用いてテストを行いました。その結果、両方のガードが「これはロボットが書いた」と一致した場合、その正解率は**93%から99%**に達しました。
ガードへの信頼が得られた後、彼らは、事実確認された主張、選挙に関するツイート、戦争関連のニュースを含む、4つの異なる「近所」（データセット）をパトロールするためにガードを派遣しました。
彼らが発見したこと：ロボットの侵略は現実である（ただし偏りがある）
研究の結果、ロボットによるディスインフォメーションは間違いなく存在していますが、それは洪水のようなものではなく、むしろ徐々に大きくなっている「じわじわとした漏水」のようなものであることが分かりました。
1. 「ChatGPTの前と後」の効果
タイムラインを想像してみてください。2022年後半（ChatGPTが普及する前）は、ロボットが書いた嘘の量は非常に低かったのです。
- 比喩: 穏やかな池を想像してください。2021年には、ロボットによって作られた波紋（約1%）はごくわずかでした。
- 変化: 2023年、ChatGPTが登場した後、波紋は大きくなりました。研究によると、2023年において、彼らのデータセット内のファクトチェックされた嘘のうち、**1.5%から15%がロボットによって書かれたか、あるいは編集されたものである可能性が高いことが分かりました。最も確信度の高い推定では、約1.85%**となっています。
- 傾向: ロボットが書いた嘘の数は、毎年増加しています。
2. 「標的型」の攻撃
ロボットは、あらゆる言語やあらゆるプラットフォームで平等に嘘を書いているわけではありません。それは、特定の家だけを狙う泥棒のようなものです。
- 言語: 英語やスペイン語は、単に話者が多いためロボットによる嘘の絶対量が多いのですが、パーセンテージで見ると、**ポーランド語（4.7%）やフランス語（4.2%）**が最も高くなっています。
- プラットフォーム: ロボットは**Instagram（1.5%）やFacebook（1.3%）**で最も活発であり、Twitter/X（0.64%）では比較的活動が少ないです。
- 特定のイベント: 2024年のアメリカ大選期間中、ツイートにおけるロボット作成コンテンツの量は、1月から11月にかけて倍増し、選挙直前にピークに達しました。
3. 「フェイクニュース」のデータセット
研究者たちは、「フェイクニュース」としてラベル付けされた特定のデータセットも調査しました。
- 彼らは、「フェイク」とラベル付けされた記事の**2.6%から3.3%**が、実際にはロボットによって書かれたものであることを発見しました。
- ガザでの戦争に関するデータセットでは、フランス語の投稿の10%以上がロボット生成であったことが分かりました（他の言語と比較して非常に高い数値です）。
なぜこれが重要なのか
この論文は、ロボットが嘘を書くという恐怖は、単なる憶測ではなく、今まさに起きていることであると結論付けています。
- 「悪い」ニュース: ロボットはディスインフォメーションを作成するために利用されており、その技術は向上しています。これは特定の言語や特定の時期（選挙時など）に発生しており、誰かが戦略的にこれらを利用していることを示唆しています。
- 「良い」ニュース: ロボットによる嘘の量は、インターネット全体の極めて小さな割合（2024年時点で約2%）に過ぎません。しかし、インターネットがあまりにも巨大であるため、たとえ2%であっても、膨大な量の偽コンテンツになります。
- 警告: ロボットがより賢くなるにつれ、彼らは水を「汚染」し始めるかもしれません。もし将来のAIモデルが、すでにロボットが書いた嘘が含まれているデータで学習された場合、それらの新しいモデルは、その嘘を真実だと信じ込み、さらに速く拡散させてしまう可能性があります。
結論
著者たちはこう言っています。「推測はやめて、測定を始めよう。」 私たちは今、ロボットが現実の世界で嘘を書いているという証拠を手にしています。特にポーランド語、フランス語、そして選挙シーズンにおいて顕著です。私たちは、彼ら（ロボット）を捕まえるためのより良いツールと、私たちが読んでいるものがロボットの物語であることを教えてくれる、より優れたシステムを必要としています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。