Propaganda Forensics: Recovering the Generation Pipeline of an AI-Driven Influence Campaign

現代の情報環境において、人工知能の急速な進歩から生まれた新しい種類の「ノイズ」が出現している。人間のようなテキストを生成できる強力なコンピュータシステムである大規模言語モデルは、ニュース記事を工業規模で作成するための障壁を下げた。これらのツールは、その有用性においてしばしば称賛されるが、二面性を備えている。つまり、既存の物語を、世論を操作するために設計された形式へと書き換えるために使用される可能性があるのだ。「スロパガンダ（slopaganda）」と呼ばれることもあるこの現象は、実際のニュースを取り込み、特定の、しばしば誤解を招くようなナラティブ（語り口）に適合するように作り変えるものである。研究者にとっての課題は、もはや明白な嘘を見つけることだけではなく、真のジャーナリズムと、本物に見えるようにアルゴリズムによって改変されたコンテンツとを区別することにある。この操作がどのように行われているかを理解するために、科学者たちは、テキストを作成した機械が残したデジタル上の指紋を調査するフォレンジック分析官として行動しなければならない。

ソルボンヌ大学やエアバスを含む機関の研究チームは、最近、「Storm-1516」として知られる特定の、大規模な影響力工作に注目した。フランスの聴衆を標的にしたこの作戦は、『ル・モンド』や『フランス・テレヴィジオン』といった正当なニュースメディアを装った84のウェブサイトのネットワークを運営していた。これらのサイトは、標準的なニュースのように見える数千の記事を公開していたが、実際には親ロシア派のナラティブを広めるための組織的な取り組みの一部であった。研究者たちは、これら2,646の記事を収集し、「PROPAGIA」と名付けた新しいコレクションを作成した。これらのテキストが実際のジャーナリズムと何が異なるのかを理解するために、彼らは同時期に主要なフランスの日刊紙『ウエスト・フランス』に掲載された、人間によって書かれた2,385の記事を対照群として比較した。その目的は、テキストが機械によって書かれたものかどうかを判断するだけでなく、機械に与えられた具体的な指示の内容を明らかにし、責任を負う人工知能モデルの系統を特定することであった。

調査の第一段階は、文章のスタイルとトーンを分析することであった。研究者たちは、PROPAGIAコレクションの記事が、人間が書いた記事よりも著しく曖昧で主観的であることを発見した。実際のジャーナリストであれば通常、具体的な情報源を引用したり、専門家の名前を挙げたり、具体的な詳細を提供したりするところだが、AI生成テキストは、一般的な記述や感情的な言語に大きく依存していた。プロパガンダの記事はより否定的な内容でもあり、しばしば出来事に対して恐怖や誇張を煽っていた。それらは外部の声を引き合いに出す頻度がはるかに低く、検証可能な事実の代わりに、著者自身の主張を代用していた。このパターンは、事実に基づいた報道を意見へと置き換えるという意図的な戦略を示唆しており、この手法は、コンテンツのファクトチェックを困難にし、感情的な操作をしやすくさせる。

機械が関与している最も直接的な証拠は、驚くべきソース、すなわちテキスト自体から得られた。84のウェブサイトのうち50のサイトにおいて、研究者たちは、人工知能が自分自身の指示の一部を誤って残してしまったことを発見した。これらの「漏洩」は、公開された記事の中に組み込まれたメモやチェックリストとして現れ、オペレーターが機械に与えた正確なコマンドを明らかにしていた。ある文書には、他のメディアへの言及を避け、特定の政治指導者を非難し、ロシア大統領を肯定的な光の中で描くよう、モデルに指示する10項目の編集仕様が記載されていた。これらの指示は、テキストに見られるパターンを説明していた。すなわち、情報源の欠如、否定的なトーン、そして特定の政治的偏向は、ランダムなエラーではなく、厳格な自動化されたレシピの結果であった。これらの漏洩の存在は、コンテンツが単にバイアスを持った人間によって書かれたのではなく、一連の厳格なルールに従って機械によって生成されたものであることを裏付けた。

どの特定の種類の人工知能が使用されたかを判断するために、研究者たちは、異なるモデルがテキストに対してどのように反応するかをテストする方法を用いた。彼らはいくつかの異なるAIシステムに記事を書き換えさせ、元の言い回しをどれだけ変更するかを観察した。その論理は、もしあるAIモデルが元のテキストを書いていたのであれば、人間が書いたテキストを書き換えるときと比較して、自身の著作物を大幅に変更する可能性が低いというものである。結果は明確なパターンを示した。インテリジェンス機関によってこのキャンペーンの背後にいると疑われているモデル、具体的には「Llama 3」ファミリーのモデルが、プロパガンダ記事を最も少なく変更したのである。興味深いことに、「Mistral」ファミリーのモデルも同様のパターンを示しており、これはキャンペーンが関連する技術の混合物を使用したか、あるいはこれらの異なるファミリーが基礎となる特性を共有していることを示唆していた。

研究は、Storm-1516キャンペーンが、プロパガンダを大量生産するために生成AIのパイプラインに依存した洗練された作戦であったと結論づけた。テキストの曖昧さの兆候を分析し、漏洩した指示を見つけ、異なるモデルがコンテンツをどのように書き換えるかをテストすることで、研究者たちは生成プロセスを再構築することができた。彼らは、キャンペーンが、現実のニュースのスタイルを模倣しながら、否定的で情報源のないナラティブを強制的に生成させるための特定の指示セットを使用していたことを突き止めた。研究者は、単一の正確なモデルを特定することはできなかったものの、彼らの証拠は、Llama 3ファミリーのモデルがこの作戦の中心であり、Mistralモデルと共に使用された可能性が高いことを強く示唆していた。このフォレンジック調査は、単純な検出を超えて、操作がいかに設計されているかというメカニズムを理解するための、将来のAI駆動型影響力キャンペーンを検出し理解するためのブループリント（設計図）を提供するものである。